이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.
trainNetwork
딥러닝 신경망 훈련
구문
설명
분류 및 회귀 작업의 경우 trainNetwork 함수를 사용하여 다양한 유형의 신경망을 훈련시킬 수 있습니다.
예를 들어, 다음을 훈련시킬 수 있습니다.
영상 데이터에 대한 컨벌루션 신경망(ConvNet, CNN)
시퀀스 및 시계열 데이터에 대한 장단기 기억(LSTM) 또는 게이트 순환 유닛(GRU) 신경망과 같은 순환 신경망(RNN)
숫자형 특징 데이터에 대한 다층 퍼셉트론(MLP) 신경망
CPU 또는 GPU에서 훈련시킬 수 있습니다. 영상 분류 및 영상 회귀의 경우, 여러 개의 GPU나 로컬 또는 원격 병렬 풀을 사용하여 단일 신경망을 병렬로 훈련시킬 수 있습니다. GPU에서 또는 병렬로 훈련시키려면 Parallel Computing Toolbox™가 필요합니다. 딥러닝을 위해 GPU를 사용하려면 지원되는 GPU 장치도 필요합니다. 지원되는 장치에 대한 자세한 내용은 릴리스별 GPU 지원 (Parallel Computing Toolbox) 항목을 참조하십시오. 실행 환경 옵션을 비롯한 훈련 옵션을 지정하려면 trainingOptions 함수를 사용하십시오.
신경망을 훈련시킬 때 예측 변수와 응답 변수를 단일 입력 또는 두 개의 별도의 입력값으로 지정할 수 있습니다.
예제
영상 분류를 위해 신경망 훈련시키기
데이터를 ImageDatastore 객체로서 불러옵니다.
digitDatasetPath = fullfile(matlabroot,'toolbox','nnet', ... 'nndemos','nndatasets','DigitDataset'); imds = imageDatastore(digitDatasetPath, ... 'IncludeSubfolders',true, ... 'LabelSource','foldernames');
이 데이터저장소에는 0부터 9까지 숫자를 나타내는 합성 영상 10,000개가 있습니다. 이 영상은 서로 다른 글꼴로 만들어진 숫자 영상에 무작위 변환을 적용하여 생성됩니다. 각 숫자 영상은 28×28픽셀입니다. 이 데이터저장소에는 범주당 동일한 개수의 영상이 포함되어 있습니다.
데이터저장소의 영상 몇 개를 표시합니다.
figure numImages = 10000; perm = randperm(numImages,20); for i = 1:20 subplot(4,5,i); imshow(imds.Files{perm(i)}); drawnow; end
훈련 세트의 각 범주에 영상 750개가 포함되고 테스트 세트에 각 레이블의 나머지 영상이 포함되도록 데이터저장소를 분할합니다.
numTrainingFiles = 750;
[imdsTrain,imdsTest] = splitEachLabel(imds,numTrainingFiles,'randomize');splitEachLabel은 digitData의 영상 파일을 2개의 새 데이터저장소인 imdsTrain과 imdsTest로 분할합니다.
컨벌루션 신경망 아키텍처를 정의합니다.
layers = [ ... imageInputLayer([28 28 1]) convolution2dLayer(5,20) reluLayer maxPooling2dLayer(2,'Stride',2) fullyConnectedLayer(10) softmaxLayer classificationLayer];
옵션을 모멘텀을 사용한 확률적 경사하강법의 디폴트 설정으로 설정합니다. 최대 Epoch 횟수를 20으로 설정하고, 초기 학습률 0.0001로 훈련을 시작합니다.
options = trainingOptions('sgdm', ... 'MaxEpochs',20,... 'InitialLearnRate',1e-4, ... 'Verbose',false, ... 'Plots','training-progress');
신경망을 훈련시킵니다.
net = trainNetwork(imdsTrain,layers,options);
이렇게 훈련된 신경망을 신경망 훈련에 사용하지 않은 테스트 세트에 대해 실행하고 영상 레이블(숫자)을 예측합니다.
YPred = classify(net,imdsTest); YTest = imdsTest.Labels;
정확도를 계산합니다. 정확도는 테스트 데이터에 있는 영상의 개수 대비 테스트 데이터에서 classify의 분류와 일치하는 실제 레이블의 개수의 비율입니다.
accuracy = sum(YPred == YTest)/numel(YTest)
accuracy = 0.9420
증대 영상을 사용하여 신경망 훈련시키기
증대 영상 데이터를 사용하여 컨벌루션 신경망을 훈련시킵니다. 데이터 증대는 신경망이 과적합되는 것을 방지하고 훈련 영상의 정확한 세부 정보가 기억되지 않도록 하는 데 도움이 됩니다.
손으로 쓴 숫자를 나타내는 합성 영상으로 구성된 샘플 데이터를 불러옵니다.
[XTrain,YTrain] = digitTrain4DArrayData;
digitTrain4DArrayData는 숫자 훈련 세트를 4차원 배열 데이터로 불러옵니다. XTrain은 28×28×1×5,000 배열입니다. 여기서 각각은 다음을 나타냅니다.
28은 영상의 높이와 너비입니다.
1은 채널의 개수입니다.
5,000은 손으로 쓴 숫자를 나타내는 합성 영상의 개수입니다.
YTrain은 각 관측값에 대한 레이블을 포함하는 categorical형 벡터입니다.
신경망 검증을 위해 영상 1,000개를 남겨 둡니다.
idx = randperm(size(XTrain,4),1000); XValidation = XTrain(:,:,:,idx); XTrain(:,:,:,idx) = []; YValidation = YTrain(idx); YTrain(idx) = [];
크기 조정, 회전, 평행 이동, 반사와 같은 영상 증대 전처리 옵션을 지정하는 imageDataAugmenter 객체를 만듭니다. 영상을 최대 3개 픽셀만큼 가로와 세로 방향으로 임의로 평행 이동하고 최대 20도의 각도로 영상을 회전합니다.
imageAugmenter = imageDataAugmenter( ... 'RandRotation',[-20,20], ... 'RandXTranslation',[-3 3], ... 'RandYTranslation',[-3 3])
imageAugmenter =
imageDataAugmenter with properties:
FillValue: 0
RandXReflection: 0
RandYReflection: 0
RandRotation: [-20 20]
RandScale: [1 1]
RandXScale: [1 1]
RandYScale: [1 1]
RandXShear: [0 0]
RandYShear: [0 0]
RandXTranslation: [-3 3]
RandYTranslation: [-3 3]
신경망 훈련에 사용할 augmentedImageDatastore 객체를 만들고 영상 출력 크기를 지정합니다. 데이터저장소는 훈련 중에 영상을 증대하고 영상의 크기를 조정합니다. 데이터저장소는 메모리에 영상을 저장하지 않으면서 영상을 증대합니다. trainNetwork는 신경망 파라미터를 업데이트한 다음 증대 영상을 버립니다.
imageSize = [28 28 1];
augimds = augmentedImageDatastore(imageSize,XTrain,YTrain,'DataAugmentation',imageAugmenter);컨벌루션 신경망 아키텍처를 지정합니다.
layers = [
imageInputLayer(imageSize)
convolution2dLayer(3,8,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,16,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];모멘텀을 사용한 확률적 경사하강법의 훈련 옵션을 지정합니다.
opts = trainingOptions('sgdm', ... 'MaxEpochs',15, ... 'Shuffle','every-epoch', ... 'Plots','training-progress', ... 'Verbose',false, ... 'ValidationData',{XValidation,YValidation});
신경망을 훈련시킵니다. 검증 영상은 증대되지 않았으므로 훈련 정확도보다 검증 정확도가 높습니다.
net = trainNetwork(augimds,layers,opts);
영상 회귀를 위해 신경망 훈련시키기
손으로 쓴 숫자를 나타내는 합성 영상으로 구성된 샘플 데이터를 불러옵니다. 세 번째 출력값은 각 영상이 회전된 각도(단위: 도)를 담고 있습니다.
digitTrain4DArrayData를 사용하여 훈련 영상을 4차원 배열로 불러옵니다. 출력값 XTrain은 28×28×1×5,000 배열입니다. 여기서 각각은 다음을 나타냅니다.
28은 영상의 높이와 너비입니다.
1은 채널의 개수입니다.
5,000은 손으로 쓴 숫자를 나타내는 합성 영상의 개수입니다.
YTrain은 회전 각도(단위: 도)를 담고 있습니다.
[XTrain,~,YTrain] = digitTrain4DArrayData;
imshow를 사용하여 임의의 훈련 영상 20개를 표시합니다.
figure numTrainImages = numel(YTrain); idx = randperm(numTrainImages,20); for i = 1:numel(idx) subplot(4,5,i) imshow(XTrain(:,:,:,idx(i))) drawnow; end
컨벌루션 신경망 아키텍처를 지정합니다. 회귀 문제는 신경망 끝부분에 회귀 계층을 삽입합니다.
layers = [ ...
imageInputLayer([28 28 1])
convolution2dLayer(12,25)
reluLayer
fullyConnectedLayer(1)
regressionLayer];신경망 훈련 옵션을 지정합니다. 초기 학습률을 0.001로 설정합니다.
options = trainingOptions('sgdm', ... 'InitialLearnRate',0.001, ... 'Verbose',false, ... 'Plots','training-progress');
신경망을 훈련시킵니다.
net = trainNetwork(XTrain,YTrain,layers,options);
테스트 데이터의 예측 정확도를 평가하여 신경망의 성능을 테스트합니다. predict를 사용하여 검증 영상의 회전 각도를 예측합니다.
[XTest,~,YTest] = digitTest4DArrayData; YPred = predict(net,XTest);
회전의 예측 각도와 실제 각도의 RMSE(제곱평균제곱근 오차)를 계산하여 모델의 성능을 평가합니다.
rmse = sqrt(mean((YTest - YPred).^2))
rmse = single
6.0356
시퀀스 분류를 위해 신경망 훈련시키기
Sequence-to-label 분류를 위해 딥러닝 LSTM 신경망을 훈련시킵니다.
[1]과 [2]에서 설명한 Japanese Vowels 데이터 세트를 불러옵니다. XTrain은 LPC 켑스트럼 계수에 대응되는 12개의 특징이 다양한 길이의 시퀀스 270개로 구성된 셀형 배열입니다. Y는 레이블 1,2,...,9로 구성된 categorical형 벡터입니다. XTrain의 요소는 각 특징에 대해 하나의 행을 갖는 12개의 행과 각 시간 스텝에 대해 하나의 열을 갖는 가변 개수의 열로 이루어진 행렬입니다.
[XTrain,YTrain] = japaneseVowelsTrainData;
첫 번째 시계열을 플롯으로 시각화합니다. 선은 각각 하나의 특징에 대응됩니다.
figure
plot(XTrain{1}')
title("Training Observation 1")
numFeatures = size(XTrain{1},1);
legend("Feature " + string(1:numFeatures),'Location','northeastoutside')
LSTM 신경망 아키텍처를 정의합니다. 입력 크기를 12(입력 데이터의 특징 개수)로 지정합니다. 은닉 유닛 100개를 포함하고 시퀀스의 마지막 요소를 출력하는 LSTM 계층을 지정합니다. 마지막으로, 크기가 9인 완전 연결 계층을 포함하여 9개의 클래스를 지정하고, 이어서 소프트맥스 계층과 분류 계층을 지정합니다.
inputSize = 12; numHiddenUnits = 100; numClasses = 9; layers = [ ... sequenceInputLayer(inputSize) lstmLayer(numHiddenUnits,'OutputMode','last') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]
layers =
5×1 Layer array with layers:
1 '' Sequence Input Sequence input with 12 dimensions
2 '' LSTM LSTM with 100 hidden units
3 '' Fully Connected 9 fully connected layer
4 '' Softmax softmax
5 '' Classification Output crossentropyex
훈련 옵션을 지정합니다. 솔버를 'adam'으로 지정하고 'GradientThreshold'를 1로 지정합니다. 미니 배치의 크기를 27로 설정하고 최대 Epoch 횟수를 70으로 설정합니다.
미니 배치는 짧은 시퀀스로 구성된 크기가 작은 배치이므로 훈련에는 CPU가 더 적절합니다. 'ExecutionEnvironment'를 'cpu'로 설정합니다. GPU를 사용할 수 있는 경우 GPU에서 훈련시키려면 'ExecutionEnvironment'를 'auto'(디폴트 값)로 설정하십시오.
maxEpochs = 70; miniBatchSize = 27; options = trainingOptions('adam', ... 'ExecutionEnvironment','cpu', ... 'MaxEpochs',maxEpochs, ... 'MiniBatchSize',miniBatchSize, ... 'GradientThreshold',1, ... 'Verbose',false, ... 'Plots','training-progress');
지정된 훈련 옵션으로 LSTM 신경망을 훈련시킵니다.
net = trainNetwork(XTrain,YTrain,layers,options);
테스트 세트를 불러오고 시퀀스를 화자별로 분류합니다.
[XTest,YTest] = japaneseVowelsTestData;
테스트 데이터를 분류합니다. 훈련에 사용된 것과 동일하게 미니 배치 크기를 지정합니다.
YPred = classify(net,XTest,'MiniBatchSize',miniBatchSize);예측의 분류 정확도를 계산합니다.
acc = sum(YPred == YTest)./numel(YTest)
acc = 0.9514
숫자형 특징을 사용하여 신경망 훈련시키기
숫자형 특징으로 구성된 데이터 세트(예: 공간 차원 또는 시간 차원이 없는 숫자형 데이터의 모음)가 있는 경우, 특징 입력 계층을 사용하여 딥러닝 신경망을 훈련시킬 수 있습니다.
CSV 파일 "transmissionCasingData.csv"에서 변속기 케이싱 데이터를 읽어 들입니다.
filename = "transmissionCasingData.csv"; tbl = readtable(filename,'TextType','String');
convertvars 함수를 사용하여 예측을 위한 레이블을 categorical형으로 변환합니다.
labelName = "GearToothCondition"; tbl = convertvars(tbl,labelName,'categorical');
범주형 특징을 사용하여 신경망을 훈련시키려면 먼저 범주형 특징을 숫자형으로 변환해야 합니다. 먼저 모든 범주형 입력 변수의 이름을 포함하는 string형 배열을 지정하여 convertvars 함수를 사용해서 범주형 예측 변수를 categorical형으로 변환합니다. 이 데이터 세트에는 이름이 "SensorCondition"과 "ShaftCondition"인 범주형 특징이 2개 있습니다.
categoricalInputNames = ["SensorCondition" "ShaftCondition"]; tbl = convertvars(tbl,categoricalInputNames,'categorical');
범주형 입력 변수를 루프를 사용해 순환합니다. 각 변수에 대해 다음을 수행하십시오.
onehotencode함수를 사용하여 categorical형 값을 one-hot 형식으로 인코딩된 벡터로 변환합니다.addvars함수를 사용하여 one-hot 벡터를 테이블에 추가합니다. 이때 벡터가 해당 범주형 데이터의 열 뒤에 삽입되도록 지정합니다.범주형 데이터를 포함하는 열을 제거합니다.
for i = 1:numel(categoricalInputNames) name = categoricalInputNames(i); oh = onehotencode(tbl(:,name)); tbl = addvars(tbl,oh,'After',name); tbl(:,name) = []; end
splitvars 함수를 사용하여 벡터를 개별 열로 분할합니다.
tbl = splitvars(tbl);
테이블의 처음 몇 개 행을 봅니다. 범주형 예측 변수가 이 범주형 값을 변수 이름으로 갖는 여러 개의 열로 분할된 것을 볼 수 있습니다.
head(tbl)
ans=8×23 table
SigMean SigMedian SigRMS SigVar SigPeak SigPeak2Peak SigSkewness SigKurtosis SigCrestFactor SigMAD SigRangeCumSum SigCorrDimension SigApproxEntropy SigLyapExponent PeakFreq HighFreqPower EnvPower PeakSpecKurtosis No Sensor Drift Sensor Drift No Shaft Wear Shaft Wear GearToothCondition
________ _________ ______ _______ _______ ____________ ___________ ___________ ______________ _______ ______________ ________________ ________________ _______________ ________ _____________ ________ ________________ _______________ ____________ _____________ __________ __________________
-0.94876 -0.9722 1.3726 0.98387 0.81571 3.6314 -0.041525 2.2666 2.0514 0.8081 28562 1.1429 0.031581 79.931 0 6.75e-06 3.23e-07 162.13 0 1 1 0 No Tooth Fault
-0.97537 -0.98958 1.3937 0.99105 0.81571 3.6314 -0.023777 2.2598 2.0203 0.81017 29418 1.1362 0.037835 70.325 0 5.08e-08 9.16e-08 226.12 0 1 1 0 No Tooth Fault
1.0502 1.0267 1.4449 0.98491 2.8157 3.6314 -0.04162 2.2658 1.9487 0.80853 31710 1.1479 0.031565 125.19 0 6.74e-06 2.85e-07 162.13 0 1 0 1 No Tooth Fault
1.0227 1.0045 1.4288 0.99553 2.8157 3.6314 -0.016356 2.2483 1.9707 0.81324 30984 1.1472 0.032088 112.5 0 4.99e-06 2.4e-07 162.13 0 1 0 1 No Tooth Fault
1.0123 1.0024 1.4202 0.99233 2.8157 3.6314 -0.014701 2.2542 1.9826 0.81156 30661 1.1469 0.03287 108.86 0 3.62e-06 2.28e-07 230.39 0 1 0 1 No Tooth Fault
1.0275 1.0102 1.4338 1.0001 2.8157 3.6314 -0.02659 2.2439 1.9638 0.81589 31102 1.0985 0.033427 64.576 0 2.55e-06 1.65e-07 230.39 0 1 0 1 No Tooth Fault
1.0464 1.0275 1.4477 1.0011 2.8157 3.6314 -0.042849 2.2455 1.9449 0.81595 31665 1.1417 0.034159 98.838 0 1.73e-06 1.55e-07 230.39 0 1 0 1 No Tooth Fault
1.0459 1.0257 1.4402 0.98047 2.8157 3.6314 -0.035405 2.2757 1.955 0.80583 31554 1.1345 0.0353 44.223 0 1.11e-06 1.39e-07 230.39 0 1 0 1 No Tooth Fault
데이터 세트의 클래스 이름을 봅니다.
classNames = categories(tbl{:,labelName})classNames = 2×1 cell
{'No Tooth Fault'}
{'Tooth Fault' }
다음으로, 데이터 세트를 훈련 파티션과 테스트 파티션으로 분할합니다. 테스트를 위해 데이터의 15%를 남겨 둡니다.
각 파티션에 대해 관측값 개수를 확인합니다.
numObservations = size(tbl,1); numObservationsTrain = floor(0.85*numObservations); numObservationsTest = numObservations - numObservationsTrain;
관측값에 대응되는 임의 인덱스로 구성된 배열을 만들고, 파티션 크기를 사용하여 배열을 분할합니다.
idx = randperm(numObservations); idxTrain = idx(1:numObservationsTrain); idxTest = idx(numObservationsTrain+1:end);
인덱스를 사용하여 데이터 테이블을 훈련, 검증, 테스트 파티션으로 분할합니다.
tblTrain = tbl(idxTrain,:); tblTest = tbl(idxTest,:);
특징 입력 계층을 갖는 신경망을 정의하고 특징 개수를 지정합니다. 또한, Z 점수 정규화를 사용하여 데이터를 정규화하도록 입력 계층을 구성합니다.
numFeatures = size(tbl,2) - 1;
numClasses = numel(classNames);
layers = [
featureInputLayer(numFeatures,'Normalization', 'zscore')
fullyConnectedLayer(50)
batchNormalizationLayer
reluLayer
fullyConnectedLayer(numClasses)
softmaxLayer
classificationLayer];훈련 옵션을 지정합니다.
miniBatchSize = 16; options = trainingOptions('adam', ... 'MiniBatchSize',miniBatchSize, ... 'Shuffle','every-epoch', ... 'Plots','training-progress', ... 'Verbose',false);
layers에 의해 정의된 아키텍처, 훈련 데이터 및 훈련 옵션을 사용하여 신경망을 훈련시킵니다.
net = trainNetwork(tblTrain,layers,options);
훈련된 신경망을 사용하여 테스트 데이터의 레이블을 예측하고 정확도를 계산합니다. 정확도는 신경망이 올바르게 예측하는 레이블의 비율입니다.
YPred = classify(net,tblTest,'MiniBatchSize',miniBatchSize);
YTest = tblTest{:,labelName};
accuracy = sum(YPred == YTest)/numel(YTest)accuracy = 0.9688
입력 인수
출력 인수
세부 정보
호환성 관련 고려 사항
참고 문헌
[1] Kudo, M., J. Toyama, and M. Shimbo. "Multidimensional Curve Classification Using Passing-Through Regions." Pattern Recognition Letters. Vol. 20, No. 11–13, pp. 1103–1111.
[2] Kudo, M., J. Toyama, and M. Shimbo. Japanese Vowels Data Set. https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels
확장 기능
참고 항목
trainingOptions | SeriesNetwork | DAGNetwork | LayerGraph | classify | predict | analyzeNetwork | assembleNetwork | 심층 신경망 디자이너
You can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)
