이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.
trainNetwork
딥러닝을 위해 신경망 훈련
구문
설명
trainNetwork를 사용하여 딥러닝 분류 및 회귀 문제에 대해 컨벌루션 신경망(ConvNet, CNN), 장단기 메모리(LSTM) 신경망 또는 양방향 LSTM(BiLSTM) 신경망을 훈련시킬 수 있습니다. 신경망은 CPU 또는 GPU에서 훈련시킬 수 있습니다. 영상 분류 및 영상 회귀의 경우, 여러 개의 GPU를 사용하여 또는 병렬로 훈련시킬 수 있습니다. GPU 옵션, 다중 GPU 옵션, 병렬 옵션을 사용하려면 Parallel
Computing Toolbox™가 필요합니다. 딥러닝을 위해 GPU를 사용하려면 CUDA® 지원 NVIDIA® GPU(Compute Capability 3.0 이상)도 필요합니다. trainingOptions를 사용하여 실행 환경 옵션을 비롯한 훈련 옵션을 지정합니다.
net = trainNetwork(tbl,responseName,layers,options)tbl의 첫 번째 열에 있어야 합니다. responseName 인수는 tbl의 응답 변수를 지정합니다.
예제
영상 분류를 위해 신경망 훈련시키기
데이터를 ImageDatastore 객체로서 불러옵니다.
digitDatasetPath = fullfile(matlabroot,'toolbox','nnet', ... 'nndemos','nndatasets','DigitDataset'); imds = imageDatastore(digitDatasetPath, ... 'IncludeSubfolders',true, ... 'LabelSource','foldernames');
이 데이터저장소에는 0부터 9까지 숫자를 나타내는 합성 영상 10,000개가 있습니다. 이 영상은 서로 다른 글꼴로 만들어진 숫자 영상에 무작위 변환을 적용하여 생성됩니다. 각 숫자 영상은 28x28픽셀입니다. 이 데이터저장소에는 범주당 동일한 개수의 영상이 포함되어 있습니다.
데이터저장소의 영상 몇 개를 표시합니다.
figure numImages = 10000; perm = randperm(numImages,20); for i = 1:20 subplot(4,5,i); imshow(imds.Files{perm(i)}); end
훈련 세트의 각 범주에 영상 750개가 포함되고 테스트 세트에 각 레이블의 나머지 영상이 포함되도록 데이터저장소를 분할합니다.
numTrainingFiles = 750;
[imdsTrain,imdsTest] = splitEachLabel(imds,numTrainingFiles,'randomize');splitEachLabel은 digitData의 영상 파일을 2개의 새 데이터저장소인 imdsTrain과 imdsTest로 분할합니다.
컨벌루션 신경망 아키텍처를 정의합니다.
layers = [ ... imageInputLayer([28 28 1]) convolution2dLayer(5,20) reluLayer maxPooling2dLayer(2,'Stride',2) fullyConnectedLayer(10) softmaxLayer classificationLayer];
옵션을 모멘텀을 사용한 확률적 경사하강법의 디폴트 설정으로 설정합니다. 최대 Epoch 횟수를 20으로 설정하고, 초기 학습률 0.0001로 훈련을 시작합니다.
options = trainingOptions('sgdm', ... 'MaxEpochs',20,... 'InitialLearnRate',1e-4, ... 'Verbose',false, ... 'Plots','training-progress');
신경망을 훈련시킵니다.
net = trainNetwork(imdsTrain,layers,options);
이렇게 훈련된 신경망을 신경망 훈련에 사용하지 않은 테스트 세트에 대해 실행하고 영상 레이블(숫자)을 예측합니다.
YPred = classify(net,imdsTest); YTest = imdsTest.Labels;
정확도를 계산합니다. 정확도는 테스트 데이터에 있는 영상의 개수 대비 테스트 데이터에서 classify의 분류와 일치하는 실제 레이블의 개수의 비율입니다.
accuracy = sum(YPred == YTest)/numel(YTest)
accuracy = 0.9408
증대 영상을 사용하여 신경망 훈련시키기
증대 영상 데이터를 사용하여 컨벌루션 신경망을 훈련시킵니다. 데이터 증대는 신경망이 과적합되는 것을 방지하고 훈련 영상의 정확한 세부 정보가 기억되지 않도록 하는 데 도움이 됩니다.
손으로 쓴 숫자를 나타내는 합성 영상으로 구성된 샘플 데이터를 불러옵니다.
[XTrain,YTrain] = digitTrain4DArrayData;
digitTrain4DArrayData는 숫자 훈련 세트를 4차원 배열 데이터로 불러옵니다. XTrain은 28x28x1x5,000 배열입니다. 여기서 각각은 다음을 나타냅니다.
28은 영상의 높이와 너비입니다.
1은 채널의 개수입니다.
5,000은 손으로 쓴 숫자를 나타내는 합성 영상의 개수입니다.
YTrain은 각 관측값에 대한 레이블을 포함하는 categorical형 벡터입니다.
신경망 검증을 위해 영상 1,000개를 따로 빼 둡니다.
idx = randperm(size(XTrain,4),1000); XValidation = XTrain(:,:,:,idx); XTrain(:,:,:,idx) = []; YValidation = YTrain(idx); YTrain(idx) = [];
크기 조정, 회전, 평행 이동, 반사와 같은 영상 증대 전처리 옵션을 지정하는 imageDataAugmenter 객체를 만듭니다. 영상을 최대 3개 픽셀만큼 가로와 세로 방향으로 임의로 평행 이동하고 최대 20도의 각도로 영상을 회전합니다.
imageAugmenter = imageDataAugmenter( ... 'RandRotation',[-20,20], ... 'RandXTranslation',[-3 3], ... 'RandYTranslation',[-3 3])
imageAugmenter =
imageDataAugmenter with properties:
FillValue: 0
RandXReflection: 0
RandYReflection: 0
RandRotation: [-20 20]
RandScale: [1 1]
RandXScale: [1 1]
RandYScale: [1 1]
RandXShear: [0 0]
RandYShear: [0 0]
RandXTranslation: [-3 3]
RandYTranslation: [-3 3]
신경망 훈련에 사용할 augmentedImageDatastore 객체를 만들고 영상 출력 크기를 지정합니다. 데이터저장소는 훈련 중에 영상을 증대하고 영상의 크기를 조정합니다. 데이터저장소는 메모리에 영상을 저장하지 않으면서 영상을 증대합니다. trainNetwork는 신경망 파라미터를 업데이트한 다음 증대 영상을 버립니다.
imageSize = [28 28 1];
augimds = augmentedImageDatastore(imageSize,XTrain,YTrain,'DataAugmentation',imageAugmenter);컨벌루션 신경망 아키텍처를 지정합니다.
layers = [
imageInputLayer(imageSize)
convolution2dLayer(3,8,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,16,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];모멘텀을 사용한 확률적 경사하강법의 훈련 옵션을 지정합니다.
opts = trainingOptions('sgdm', ... 'MaxEpochs',15, ... 'Shuffle','every-epoch', ... 'Plots','training-progress', ... 'Verbose',false, ... 'ValidationData',{XValidation,YValidation});
신경망을 훈련시킵니다. 검증 영상은 증대되지 않았으므로 훈련 정확도보다 검증 정확도가 높습니다.
net = trainNetwork(augimds,layers,opts);
Warning: Support for GPU devices with Compute Capability 3.0 will be removed in a future MATLAB release. For more information on GPU support, see <a href="matlab:web('http://www.mathworks.com/help/parallel-computing/gpu-support-by-release.html','-browser')">GPU Support by Release</a>.
영상 회귀를 위해 신경망 훈련시키기
손으로 쓴 숫자를 나타내는 합성 영상으로 구성된 샘플 데이터를 불러옵니다. 세 번째 출력값은 각 영상이 회전된 각도(단위: 도)를 담고 있습니다.
digitTrain4DArrayData를 사용하여 훈련 영상을 4차원 배열로 불러옵니다. 출력값 XTrain은 28x28x1x5,000 배열입니다. 여기서 각각은 다음을 나타냅니다.
28은 영상의 높이와 너비입니다.
1은 채널의 개수입니다.
5,000은 손으로 쓴 숫자를 나타내는 합성 영상의 개수입니다.
YTrain은 회전 각도(단위: 도)를 담고 있습니다.
[XTrain,~,YTrain] = digitTrain4DArrayData;
imshow를 사용하여 임의의 훈련 영상 20개를 표시합니다.
figure numTrainImages = numel(YTrain); idx = randperm(numTrainImages,20); for i = 1:numel(idx) subplot(4,5,i) imshow(XTrain(:,:,:,idx(i))) end
컨벌루션 신경망 아키텍처를 지정합니다. 회귀 문제는 신경망 끝부분에 회귀 계층을 삽입합니다.
layers = [ ...
imageInputLayer([28 28 1])
convolution2dLayer(12,25)
reluLayer
fullyConnectedLayer(1)
regressionLayer];신경망 훈련 옵션을 지정합니다. 초기 학습률을 0.001로 설정합니다.
options = trainingOptions('sgdm', ... 'InitialLearnRate',0.001, ... 'Verbose',false, ... 'Plots','training-progress');
신경망을 훈련시킵니다.
net = trainNetwork(XTrain,YTrain,layers,options);
Warning: Support for GPU devices with Compute Capability 3.0 will be removed in a future MATLAB release. For more information on GPU support, see <a href="matlab:web('http://www.mathworks.com/help/parallel-computing/gpu-support-by-release.html','-browser')">GPU Support by Release</a>.
테스트 데이터의 예측 정확도를 평가하여 신경망의 성능을 테스트합니다. predict를 사용하여 검증 영상의 회전 각도를 예측합니다.
[XTest,~,YTest] = digitTest4DArrayData; YPred = predict(net,XTest);
회전의 예측 각도와 실제 각도의 RMSE(제곱평균제곱근 오차)를 계산하여 모델의 성능을 평가합니다.
rmse = sqrt(mean((YTest - YPred).^2))
rmse = single
6.0178
시퀀스 분류를 위해 신경망 훈련시키기
Sequence-to-label 분류를 위해 딥러닝 LSTM 신경망을 훈련시킵니다.
[1]과 [2]에서 설명한 Japanese Vowels 데이터 세트를 불러옵니다. XTrain은 특징 차원이 12이고 다양한 길이의 시퀀스 270개로 구성된 셀형 배열입니다. Y는 레이블 1,2,...,9로 구성된 categorical형 벡터입니다. XTrain의 요소는 각 특징에 대해 하나의 행을 갖는 12개의 행과 각 시간 스텝에 대해 하나의 열을 갖는 가변 개수의 열로 이루어진 행렬입니다.
[XTrain,YTrain] = japaneseVowelsTrainData;
첫 번째 시계열을 플롯으로 시각화합니다. 선은 각각 하나의 특징에 대응됩니다.
figure
plot(XTrain{1}')
title("Training Observation 1")
numFeatures = size(XTrain{1},1);
legend("Feature " + string(1:numFeatures),'Location','northeastoutside')
LSTM 신경망 아키텍처를 정의합니다. 입력 크기를 12(입력 데이터의 특징 개수)로 지정합니다. 은닉 유닛 100개를 포함하고 시퀀스의 마지막 요소를 출력하는 LSTM 계층을 지정합니다. 마지막으로, 크기가 9인 완전 연결 계층을 포함하여 9개의 클래스를 지정하고, 이어서 소프트맥스 계층과 분류 계층을 지정합니다.
inputSize = 12; numHiddenUnits = 100; numClasses = 9; layers = [ ... sequenceInputLayer(inputSize) lstmLayer(numHiddenUnits,'OutputMode','last') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]
layers =
5x1 Layer array with layers:
1 '' Sequence Input Sequence input with 12 dimensions
2 '' LSTM LSTM with 100 hidden units
3 '' Fully Connected 9 fully connected layer
4 '' Softmax softmax
5 '' Classification Output crossentropyex
훈련 옵션을 지정합니다. 솔버를 'adam'으로 지정하고 'GradientThreshold'를 1로 지정합니다. 미니 배치의 크기를 27로 설정하고 최대 Epoch 횟수를 100으로 설정합니다.
미니 배치는 짧은 시퀀스로 구성된 크기가 작은 배치이므로 훈련에는 CPU가 더 적절합니다. 'ExecutionEnvironment'를 'cpu'로 설정합니다. GPU를 사용할 수 있는 경우 GPU에서 훈련시키려면 'ExecutionEnvironment'를 'auto'(디폴트 값)로 설정하십시오.
maxEpochs = 100; miniBatchSize = 27; options = trainingOptions('adam', ... 'ExecutionEnvironment','cpu', ... 'MaxEpochs',maxEpochs, ... 'MiniBatchSize',miniBatchSize, ... 'GradientThreshold',1, ... 'Verbose',false, ... 'Plots','training-progress');
지정된 훈련 옵션으로 LSTM 신경망을 훈련시킵니다.
net = trainNetwork(XTrain,YTrain,layers,options);
테스트 세트를 불러오고 시퀀스를 화자별로 분류합니다.
[XTest,YTest] = japaneseVowelsTestData;
테스트 데이터를 분류합니다. 훈련에 사용된 것과 동일하게 미니 배치 크기를 지정합니다.
YPred = classify(net,XTest,'MiniBatchSize',miniBatchSize);예측의 분류 정확도를 계산합니다.
acc = sum(YPred == YTest)./numel(YTest)
acc = 0.9486
입력 인수
출력 인수
세부 정보
참고 문헌
[1] Kudo, M., J. Toyama, and M. Shimbo. "Multidimensional Curve Classification Using Passing-Through Regions." Pattern Recognition Letters. Vol. 20, No. 11–13, pp. 1103–1111.
[2] Kudo, M., J. Toyama, and M. Shimbo. Japanese Vowels Data Set. https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels
확장 기능
참고 항목
analyzeNetwork | assembleNetwork | classify | DAGNetwork | LayerGraph | predict | SeriesNetwork | trainingOptions | 심층 신경망 디자이너
Select a Web Site
Choose a web site to get translated content where available and see local events and offers. Based on your location, we recommend that you select: .
Select web siteYou can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)
