이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.
trainNetwork
심층 학습을 위해 신경망 훈련
trainNetwork를 사용하여 심층 학습 분류 및 회귀 문제에 대해 컨벌루션 신경망(ConvNet, CNN), 장단기 메모리(LSTM) 네트워크 또는 양방향 LSTM(BiLSTM) 네트워크를 훈련시킬 수 있습니다. 네트워크는 CPU 또는 GPU에서 훈련시킬 수 있습니다. 이미지 분류 및 이미지 회귀의 경우, 여러 개의 GPU를 사용하여 또는 병렬로 훈련시킬 수 있습니다. GPU 옵션, 다중 GPU 옵션, 병렬 옵션을 사용하려면 Parallel
Computing Toolbox™가 필요합니다. 심층 학습을 위해 GPU를 사용하려면 CUDA® 지원 NVIDIA® GPU(Compute Capability 3.0 이상)도 필요합니다. trainingOptions를 사용하여 실행 환경 옵션을 비롯한 훈련 옵션을 지정합니다.
구문
trainedNet = trainNetwork(imds,layers,options)trainedNet = trainNetwork(mbds,layers,options)trainedNet = trainNetwork(X,Y,layers,options)trainedNet = trainNetwork(sequences,Y,layers,options)trainedNet = trainNetwork(tbl,layers,options)trainedNet = trainNetwork(tbl,responseName,layers,options)[trainedNet,traininfo]
= trainNetwork(___)설명
trainedNet = trainNetwork(imds,layers,options)imds는 입력 이미지 데이터를 저장하고, layers는 네트워크 아키텍처를 정의하고, options는 훈련 옵션을 정의합니다.
trainedNet = trainNetwork(mbds,layers,options)mdbs를 사용하여 네트워크를 훈련시킵니다. 미니 배치 데이터저장소를 사용하여 메모리에 담을 수 없는 큰 데이터를 읽어 들이거나, 데이터를 배치 단위로 읽을 때 특정 연산을 수행할 수 있습니다.
trainedNet = trainNetwork(X,Y,layers,options)X는 예측 변수를 포함하고, Y는 categorical형 레이블 또는 숫자형 응답 변수를 포함합니다.
trainedNet = trainNetwork(tbl,layers,options)tbl은 숫자형 데이터 또는 데이터에 대한 파일 경로를 포함합니다. 예측 변수는 tbl의 첫 번째 열에 있어야 합니다. 목표값 또는 응답 변수에 대한 자세한 내용은 tbl 항목을 참조하십시오.
trainedNet = trainNetwork(tbl,responseName,layers,options)tbl의 첫 번째 열에 있어야 합니다. responseName 인수는 tbl의 응답 변수를 지정합니다.
[는 위에 열거된 구문에 나와 있는 입력 인수를 사용하여 훈련에 대한 정보도 반환합니다.trainedNet,traininfo]
= trainNetwork(___)
예제
이미지 분류를 위해 네트워크 훈련시키기
데이터를 ImageDatastore 객체로서 불러옵니다.
digitDatasetPath = fullfile(matlabroot,'toolbox','nnet', ... 'nndemos','nndatasets','DigitDataset'); imds = imageDatastore(digitDatasetPath, ... 'IncludeSubfolders',true, ... 'LabelSource','foldernames');
이 데이터저장소에는 0부터 9까지 숫자를 나타내는 합성 이미지 10,000개가 있습니다. 이 이미지는 서로 다른 글꼴로 만들어진 숫자 이미지에 무작위 변환을 적용하여 생성됩니다. 각 숫자 이미지는 28x28픽셀입니다. 이 데이터저장소에는 범주당 동일한 개수의 이미지가 포함되어 있습니다.
데이터저장소의 이미지 몇 개를 표시합니다.
figure numImages = 10000; perm = randperm(numImages,20); for i = 1:20 subplot(4,5,i); imshow(imds.Files{perm(i)}); end
훈련 세트의 각 범주에 이미지 750개가 포함되고 테스트 세트에 각 레이블의 나머지 이미지가 포함되도록 데이터저장소를 분할합니다.
numTrainingFiles = 750;
[imdsTrain,imdsTest] = splitEachLabel(imds,numTrainingFiles,'randomize');splitEachLabel은 digitData의 이미지 파일을 2개의 새 데이터저장소인 imdsTrain과 imdsTest로 분할합니다.
컨벌루션 신경망 아키텍처를 정의합니다.
layers = [ ... imageInputLayer([28 28 1]) convolution2dLayer(5,20) reluLayer maxPooling2dLayer(2,'Stride',2) fullyConnectedLayer(10) softmaxLayer classificationLayer];
옵션을 모멘텀을 사용한 확률적 경사하강법의 디폴트 설정으로 설정합니다. 최대 Epoch 횟수를 20으로 설정하고, 초기 학습률 0.0001로 훈련을 시작합니다.
options = trainingOptions('sgdm', ... 'MaxEpochs',20,... 'InitialLearnRate',1e-4, ... 'Verbose',false, ... 'Plots','training-progress');
네트워크를 훈련시킵니다.
net = trainNetwork(imdsTrain,layers,options);
이렇게 훈련된 네트워크를 네트워크 훈련에 사용하지 않은 테스트 세트에 대해 실행하고 이미지 레이블(숫자)을 예측합니다.
YPred = classify(net,imdsTest); YTest = imdsTest.Labels;
정확도를 계산합니다. 정확도는 테스트 데이터에 있는 이미지의 개수 대비 테스트 데이터에서 classify의 분류와 일치하는 실제 레이블의 개수의 비율입니다.
accuracy = sum(YPred == YTest)/numel(YTest)
accuracy = 0.9896
증대 이미지를 사용하여 네트워크 훈련시키기
증대 이미지 데이터를 사용하여 컨벌루션 신경망을 훈련시킵니다. 데이터 증대는 네트워크가 과적합되는 것을 방지하고 훈련 이미지의 정확한 세부 정보가 기억되지 않도록 하는 데 도움이 됩니다.
손으로 쓴 숫자를 나타내는 합성 이미지로 구성된 샘플 데이터를 불러옵니다.
[XTrain,YTrain] = digitTrain4DArrayData;
digitTrain4DArrayData는 숫자 훈련 세트를 4차원 배열 데이터로 불러옵니다. XTrain은 28x28x1x5,000 배열입니다. 여기서 각각은 다음을 나타냅니다.
28은 이미지의 높이와 너비입니다.
1은 채널의 개수입니다.
5,000은 손으로 쓴 숫자를 나타내는 합성 이미지의 개수입니다.
YTrain은 각 관측값에 대한 레이블을 포함하는 categorical형 벡터입니다.
네트워크 검증을 위해 이미지 1,000개를 따로 빼 둡니다.
idx = randperm(size(XTrain,4),1000); XValidation = XTrain(:,:,:,idx); XTrain(:,:,:,idx) = []; YValidation = YTrain(idx); YTrain(idx) = [];
크기 조정, 회전, 평행 이동, 반사와 같은 이미지 증대 전처리 옵션을 지정하는 imageDataAugmenter 객체를 만듭니다. 이미지를 최대 3개 픽셀만큼 가로와 세로 방향으로 임의로 평행 이동하고 최대 20도의 각도로 이미지를 회전합니다.
imageAugmenter = imageDataAugmenter( ... 'RandRotation',[-20,20], ... 'RandXTranslation',[-3 3], ... 'RandYTranslation',[-3 3])
imageAugmenter =
imageDataAugmenter with properties:
FillValue: 0
RandXReflection: 0
RandYReflection: 0
RandRotation: [-20 20]
RandScale: [1 1]
RandXScale: [1 1]
RandYScale: [1 1]
RandXShear: [0 0]
RandYShear: [0 0]
RandXTranslation: [-3 3]
RandYTranslation: [-3 3]
네트워크 훈련에 사용할 augmentedImageDatastore 객체를 만들고 이미지 출력 크기를 지정합니다. 데이터저장소는 훈련 중에 이미지를 증대하고 이미지의 크기를 조정합니다. 데이터저장소는 메모리에 이미지를 저장하지 않으면서 이미지를 증대합니다. trainNetwork는 네트워크 파라미터를 업데이트한 다음 증대된 이미지를 버립니다.
imageSize = [28 28 1];
augimds = augmentedImageDatastore(imageSize,XTrain,YTrain,'DataAugmentation',imageAugmenter);컨벌루션 신경망 아키텍처를 지정합니다.
layers = [
imageInputLayer(imageSize)
convolution2dLayer(3,8,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,16,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];모멘텀을 사용한 확률적 경사하강법의 훈련 옵션을 지정합니다.
opts = trainingOptions('sgdm', ... 'MaxEpochs',15, ... 'Shuffle','every-epoch', ... 'Plots','training-progress', ... 'Verbose',false, ... 'ValidationData',{XValidation,YValidation});
네트워크를 훈련시킵니다. 검증 이미지는 증대되지 않았으므로 훈련 정확도보다 검증 정확도가 높습니다.
net = trainNetwork(augimds,layers,opts);
이미지 회귀를 위해 네트워크 훈련시키기
손으로 쓴 숫자를 나타내는 합성 이미지로 구성된 샘플 데이터를 불러옵니다. 세 번째 출력값은 각 이미지가 회전된 각도(단위: 도)를 담고 있습니다.
digitTrain4DArrayData를 사용하여 훈련 이미지를 4차원 배열로 불러옵니다. 출력값 XTrain은 28x28x1x5,000 배열입니다. 여기서 각각은 다음을 나타냅니다.
28은 이미지의 높이와 너비입니다.
1은 채널의 개수입니다.
5,000은 손으로 쓴 숫자를 나타내는 합성 이미지의 개수입니다.
YTrain은 회전 각도(단위: 도)를 담고 있습니다.
[XTrain,~,YTrain] = digitTrain4DArrayData;
imshow를 사용하여 임의의 훈련 이미지 20개를 표시합니다.
figure numTrainImages = numel(YTrain); idx = randperm(numTrainImages,20); for i = 1:numel(idx) subplot(4,5,i) imshow(XTrain(:,:,:,idx(i))) end
컨벌루션 신경망 아키텍처를 지정합니다. 회귀 문제는 네트워크 끝부분에 회귀 계층을 삽입합니다.
layers = [ ...
imageInputLayer([28 28 1])
convolution2dLayer(12,25)
reluLayer
fullyConnectedLayer(1)
regressionLayer];네트워크 훈련 옵션을 지정합니다. 초기 학습률을 0.001로 설정합니다.
options = trainingOptions('sgdm', ... 'InitialLearnRate',0.001, ... 'Verbose',false, ... 'Plots','training-progress');
네트워크를 훈련시킵니다.
net = trainNetwork(XTrain,YTrain,layers,options);
테스트 데이터의 예측 정확도를 평가하여 네트워크의 성능을 테스트합니다. predict를 사용하여 검증 이미지의 회전 각도를 예측합니다.
[XTest,~,YTest] = digitTest4DArrayData; YPred = predict(net,XTest);
회전의 예측 각도와 실제 각도의 RMSE(제곱평균제곱근 오차)를 계산하여 모델의 성능을 평가합니다.
rmse = sqrt(mean((YTest - YPred).^2))
rmse = single
6.4026
시퀀스 분류를 위해 네트워크 훈련시키기
Sequence-to-label 분류를 위해 심층 학습 LSTM 네트워크를 훈련시킵니다.
[1]과 [2]에서 설명한 Japanese Vowels 데이터 세트를 불러옵니다. XTrain은 특징 차원이 12이고 다양한 길이의 시퀀스 270개로 구성된 셀형 배열입니다. Y는 레이블 1,2,...,9로 구성된 categorical형 벡터입니다. XTrain의 요소는 각 특징에 대해 하나의 행을 갖는 12개의 행과 각 시간 스텝에 대해 하나의 열을 갖는 가변 개수의 열로 이루어진 행렬입니다.
[XTrain,YTrain] = japaneseVowelsTrainData;
첫 번째 시계열을 플롯으로 시각화합니다. 선은 각각 하나의 특징에 대응됩니다.
figure
plot(XTrain{1}')
title("Training Observation 1")
numFeatures = size(XTrain{1},1);
legend("Feature " + string(1:numFeatures),'Location','northeastoutside')
LSTM 네트워크 아키텍처를 정의합니다. 입력 크기를 12(입력 데이터의 특징 개수)로 지정합니다. 은닉 유닛 100개를 포함하고 시퀀스의 마지막 요소를 출력하는 LSTM 계층을 지정합니다. 마지막으로, 크기가 9인 완전 연결 계층을 포함하여 9개의 클래스를 지정하고, 이어서 소프트맥스 계층과 분류 계층을 지정합니다.
inputSize = 12; numHiddenUnits = 100; numClasses = 9; layers = [ ... sequenceInputLayer(inputSize) lstmLayer(numHiddenUnits,'OutputMode','last') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]
layers =
5x1 Layer array with layers:
1 '' Sequence Input Sequence input with 12 dimensions
2 '' LSTM LSTM with 100 hidden units
3 '' Fully Connected 9 fully connected layer
4 '' Softmax softmax
5 '' Classification Output crossentropyex
훈련 옵션을 지정합니다. 솔버를 'adam'으로 지정하고 'GradientThreshold'를 1로 지정합니다. 미니 배치의 크기를 27로 설정하고 최대 Epoch 횟수를 100으로 설정합니다.
미니 배치는 짧은 시퀀스로 구성된 크기가 작은 배치이므로 훈련에는 CPU가 더 적절합니다. 'ExecutionEnvironment'를 'cpu'로 설정합니다. GPU를 사용할 수 있는 경우 GPU에서 훈련시키려면 'ExecutionEnvironment'를 'auto'(디폴트 값)로 설정하십시오.
maxEpochs = 100; miniBatchSize = 27; options = trainingOptions('adam', ... 'ExecutionEnvironment','cpu', ... 'MaxEpochs',maxEpochs, ... 'MiniBatchSize',miniBatchSize, ... 'GradientThreshold',1, ... 'Verbose',false, ... 'Plots','training-progress');
지정된 훈련 옵션으로 LSTM 네트워크를 훈련시킵니다.
net = trainNetwork(XTrain,YTrain,layers,options);
테스트 세트를 불러오고 시퀀스를 화자별로 분류합니다.
[XTest,YTest] = japaneseVowelsTestData;
테스트 데이터를 분류합니다. 훈련에 사용된 것과 동일하게 미니 배치 크기를 지정합니다.
YPred = classify(net,XTest,'MiniBatchSize',miniBatchSize);예측의 분류 정확도를 계산합니다.
acc = sum(YPred == YTest)./numel(YTest)
acc = 0.9270
입력 인수
출력 인수
세부 정보
참고 문헌
[1] Kudo, M., J. Toyama, and M. Shimbo. "Multidimensional Curve Classification Using Passing-Through Regions." Pattern Recognition Letters. Vol. 20, No. 11–13, pp. 1103–1111.
[2] Kudo, M., J. Toyama, and M. Shimbo. Japanese Vowels Data Set. https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels
확장 기능
참고 항목
DAGNetwork | LayerGraph | SeriesNetwork | analyzeNetwork | assembleNetwork | classify | predict | trainingOptions
