Main Content

trainingOptions

딥러닝 신경망 훈련 옵션

설명

options = trainingOptions(solverName)solverName으로 지정된 최적화 함수에 대한 훈련 옵션을 반환합니다. 신경망을 훈련시키려면 훈련 옵션을 trainnet 함수 또는 trainNetwork 함수의 입력 인수로 사용하십시오.

예제

options = trainingOptions(solverName,Name=Value)는 하나 이상의 이름-값 인수로 지정된 추가 옵션을 사용하여 훈련 옵션을 반환합니다.

예제

모두 축소

모멘텀을 사용한 확률적 경사하강법을 이용해 신경망을 훈련시키는 옵션 세트를 만듭니다. Epoch 5회마다 학습률을 0.2배만큼 줄입니다. 훈련을 진행할 최대 Epoch 횟수를 20으로 설정하고, 각 반복마다 64개의 관측값을 갖는 미니 배치를 사용합니다. 훈련 진행 상황 플롯을 켭니다.

options = trainingOptions("sgdm", ...
    LearnRateSchedule="piecewise", ...
    LearnRateDropFactor=0.2, ...
    LearnRateDropPeriod=5, ...
    MaxEpochs=20, ...
    MiniBatchSize=64, ...
    Plots="training-progress")
options = 
  TrainingOptionsSGDM with properties:

                        Momentum: 0.9000
                InitialLearnRate: 0.0100
                       MaxEpochs: 20
               LearnRateSchedule: 'piecewise'
             LearnRateDropFactor: 0.2000
             LearnRateDropPeriod: 5
                   MiniBatchSize: 64
                         Shuffle: 'once'
                      WorkerLoad: []
             CheckpointFrequency: 1
         CheckpointFrequencyUnit: 'epoch'
                  SequenceLength: 'longest'
            DispatchInBackground: 0
                L2Regularization: 1.0000e-04
         GradientThresholdMethod: 'l2norm'
               GradientThreshold: Inf
                         Verbose: 1
                VerboseFrequency: 50
                  ValidationData: []
             ValidationFrequency: 50
              ValidationPatience: Inf
                  CheckpointPath: ''
            ExecutionEnvironment: 'auto'
                       OutputFcn: []
                         Metrics: []
                           Plots: 'training-progress'
            SequencePaddingValue: 0
        SequencePaddingDirection: 'right'
                InputDataFormats: "auto"
               TargetDataFormats: "auto"
         ResetInputNormalization: 1
    BatchNormalizationStatistics: 'auto'
                   OutputNetwork: 'last-iteration'

이 예제에서는 딥러닝 신경망의 훈련 진행 상황을 모니터링하는 방법을 보여줍니다.

딥러닝을 위해 신경망을 훈련시킬 때는 훈련 진행 상황을 모니터링하는 것이 유용한 경우가 종종 있습니다. 훈련 중에 다양한 메트릭을 플로팅하면 훈련이 어떻게 진행되고 있는지 알 수 있습니다. 예를 들어, 신경망 정확도가 향상되고 있는지, 향상되는 속도는 어느 정도인지, 신경망이 훈련 데이터를 과적합하기 시작하고 있는지 등을 확인할 수 있습니다.

이 예제에서는 trainNetwork 함수를 사용하여 훈련된 신경망의 훈련 진행 상황을 모니터링하는 방법을 보여줍니다. 사용자 지정 훈련 루프를 사용하여 훈련된 신경망의 경우 trainingProgressMonitor 객체를 사용하여 훈련 중에 메트릭을 플로팅합니다. 자세한 내용은 Monitor Custom Training Loop Progress 항목을 참조하십시오.

trainingOptions에서 Plots 훈련 옵션을 "training-progress"로 설정하고 신경망 훈련을 시작하면 trainNetwork는 Figure를 만들고 각 반복에서 훈련 메트릭을 표시합니다. 각 반복은 기울기의 추정값이자 신경망 파라미터의 업데이트입니다. trainingOptions에 검증 데이터를 지정하면 trainNetwork가 신경망을 검증할 때마다 Figure에 검증 메트릭이 표시됩니다. Figure에는 다음과 같은 내용이 플로팅됩니다.

  • 훈련 정확도 — 각 개별 미니 배치의 분류 정확도.

  • 평활화된 훈련 정확도 — 훈련 정확도에 평활화 알고리즘을 적용하여 얻은 평활화된 훈련 정확도. 평활화되지 않은 정확도보다 잡음이 적기 때문에 보다 쉽게 추세를 파악할 수 있습니다.

  • 검증 정확도 — 전체 검증 세트에 대한 분류 정확도(trainingOptions를 사용하여 지정됨).

  • 훈련 손실, 평활화된 훈련 손실검증 손실 — 각 미니 배치에 대한 손실, 각 미니 배치에 대한 평활화된 손실, 검증 세트에 대한 손실. 신경망의 마지막 계층이 classificationLayer이면 손실 함수는 교차 엔트로피 손실이 됩니다. 분류 및 회귀 문제의 손실 함수에 대한 자세한 내용은 출력 계층 항목을 참조하십시오.

회귀 신경망에서는 Figure가 정확도 대신 RMSE(평균 제곱 오차의 제곱근)를 플로팅합니다.

Figure는 훈련되는 각 Epoch를 음영 처리된 배경으로 표시합니다. Epoch 1회는 전체 데이터 세트를 완전히 한 번 통과하는 것을 의미합니다.

훈련 중에 오른쪽 위 코너에 있는 중지 버튼을 클릭하면 훈련을 중지하고 신경망의 현재 상태를 반환할 수 있습니다. 예를 들어, 신경망의 정확도가 일정해지고 더 이상 증가하지 않는 것이 분명해지면 훈련을 중지하려 할 수 있습니다. 중지 버튼을 클릭하면 훈련이 완료되기까지 얼마간의 시간이 걸릴 수 있습니다. 훈련이 완료되면 trainNetwork는 훈련된 신경망을 반환합니다.

훈련이 끝나면 결과에서 완료된 검증 정확도와 훈련이 끝난 이유를 확인합니다. OutputNetwork 훈련 옵션이 "last-iteration"(디폴트 값)이면 완료된 메트릭은 마지막 훈련 반복에 대응됩니다. OutputNetwork 훈련 옵션이 "best-validation-loss"이면 완료된 메트릭은 검증 손실이 가장 낮은 반복에 대응됩니다. 최종 검증 메트릭이 계산된 반복은 플롯에 최종이라고 표시됩니다.

신경망에 배치 정규화 계층이 포함되어 있는 경우, 최종 검증 메트릭이 훈련 중에 계산된 검증 메트릭과 다를 수 있습니다. 이는 훈련이 완료된 후 배치 정규화에 사용되는 평균 통계량 및 분산 통계량이 다를 수 있기 때문입니다. 예를 들어 BatchNormalizationStatisics 훈련 옵션이 "population"인 경우 훈련 후에 소프트웨어는 훈련 데이터를 한 번 더 통과시켜 배치 정규화 통계량을 완성하고 결과로 생성되는 평균과 분산을 사용합니다. BatchNormalizationStatisics 훈련 옵션이 "moving"인 경우 소프트웨어는 동적 추정값을 사용하여 훈련 중에 통계량을 근사하고 통계량의 최신 값을 사용합니다.

오른쪽에서 훈련 시간과 설정에 대한 정보를 확인합니다. 훈련 옵션에 대한 자세한 내용은 파라미터를 설정하고 컨벌루션 신경망 훈련시키기 항목을 참조하십시오.

훈련 진행 상황 플롯을 저장하려면 훈련 창에서 훈련 플롯 내보내기를 클릭하십시오. 플롯은 PNG, JPEG, TIFF 또는 PDF 파일로 저장할 수 있습니다. 좌표축 도구 모음을 사용하여 손실, 정확도, 평균 제곱 오차 제곱근의 개별 플롯을 저장할 수도 있습니다.

훈련 중에 훈련 진행 상황 플로팅하기

신경망을 훈련시키고 훈련 중에 훈련 진행 상황을 플로팅합니다.

숫자 영상 5,000개를 포함하는 훈련 데이터를 불러옵니다. 신경망 검증을 위해 영상 1,000개를 남겨 둡니다.

[XTrain,YTrain] = digitTrain4DArrayData;

idx = randperm(size(XTrain,4),1000);
XValidation = XTrain(:,:,:,idx);
XTrain(:,:,:,idx) = [];
YValidation = YTrain(idx);
YTrain(idx) = [];

숫자 영상 데이터를 분류할 신경망을 구성합니다.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,8,Padding="same")
    batchNormalizationLayer
    reluLayer   
    maxPooling2dLayer(2,Stride=2)
    convolution2dLayer(3,16,Padding="same")
    batchNormalizationLayer
    reluLayer
    maxPooling2dLayer(2,Stride=2)
    convolution2dLayer(3,32,Padding="same")
    batchNormalizationLayer
    reluLayer
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer];

신경망 훈련 옵션을 지정합니다. 훈련 중에 규칙적인 간격으로 신경망을 검증하려면 검증 데이터를 지정하십시오. Epoch당 한 번 정도씩 신경망 검증이 실시되도록 ValidationFrequency 값을 선택합니다. 훈련 중에 훈련 진행 상황을 플로팅하려면 Plots 훈련 옵션을 "training-progress"로 설정하십시오.

options = trainingOptions("sgdm", ...
    MaxEpochs=8, ...
    ValidationData={XValidation,YValidation}, ...
    ValidationFrequency=30, ...
    Verbose=false, ...
    Plots="training-progress");

신경망을 훈련시킵니다.

net = trainNetwork(XTrain,YTrain,layers,options);

Figure Training Progress (19-Aug-2023 11:37:51) contains 2 axes objects and another object of type uigridlayout. Axes object 1 with xlabel Iteration, ylabel Loss contains 15 objects of type patch, text, line. Axes object 2 with xlabel Iteration, ylabel Accuracy (%) contains 15 objects of type patch, text, line.

입력 인수

모두 축소

신경망 훈련에 사용할 솔버로, 다음 값 중 하나로 지정됩니다.

  • "sgdm" — SGDM(모멘텀을 사용한 확률적 경사하강법). SGDM은 확률적 솔버입니다. 추가 훈련 옵션은 확률적 솔버 옵션 항목을 참조하십시오. 자세한 내용은 모멘텀을 사용한 확률적 경사하강법 항목을 참조하십시오.

  • "rmsprop" — RMSProp(RMS 전파). RMSProp는 확률적 솔버입니다. 추가 훈련 옵션은 확률적 솔버 옵션 항목을 참조하십시오. 자세한 내용은 RMS 전파 항목을 참조하십시오.

  • "adam" — Adam(적응적 모멘트 추정). Adam은 확률적 솔버입니다. 추가 훈련 옵션은 확률적 솔버 옵션 항목을 참조하십시오. 자세한 내용은 적응적 모멘트 추정 항목을 참조하십시오.

  • "lbfgs" (R2023b 이후) — L-BFGS(메모리 제한 Broyden–Fletcher–Goldfarb–Shanno). L-BFGS는 배치 솔버입니다. L-BFGS 알고리즘은 단일 배치로 처리할 수 있는 소규모 신경망 및 데이터 세트에 가장 적합합니다. 추가 훈련 옵션은 L-BFGS 솔버 옵션 항목을 참조하십시오. 자세한 내용은 메모리 제한 BFGS 항목을 참조하십시오. 이 옵션은 trainnet 함수만 지원합니다.

trainBERTDocumentClassifier (Text Analytics Toolbox) 함수는 "sgdm", "rmsprop""adam" 솔버만 지원합니다.

이름-값 인수

선택적 인수 쌍을 Name1=Value1,...,NameN=ValueN으로 지정합니다. 여기서 Name은 인수 이름이고 Value는 대응값입니다. 이름-값 인수는 다른 인수 뒤에 와야 하지만, 인수 쌍의 순서는 상관없습니다.

R2021a 이전 릴리스에서는 쉼표를 사용하여 각 이름과 값을 구분하고 Name을 따옴표로 묶으십시오.

예: Plots="training-progress",Metrics="accuracy",Verbose=false는 세부 정보 출력을 비활성화하고 정확도 메트릭까지 포함된 플롯에 훈련 진행 상황을 표시하도록 지정합니다.

모니터링

모두 축소

신경망 훈련 중에 표시할 플롯으로, 다음 값 중 하나로 지정됩니다.

  • "none" — 훈련 중에 플롯을 표시하지 않습니다.

  • "training-progress" — 훈련 진행 상황을 플로팅합니다.

플롯의 내용은 사용하는 훈련 함수에 따라 달라집니다.

trainnet 함수

  • solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우, 플롯은 Metrics 옵션으로 지정된 미니 배치 손실, 검증 손실, 훈련 미니 배치 및 검증 메트릭, 그리고 훈련 진행 상황에 대한 추가 정보를 보여줍니다.

  • solverName 인수가 "lbfgs"인 경우, 플롯은 Metrics 옵션으로 지정된 훈련 및 검증 손실, 훈련 및 검증 메트릭, 그리고 훈련 진행 상황에 대한 추가 정보를 보여줍니다.

훈련 후 훈련 진행 상황 플롯을 프로그래밍 방식으로 열고 닫으려면 trainnet 함수의 두 번째 출력값을 show 함수와 close 함수에 사용하십시오. Plots 훈련 옵션이 "none"으로 지정된 경우에도 show 함수를 사용하여 훈련 진행 상황을 볼 수 있습니다.

trainNetwork 함수

이 플롯은 미니 배치 손실과 정확도, 검증 손실과 정확도, 그리고 훈련 진행 상황에 대한 추가 정보를 보여줍니다. trainNetwork 훈련 진행 상황 플롯에 대한 자세한 내용은 딥러닝 훈련 진행 상황 모니터링하기 항목을 참조하십시오.

R2023b 이후

추적할 메트릭으로, 내장 메트릭 이름을 나타내는 문자형 벡터 또는 string형 스칼라, 이름으로 구성된 string형 배열, 내장 메트릭 객체 또는 사용자 지정 메트릭 객체, 함수 핸들(@myMetric), 또는 이름, 메트릭 객체 및 함수 핸들로 구성된 셀형 배열로 지정됩니다.

  • 내장 메트릭 이름 — 메트릭을 string형 스칼라, 문자형 벡터 또는 내장 메트릭 이름으로 구성된 string형 배열로 지정합니다. 지원되는 값은 "accuracy", "fscore", "recall", "precision", "rmse""auc"입니다.

  • 내장 메트릭 객체 — 더 많은 유연성이 필요한 경우 내장 메트릭 객체를 사용할 수 있습니다. 다음과 같은 내장 메트릭 객체가 지원됩니다.

    내장 메트릭 객체를 만들 때 평균화 유형이나 단일 레이블 작업으로 할지 다중 레이블 작업으로 할지 등의 추가 옵션을 지정할 수 있습니다.

  • 사용자 지정 메트릭 함수 핸들 — 필요한 메트릭이 내장 메트릭이 아닌 경우 함수 핸들을 사용하여 사용자 지정 메트릭을 지정할 수 있습니다. 함수의 구문은 metric = metricFunction(Y,T)여야 합니다. 여기서 Y는 신경망 예측값에 대응되고 T는 목표 응답에 대응됩니다. 출력값이 여러 개인 신경망의 경우 구문은 metric = metricFunction(Y1,…,YN,T1,…TM)이어야 합니다. 여기서 N은 출력값 개수이고 M은 목표값 개수입니다. 자세한 내용은 Define Custom Metric Function 항목을 참조하십시오.

    참고

    미니 배치에 검증 데이터가 있는 경우 소프트웨어는 각 미니 배치에 대한 검증 메트릭을 계산한 다음 해당 값의 평균을 반환합니다. 일부 메트릭의 경우 이 동작으로 인해 전체 검증 세트를 한 번에 사용하여 메트릭을 계산하는 경우와 다른 메트릭 값이 생성될 수 있습니다. 대부분의 경우 값은 비슷합니다. 검증 데이터에 대해 배치 평균 메트릭이 아닌 사용자 지정 메트릭을 사용하려면 사용자 지정 메트릭 객체를 만들어야 합니다. 자세한 내용은 Define Custom Deep Learning Metric Object 항목을 참조하십시오.

  • 사용자 지정 메트릭 객체 — 더 많은 사용자 지정이 필요한 경우 사용자 지정 메트릭 객체를 정의할 수 있습니다. 사용자 지정 메트릭을 만드는 방법을 보여주는 예제는 Define Custom F-Beta Score Metric Object 항목을 참조하십시오. 사용자 지정 메트릭 만들기에 대한 일반적인 내용은 Define Custom Deep Learning Metric Object 항목을 참조하십시오. 사용자 지정 메트릭을 trainingOptions 함수의 Metrics 옵션으로 지정합니다.

이 옵션은 trainnet 함수와 trainBERTDocumentClassifier (Text Analytics Toolbox) 함수만 지원합니다.

예: Metrics=["accuracy","fscore"]

예: Metrics=["accuracy",@myFunction,precisionObj]

명령 창에 훈련 진행 상황 정보를 표시할지 지정하는 플래그로, 1(true) 또는 0(false)으로 지정됩니다.

상세 출력값의 내용은 훈련에 사용하는 함수에 따라 다릅니다.

trainnet 함수

trainnet 함수를 사용하면 상세 출력값은 테이블을 표시합니다. 테이블의 변수는 솔버의 유형에 따라 달라집니다.

확률적 솔버(SGDM, Adam 및 RMSProp)의 경우 테이블에는 다음 변수가 포함됩니다.

변수설명
Iteration반복 횟수
EpochEpoch 횟수
TimeElapsed시, 분, 초 단위의 경과된 시간
LearnRate학습률
TrainingLoss훈련 손실
ValidationLoss검증 손실. 검증 데이터를 지정하지 않은 경우에는 소프트웨어가 이 정보를 표시하지 않습니다.

L-BFGS 솔버의 경우 테이블에는 다음 변수가 포함됩니다.

변수설명
Iteration반복 횟수
TimeElapsed시, 분, 초 단위의 경과된 시간
TrainingLoss훈련 손실
ValidationLoss검증 손실. 검증 데이터를 지정하지 않은 경우에는 소프트웨어가 이 정보를 표시하지 않습니다.
GradientNorm기울기의 노름
StepNorm스텝의 노름

훈련 옵션에서 추가 메트릭을 지정하면 상세 출력값에도 표시됩니다. 예를 들어 Metrics 훈련 옵션을 "accuracy"로 설정하면 정보에 TrainingAccuracy 변수와 ValidationAccuracy 변수가 포함됩니다.

훈련이 중지될 때 상세 출력값은 중지 이유를 표시합니다.

검증 데이터를 지정하려면 ValidationData 훈련 옵션을 사용하십시오.

trainNetwork 함수

trainNetwork 함수를 사용하면 상세 출력값은 테이블을 표시합니다. 테이블의 변수는 신경망의 유형에 따라 달라집니다.

분류 신경망의 경우 테이블에는 다음 변수가 포함됩니다.

변수설명
EpochEpoch 횟수. Epoch 1회는 데이터를 한 번 완전히 통과하는 것을 의미합니다.
Iteration반복 횟수. 반복 1회는 미니 배치 하나에 대응됩니다.
Time Elapsed시, 분, 초 단위의 경과된 시간.
Mini-batch Accuracy미니 배치에 대한 분류 정확도.
Validation Accuracy검증 데이터에 대한 분류 정확도. 검증 데이터를 지정하지 않은 경우에는 소프트웨어가 이 정보를 표시하지 않습니다.
Mini-batch Loss미니 배치에 대한 손실. 출력 계층이 ClassificationOutputLayer 객체인 경우, 손실은 상호 배타적인 클래스를 갖는 다중 클래스 분류 문제에 대한 교차 엔트로피 손실입니다.
Validation Loss검증 데이터에 대한 손실. 출력 계층이 ClassificationOutputLayer 객체인 경우, 손실은 상호 배타적인 클래스를 갖는 다중 클래스 분류 문제에 대한 교차 엔트로피 손실입니다. 검증 데이터를 지정하지 않은 경우에는 소프트웨어가 이 정보를 표시하지 않습니다.
Base Learning Rate기본 학습률. 소프트웨어가 계층의 학습률 인자에 이 값을 곱합니다.

회귀 신경망의 경우 테이블에는 다음 변수가 포함됩니다.

변수설명
EpochEpoch 횟수. Epoch 1회는 데이터를 한 번 완전히 통과하는 것을 의미합니다.
Iteration반복 횟수. 반복 1회는 미니 배치 하나에 대응됩니다.
Time Elapsed시, 분, 초 단위의 경과된 시간.
Mini-batch RMSE미니 배치에 대한 RMSE(제곱평균제곱근 오차).
Validation RMSE검증 데이터에 대한 RMSE. 검증 데이터를 지정하지 않은 경우에는 소프트웨어가 이 정보를 표시하지 않습니다.
Mini-batch Loss미니 배치에 대한 손실. 출력 계층이 RegressionOutputLayer 객체인 경우, 손실은 평균 제곱 오차의 절반입니다.
Validation Loss검증 데이터에 대한 손실. 출력 계층이 RegressionOutputLayer 객체인 경우, 손실은 평균 제곱 오차의 절반입니다. 검증 데이터를 지정하지 않은 경우에는 소프트웨어가 이 정보를 표시하지 않습니다.
Base Learning Rate기본 학습률. 소프트웨어가 계층의 학습률 인자에 이 값을 곱합니다.

훈련이 중지될 때 상세 출력값은 중지 이유를 표시합니다.

검증 데이터를 지정하려면 ValidationData 훈련 옵션을 사용하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | logical

상세 출력의 빈도, 즉 명령 창에 출력하기까지 진행할 반복 횟수로, 양의 정수로 지정됩니다. 이 옵션은 Verbose 훈련 옵션이 1(true)인 경우에만 효력이 있습니다.

훈련 중에 신경망을 검증하는 경우, 소프트웨어는 검증이 실시될 때마다 명령 창에도 출력합니다.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

훈련 중에 호출할 출력 함수로, 함수 핸들 또는 함수 핸들로 구성된 셀형 배열로 지정됩니다. 소프트웨어는 훈련 시작 전, 각 반복 후, 훈련이 완료될 때 한 번씩 함수를 호출합니다.

함수의 구문은 stopFlag = f(info)여야 합니다. 여기서 info는 훈련 진행 상황에 대한 정보가 포함된 구조체이고 stopFlag는 훈련을 조기에 중지함을 나타내는 스칼라입니다. stopFlag1(true)인 경우 소프트웨어는 훈련을 중지합니다. 그렇지 않으면 소프트웨어는 훈련을 계속합니다.

구조체 info의 필드는 사용하는 훈련 함수에 따라 달라집니다.

trainnet 함수

trainnet 함수는 출력 함수에 구조체 info를 전달합니다.

확률적 솔버(SGDM, Adam 및 RMSProp)의 경우 info에는 다음 필드가 포함됩니다.

필드설명
EpochEpoch 횟수
Iteration반복 횟수
TimeElapsed훈련 시작 이후 경과된 시간
LearnRate반복 학습률
TrainingLoss반복 훈련 손실
ValidationLoss검증 손실(지정되어 있고, 반복 시 평가된 경우)
State반복 훈련 상태로, "start", "iteration" 또는 "done"으로 지정됩니다.

L-BFGS 솔버의 경우 info에는 다음 필드가 포함됩니다.

필드설명
Iteration반복 횟수
TimeElapsed시, 분, 초 단위의 경과된 시간
TrainingLoss훈련 손실
ValidationLoss검증 손실. 검증 데이터를 지정하지 않은 경우에는 소프트웨어가 이 정보를 표시하지 않습니다.
GradientNorm기울기의 노름
StepNorm스텝의 노름
State반복 훈련 상태로, "start", "iteration" 또는 "done"으로 지정됩니다.

훈련 옵션에서 추가 메트릭을 지정하면 훈련 정보에도 표시됩니다. 예를 들어 Metrics 훈련 옵션을 "accuracy"로 설정하면 정보에 TrainingAccuracy 필드와 ValidationAccuracy 필드가 포함됩니다.

특정 필드가 계산되지 않았거나 출력 함수에 대한 특정 호출과 관련이 없는 경우, 해당 필드는 빈 배열을 포함하게 됩니다.

출력 함수를 사용하는 방법을 보여주는 예제는 딥러닝 신경망 훈련 중의 출력값 사용자 지정하기 항목을 참조하십시오.

trainNetwork 함수

trainNetwork 함수는 출력 함수에 다음 필드를 포함하는 구조체 info를 전달합니다.

필드설명
Epoch현재 Epoch 횟수
Iteration현재 반복 횟수
TimeSinceStart훈련 시작 이후 경과된 시간(단위: 초)
TrainingLoss현재 미니 배치 손실
ValidationLoss검증 데이터에 대한 손실
BaseLearnRate현재 기본 학습률
TrainingAccuracy 현재 미니 배치에 대한 정확도(분류 신경망)
TrainingRMSE현재 미니 배치에 대한 RMSE(회귀 신경망)
ValidationAccuracy검증 데이터에 대한 정확도(분류 신경망)
ValidationRMSE검증 데이터에 대한 RMSE(회귀 신경망)
State현재 훈련 상태로, 가능한 값은 "start", "iteration" 또는 "done"입니다.

특정 필드가 계산되지 않았거나 출력 함수에 대한 호출과 관련이 없는 경우, 해당 필드는 빈 배열을 포함하게 됩니다.

출력 함수를 사용하는 방법을 보여주는 예제는 딥러닝 신경망 훈련 중의 출력값 사용자 지정하기 항목을 참조하십시오.

데이터형: function_handle | cell

데이터 형식

모두 축소

R2023b 이후

입력 데이터 차원에 대한 설명으로, string형 배열, 문자형 벡터, 또는 문자형 벡터로 구성된 셀형 배열로 지정됩니다.

InputDataFormats"auto"이면 신경망 입력에 필요한 형식이 사용됩니다. 그렇지 않으면 해당 신경망 입력에 대해 지정된 형식이 사용됩니다.

데이터 형식은 문자들로 구성된 문자열로, 각 문자는 데이터의 대응되는 차원의 유형을 설명합니다.

문자는 다음을 나타냅니다.

  • "S" — 공간

  • "C" — 채널

  • "B" — 배치

  • "T" — 시간

  • "U" — 지정되지 않음

예를 들어, 첫 번째, 두 번째, 세 번째 차원이 각각 채널, 관측값, 시간 스텝에 대응되는 시퀀스 배치를 포함하는 배열의 경우 "CBT" 형식을 갖도록 지정할 수 있습니다.

"S" 또는 "U" 레이블의 차원은 여러 개 지정할 수 있습니다. 레이블 "C", "B", "T"는 최대 한 번만 사용할 수 있습니다. 두 번째 차원 뒤의 한원소 후행 "U" 차원은 무시됩니다.

자세한 내용은 Deep Learning Data Formats 항목을 참조하십시오.

이 옵션은 trainnet 함수만 지원합니다.

데이터형: char | string | cell

R2023b 이후

목표 데이터 차원에 대한 설명으로, 다음 값 중 하나로 지정됩니다.

  • "auto" — 목표 데이터의 차원 수가 입력 데이터와 동일한 경우 trainnet 함수는 InputDataFormats에서 지정한 형식을 사용합니다. 목표 데이터의 차원 수가 입력 데이터와 다른 경우 trainnet 함수는 손실 함수에 필요한 형식을 사용합니다.

  • string형 배열, 문자형 벡터, 또는 문자형 벡터로 구성된 셀형 배열로 지정되는 데이터 형식 — trainnet 함수는 지정된 데이터 형식을 사용합니다.

데이터 형식은 문자들로 구성된 문자열로, 각 문자는 데이터의 대응되는 차원의 유형을 설명합니다.

문자는 다음을 나타냅니다.

  • "S" — 공간

  • "C" — 채널

  • "B" — 배치

  • "T" — 시간

  • "U" — 지정되지 않음

예를 들어, 첫 번째, 두 번째, 세 번째 차원이 각각 채널, 관측값, 시간 스텝에 대응되는 시퀀스 배치를 포함하는 배열의 경우 "CBT" 형식을 갖도록 지정할 수 있습니다.

"S" 또는 "U" 레이블의 차원은 여러 개 지정할 수 있습니다. 레이블 "C", "B", "T"는 최대 한 번만 사용할 수 있습니다. 두 번째 차원 뒤의 한원소 후행 "U" 차원은 무시됩니다.

자세한 내용은 Deep Learning Data Formats 항목을 참조하십시오.

이 옵션은 trainnet 함수만 지원합니다.

데이터형: char | string | cell

확률적 솔버 옵션

모두 축소

훈련에 사용할 Epoch(데이터를 한 번 완전히 통과하는 것)의 최대 횟수로, 양의 정수로 지정됩니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

각 훈련 반복마다 사용할 미니 배치의 크기로, 양의 정수로 지정됩니다. 미니 배치는 손실 함수의 기울기를 계산하고 가중치를 업데이트하는 데 사용되는 훈련 세트의 서브셋입니다.

훈련 샘플의 개수가 미니 배치 크기로 균등하게 나뉘지 않는 경우, 소프트웨어는 각 Epoch의 최종 전체 미니 배치에 담기지 않는 훈련 데이터를 버립니다. 미니 배치 크기가 훈련 샘플의 개수보다 작으면 소프트웨어는 어떤 데이터도 버리지 않습니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

데이터 섞기 옵션으로, 다음 값 중 하나로 지정됩니다.

  • "once" — 훈련 전에 훈련 데이터와 검증 데이터를 1회 섞습니다.

  • "never" — 데이터를 섞지 않습니다.

  • "every-epoch" — 각 훈련 Epoch 전에 훈련 데이터를 섞고, 각 신경망 검증 전에 검증 데이터를 섞습니다. 훈련 샘플의 개수가 미니 배치 크기로 균등하게 나뉘지 않는 경우, 소프트웨어는 각 Epoch의 최종 전체 미니 배치에 담기지 않는 훈련 데이터를 버립니다. 매 Epoch마다 동일한 데이터가 버려지지 않도록 하려면 Shuffle 훈련 옵션을 "every-epoch"로 설정하십시오.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

훈련에 사용할 초기 학습률로, 양의 스칼라로 지정됩니다.

학습률이 너무 낮으면 훈련 시간이 오래 걸릴 수 있습니다. 학습률이 너무 높으면 훈련이 최적의 결과보다 못한 값에 도달하거나 발산할 수 있습니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

solverName"sgdm"인 경우 디폴트 값은 0.01입니다. solverName"rmsprop" 또는 "adam"인 경우 디폴트 값은 0.001입니다.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

훈련 중 학습률 감소 옵션으로, 다음 값 중 하나로 지정됩니다.

  • "none" — 훈련의 처음부터 끝까지 학습률을 일정하게 유지합니다.

  • "piecewise" — 학습률에 감소 인자를 곱하여 주기적으로 업데이트합니다. 주기를 지정하려면 LearnRateDropPeriod 훈련 옵션을 사용하십시오. 감소 인자를 지정하려면 LearnRateDropFactor 훈련 옵션을 사용하십시오.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

학습률을 낮출 Epoch의 주기로, 양의 정수로 지정됩니다. 이 옵션은 LearnRateSchedule 훈련 옵션이 "piecewise"인 경우에만 유효합니다.

지정된 Epoch 횟수가 경과될 때마다 소프트웨어가 전역 학습률에 감소 인자를 곱합니다. 감소 인자는 LearnRateDropFactor 훈련 옵션을 사용하여 지정합니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

학습률 감소 인자로, 01 사이의 스칼라로 지정됩니다. 이 옵션은 LearnRateSchedule 훈련 옵션이 "piecewise"인 경우에만 유효합니다.

LearnRateDropFactor는 특정 Epoch 횟수가 경과될 때마다 학습률에 적용할 승산 인자입니다. Epoch 횟수는 LearnRateDropPeriod 훈련 옵션을 사용하여 지정합니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

모멘텀을 사용한 확률적 경사하강법의 파라미터 업데이트 단계에서 현재 반복에 직전 반복이 차지하는 비중으로, 01 사이의 스칼라로 지정됩니다.

값이 0이면 직전 스텝의 비중이 없는 것이고, 값이 1이면 직전 스텝이 최대의 비중을 가짐을 의미합니다. 디폴트 값은 대부분의 작업에서 잘 동작합니다.

이 옵션은 SGDM 솔버만 지원합니다(solverName 인수가 "sgdm"인 경우).

자세한 내용은 모멘텀을 사용한 확률적 경사하강법 항목을 참조하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

Adam 솔버에 대한 기울기 이동평균의 감쇠율로, 1보다 작은 음이 아닌 스칼라로 지정됩니다. 기울기 감쇠율은 적응적 모멘트 추정 섹션에서 β1로 나타냅니다.

이 옵션은 Adam 솔버만 지원합니다(solverName 인수가 "adam"인 경우).

자세한 내용은 적응적 모멘트 추정 항목을 참조하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

Adam 솔버 및 RMSProp 솔버에 대한 제곱 기울기 이동평균의 감쇠율로, 1보다 작은 음이 아닌 스칼라로 지정됩니다. 제곱 기울기 감쇠율은 [4]에서 β2로 나타냅니다.

감쇠율의 일반적인 값은 0.9, 0.99, 0.999로, 각각 평균 길이 10, 100, 1000의 파라미터 업데이트에 대응됩니다.

이 옵션은 Adam 및 RMSProp 솔버만 지원합니다(solverName 인수가 "adam" 또는 "rmsprop"인 경우).

Adam 솔버의 경우 디폴트 값은 0.999입니다. RMSProp 솔버의 경우 디폴트 값은 0.9입니다.

자세한 내용은 적응적 모멘트 추정 항목과 RMS 전파 항목을 참조하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

Adam 솔버 및 RMSProp 솔버에 대한 분모 오프셋으로, 양의 스칼라로 지정됩니다.

솔버는 0으로 나누기를 방지하기 위해 신경망 파라미터 업데이트에서 분모에 오프셋을 더합니다. 디폴트 값은 대부분의 작업에서 잘 동작합니다.

이 옵션은 Adam 및 RMSProp 솔버만 지원합니다(solverName 인수가 "adam" 또는 "rmsprop"인 경우).

자세한 내용은 적응적 모멘트 추정RMS 전파 항목을 참조하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

L-BFGS 솔버 옵션

모두 축소

R2023b 이후

훈련에 사용할 최대 반복 횟수로, 양의 정수로 지정됩니다.

L-BFGS 솔버는 전체 배치 솔버입니다. 즉, 한 번의 반복으로 전체 훈련 세트를 처리합니다.

이 옵션은 L-BFGS 솔버만 지원합니다(solverName 인수가 "lbfgs"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

R2023b 이후

적합한 학습률을 찾는 방법으로, 다음 값 중 하나로 지정됩니다.

  • "weak-wolfe" — 약한 울프(Wolfe) 조건을 만족하는 학습률을 탐색합니다. 이 방법은 역헤세 행렬의 양의 정부호 근사를 유지합니다.

  • "strong-wolfe" — 강력한 울프(Wolfe) 조건을 만족하는 학습률을 탐색합니다. 이 방법은 역헤세 행렬의 양의 정부호 근사를 유지합니다.

  • "backtracking" — 충분한 감소 조건을 만족하는 학습률을 탐색합니다. 이 방법은 역헤세 행렬의 양의 정부호 근사를 유지하지 않습니다.

이 옵션은 L-BFGS 솔버만 지원합니다(solverName 인수가 "lbfgs"인 경우).

R2023b 이후

저장할 상태 업데이트 개수로, 양의 정수로 지정됩니다. 3과 20 사이의 값은 대부분의 작업에 적합합니다.

L-BFGS 알고리즘은 기울기 계산 내역을 사용하여 헤세 행렬을 재귀적으로 근사합니다. 자세한 내용은 Limited-Memory BFGS 항목을 참조하십시오.

이 옵션은 L-BFGS 솔버만 지원합니다(solverName 인수가 "lbfgs"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

R2023b 이후

근사 역헤세 행렬을 특징짓는 초기값으로, 양의 스칼라로 지정됩니다.

메모리를 절약하기 위해 L-BFGS 알고리즘은 조밀 헤세 행렬 B를 저장하거나 역행렬을 구하지 않습니다. 대신, 알고리즘은 근사 Bkm1λkI를 사용합니다. 여기서 m은 내역 크기이고, 역헤세 인자 λk는 스칼라이고, I는 단위 행렬이며, 스칼라 역헤세 인자만 저장합니다. 알고리즘은 각 스텝에서 역헤세 인자를 업데이트합니다.

초기 역헤세 인자는 λ0의 값입니다.

자세한 내용은 Limited-Memory BFGS 항목을 참조하십시오.

이 옵션은 L-BFGS 솔버만 지원합니다(solverName 인수가 "lbfgs"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

R2023b 이후

학습률을 결정하기 위한 최대 직선 탐색 반복 횟수로, 양의 정수로 지정됩니다.

이 옵션은 L-BFGS 솔버만 지원합니다(solverName 인수가 "lbfgs"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

R2023b 이후

상대 기울기 허용오차로, 양의 스칼라로 지정됩니다.

상대 기울기가 GradientTolerance보다 작거나 같으면 훈련이 중지됩니다.

이 옵션은 L-BFGS 솔버만 지원합니다(solverName 인수가 "lbfgs"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

R2023b 이후

스텝 크기 허용오차로, 양의 스칼라로 지정됩니다.

취한 스텝이 StepTolerance보다 작거나 같으면 훈련이 중지됩니다.

이 옵션은 L-BFGS 솔버만 지원합니다(solverName 인수가 "lbfgs"인 경우).

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

검증

모두 축소

훈련 중에 검증에 사용할 데이터로, [], 검증 예측 변수와 검증 응답 변수를 포함하는 데이터저장소, 테이블 또는 셀형 배열로 지정됩니다.

소프트웨어는 훈련 중에 검증 데이터에 대한 검증 정확도와 검증 손실을 계산합니다. 검증 빈도를 지정하려면 ValidationFrequency 훈련 옵션을 사용하십시오. 검증의 손실이 더 이상 감소하지 않으면 자동으로 훈련을 중지하도록 검증 데이터를 사용할 수 있습니다. 자동 검증 중지 기능을 켜려면 ValidationPatience 훈련 옵션을 사용하십시오.

ValidationData[]이면 훈련 중에 신경망이 검증되지 않습니다.

신경망에 훈련 중 동작과 예측 중 동작이 다른 계층(예: 드롭아웃 계층)이 있는 경우, 검증 정확도가 훈련 정확도보다 높을 수 있습니다.

검증 데이터는 Shuffle 훈련 옵션에 따라 섞입니다. Shuffle"every-epoch"인 경우, 검증 데이터는 각 신경망을 검증하기 전에 섞입니다.

지원되는 형식은 사용하는 훈련 함수에 따라 달라집니다.

trainnet 함수

검증 데이터를 데이터저장소 또는 셀형 배열 {predictors,targets}로 지정합니다. 여기서 predictors는 검증 예측 변수를 포함하고 targets는 검증 목표값을 포함합니다. trainnet 함수에서 지원하는 형식을 사용하여 검증 예측 변수와 목표값을 지정합니다.

자세한 내용은 trainnet 함수의 입력 인수를 참조하십시오.

trainNetwork 함수

검증 데이터를 데이터저장소, 테이블 또는 셀형 배열 {predictors,targets}로 지정합니다. 여기서 predictors는 검증 예측 변수를 포함하고 targets는 검증 목표값을 포함합니다. trainNetwork 함수에서 지원하는 형식을 사용하여 검증 예측 변수와 목표값을 지정합니다.

자세한 내용은 trainNetwork 함수의 입력 인수를 참조하십시오.

trainBERTDocumentClassifier 함수(Text Analytics Toolbox)

검증 데이터를 다음 값 중 하나로 지정합니다.

  • 셀형 배열 {documents,targets}. 여기서 documents는 입력 문서를 포함하고 targets는 문서 레이블을 포함합니다.

  • 테이블. 여기서 첫 번째 변수는 입력 문서를 포함하고 두 번째 변수는 문서 레이블을 포함합니다.

자세한 내용은 trainBERTDocumentClassifier (Text Analytics Toolbox) 함수의 입력 인수를 참조하십시오.

신경망 검증 빈도(단위: 반복 횟수)로, 양의 정수로 지정됩니다.

ValidationFrequency 값은 검증 메트릭을 평가하기까지 진행할 반복 횟수입니다. 검증 데이터를 지정하려면 ValidationData 훈련 옵션을 사용하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

신경망 훈련의 검증 중지 인내도로, 양의 정수 또는 Inf로 지정됩니다.

ValidationPatience는 신경망 훈련이 중단되기 전까지 검증 세트에서의 손실이 그전까지의 가장 작은 손실보다 크거나 같아도 되는 횟수를 지정합니다. ValidationPatienceInf이면 검증 손실의 값으로 인해 조기에 훈련이 중지되지는 않습니다.

반환되는 신경망은 OutputNetwork 훈련 옵션에 따라 다릅니다. 검증 손실이 가장 적은 신경망을 반환하려면 OutputNetwork 훈련 옵션을 "best-validation-loss"로 설정하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

훈련이 완료될 때 반환할 신경망으로, 다음 중 하나로 지정됩니다.

  • "last-iteration" – 마지막 훈련 반복에 해당하는 신경망을 반환합니다.

  • "best-validation-loss" – 검증 손실이 가장 적은 훈련 반복에 해당하는 신경망을 반환합니다. 이 옵션을 사용하려면 ValidationData 훈련 옵션을 지정해야 합니다.

정규화

모두 축소

L2 정규화(가중치 감쇠) 인자로, 음이 아닌 스칼라로 지정됩니다. 자세한 내용은 L2 정규화 항목을 참조하십시오.

학습 가능한 파라미터를 포함하는 신경망 계층에 대해 L2 정규화에 대한 승수를 지정할 수 있습니다. 자세한 내용은 컨벌루션 계층 및 완전 연결 계층에서 파라미터 설정하기 항목을 참조하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

입력 계층 정규화를 초기화하는 옵션으로, 다음 중 하나로 지정됩니다.

  • 1(true) — 입력 계층 정규화 통계량을 초기화하고 이를 훈련 시점에 다시 계산합니다.

  • 0(false) — 정규화 통계량이 비어 있는 경우 이를 훈련 시점에 계산합니다.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | logical

배치 정규화 계층에서 통계량을 계산하는 모드로, 다음 중 하나로 지정됩니다.

  • "population" — 모집단 통계량을 사용합니다. 훈련 후에 소프트웨어는 훈련 데이터를 한 번 더 통과시켜 통계량을 완성하고 결과로 생성되는 평균과 분산을 사용합니다.

  • "moving" — 업데이트 단계에서 얻게 되는 동적 추정값을 사용하여 훈련 중에 통계량을 근사합니다.

    μ*=λμμ^+(1λμ)μσ2*=λσ2σ2^+(1-λσ2)σ2

    여기서 μ*σ2*는 각각 업데이트된 평균과 분산을 나타내고, λμλσ2은 각각 평균 감쇠 값과 분산 감쇠 값을 나타내고, μ^σ2^은 각각 계층 입력값의 평균과 분산을 나타내고, μσ2은 각각 이동 평균값의 최신값과 이동 분산값의 최신값을 나타냅니다. 훈련 후에 소프트웨어는 이동 평균 통계량 및 이동 분산 통계량의 가장 최신값을 사용합니다. 이 옵션은 CPU 및 단일 GPU 훈련만 지원합니다.

  • "auto"trainnet 함수에 대한 "moving" 옵션과 trainNetwork 함수에 대한 "population" 옵션을 사용합니다.

기울기 제한

모두 축소

기울기 임계값으로, Inf 또는 양의 스칼라로 지정됩니다. 기울기가 GradientThreshold의 값을 초과하면 기울기는 GradientThresholdMethod 훈련 옵션에 따라 잘립니다.

자세한 내용은 기울기 제한을 참조하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

기울기 임계값을 초과하는 기울기 값을 자를 때 사용할 기울기 임계값 메서드로, 다음 중 하나로 지정됩니다.

  • "l2norm" — 학습 가능한 파라미터의 기울기의 L2 노름이 GradientThreshold보다 큰 경우, L2 노름이 GradientThreshold와 같아지도록 기울기를 스케일링합니다.

  • "global-l2norm" — 전역 L2 노름 L이 GradientThreshold보다 큰 경우, 모든 기울기를 GradientThreshold/L배만큼 스케일링합니다. 전역 L2 노름은 모든 학습 가능한 파라미터를 고려합니다.

  • "absolute-value" — 학습 가능한 파라미터의 기울기의 개별 편도함수의 절댓값이 GradientThreshold보다 큰 경우, GradientThreshold와 같아지도록 편도함수를 스케일링하고 편도함수의 부호를 그대로 유지합니다.

자세한 내용은 기울기 제한을 참조하십시오.

시퀀스

모두 축소

입력 시퀀스를 채우거나 자르거나 분할하는 옵션으로, 다음 값 중 하나로 지정됩니다.

  • "longest" — 각 미니 배치의 시퀀스 길이가 가장 긴 시퀀스의 길이와 같아지도록 채웁니다. 이 옵션은 채우기로 인해 신경망에 잡음이 포함되더라도 데이터를 버리지 않습니다.

  • "shortest" — 각 미니 배치의 시퀀스가 가장 짧은 시퀀스와 길이가 같아지도록 자릅니다. 이 옵션은 데이터를 버리게 되더라도 채우기를 추가하지 않습니다.

  • 양의 정수 — 각 미니 배치에 대해, 미니 배치에서 가장 긴 시퀀스의 길이에 맞춰 시퀀스를 채운 다음, 지정된 길이를 갖는 더 작은 크기의 시퀀스로 분할합니다. 분할이 이루어지면 소프트웨어가 미니 배치를 추가로 만듭니다. 데이터의 시퀀스 길이가 지정된 시퀀스 길이로 균등하게 나뉘지 않는 경우, 해당 시퀀스의 끝을 포함하는 미니 배치의 길이는 지정된 시퀀스 길이보다 짧습니다. 전체 시퀀스가 메모리에 맞지 않으면 이 옵션을 사용하십시오. 또는 MiniBatchSize 옵션을 더 낮은 값으로 설정하여 미니 배치당 시퀀스 개수를 줄여 보십시오.

입력 시퀀스 채우기, 자르기, 분할의 효과에 대한 자세한 정보는 시퀀스 채우기, 자르기 및 분할 항목을 참조하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64 | char | string

채우기 또는 자르기 방향으로, 다음 중 하나로 지정됩니다.

  • "right" — 시퀀스들을 오른쪽에서 채우거나 자릅니다. 시퀀스들은 동일한 시간 스텝에서 시작하며 소프트웨어가 시퀀스들의 끝부분에서 자르기나 채우기를 수행합니다.

  • "left" — 시퀀스들을 왼쪽에서 채우거나 자릅니다. 시퀀스들이 동일한 시간 스텝에서 끝나도록 소프트웨어가 시퀀스들의 시작 부분에서 자르기나 채우기를 수행합니다.

순환 계층은 시퀀스 데이터를 한 번에 하나의 시간 스텝씩 처리하기 때문에 순환 계층의 OutputMode 속성이 "last"인 경우 마지막 시간 스텝에서의 채우기가 계층 출력에 부정적인 영향을 줄 수 있습니다. 시퀀스 데이터를 왼쪽에서 채우거나 자르려면 SequencePaddingDirection 옵션을 "left"로 설정하십시오.

sequence-to-sequence 신경망의 경우(각 순환 계층의 OutputMode 속성이 "sequence"인 경우), 첫 시간 스텝들에서의 채우기가 앞쪽에 있는 시간 스텝들의 예측에 부정적인 영향을 줄 수 있습니다. 시퀀스 데이터를 오른쪽에서 채우거나 자르려면 SequencePaddingDirection 옵션을 "right"로 설정하십시오.

입력 시퀀스 채우기, 자르기, 분할의 효과에 대한 자세한 정보는 시퀀스 채우기, 자르기 및 분할 항목을 참조하십시오.

입력 시퀀스에 채울 값으로, 스칼라로 지정됩니다.

시퀀스를 NaN으로 채우면 신경망 전체로 오류가 전파될 수 있으므로 유의하십시오.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

하드웨어

모두 축소

신경망 훈련에 사용할 하드웨어 리소스로, 다음 값 중 하나로 지정됩니다.

실행 환경사용되는 하드웨어 리소스
"auto"

사용 가능한 로컬 GPU가 있으면 이를 사용합니다. 그렇지 않은 경우 로컬 CPU를 사용합니다.

"cpu"

로컬 CPU를 사용합니다.

"gpu"

로컬 GPU를 사용합니다.

"multi-gpu"

디폴트 클러스터 프로파일에 따라 로컬 병렬 풀을 사용하여 컴퓨터 1대에서 여러 개의 GPU를 사용합니다. 기존 병렬 풀이 없는 경우 소프트웨어는 사용 가능한 GPU의 개수와 동일한 풀 크기로 병렬 풀을 시작합니다.

"parallel"

로컬 또는 원격 병렬 풀을 사용합니다. 기존 병렬 풀이 없는 경우 소프트웨어는 디폴트 클러스터 프로파일을 사용하여 병렬 풀을 시작합니다. 풀이 GPU를 사용할 수 있는 경우, 고유한 GPU를 갖는 워커만 훈련 계산을 수행하고 초과 워커는 유휴 상태가 됩니다. 풀에 GPU가 없는 경우, 사용 가능한 모든 CPU 워커에서 대신 훈련이 이루어집니다.

"parallel-auto"
  • 로컬 또는 원격 병렬 풀을 사용합니다. 기존 병렬 풀이 없는 경우 소프트웨어는 디폴트 클러스터 프로파일을 사용하여 병렬 풀을 시작합니다. 풀이 GPU를 사용할 수 있는 경우, 고유한 GPU를 갖는 워커만 훈련 계산을 수행하고 초과 워커는 유휴 상태가 됩니다. 풀에 GPU가 없는 경우, 사용 가능한 모든 CPU 워커에서 대신 훈련이 이루어집니다.

  • 이 옵션은 trainnet 함수만 지원합니다.

"parallel-cpu"
  • 로컬 또는 원격 병렬 풀에서 CPU 리소스를 사용합니다. 기존 병렬 풀이 없는 경우 소프트웨어는 디폴트 클러스터 프로파일을 사용하여 병렬 풀을 시작합니다. 풀이 GPU를 사용할 수 있는 경우, GPU는 사용되지 않습니다.

  • 이 옵션은 trainnet 함수만 지원합니다.

"parallel-gpu"
  • 로컬 또는 원격 병렬 풀에서 GPU를 사용합니다. 초과 워커는 유휴 상태가 됩니다. 기존 병렬 풀이 없는 경우 소프트웨어는 디폴트 클러스터 프로파일을 사용하여 병렬 풀을 시작합니다.

  • 이 옵션은 trainnet 함수만 지원합니다.

"gpu", "multi-gpu", "parallel", "parallel-auto", "parallel-cpu", "parallel-gpu" 옵션을 사용하려면 Parallel Computing Toolbox™가 필요합니다. 딥러닝을 위해 GPU를 사용하려면 지원되는 GPU 장치도 필요합니다. 지원되는 장치에 대한 자세한 내용은 GPU 연산 요구 사항 (Parallel Computing Toolbox) 항목을 참조하십시오. 이러한 옵션 중 하나를 선택했는데 Parallel Computing Toolbox 또는 적당한 GPU가 없는 경우, 오류가 반환됩니다.

서로 다른 실행 환경을 사용해야 하는 경우에 대한 자세한 내용은 Scale Up Deep Learning in Parallel, on GPUs, and in the Cloud 항목을 참조하십시오.

병렬로 훈련시킬 때 성능 향상을 도모하려면 MiniBatchSizeInitialLearnRate 훈련 옵션을 GPU의 개수만큼 늘려 보십시오.

trainNetwork 함수를 사용하여 신경망을 훈련시킬 때 "multi-gpu""parallel" 옵션은 상태 파라미터가 있는 사용자 지정 계층을 포함하는 신경망 또는 훈련 시간에 상태를 유지하는 내장 계층을 포함하는 신경망을 지원하지 않습니다. 예를 들면 다음과 같습니다.

"multi-gpu", "parallel", "parallel-auto", "parallel-cpu""parallel-gpu" 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

여러 GPU 또는 CPU 사이의 병렬 워커 부하 분배로, 다음 중 하나로 지정됩니다.

  • 01 사이의 스칼라 — 각 컴퓨터에서 신경망 훈련 계산에 사용할 워커의 비율. 백그라운드 디스패치가 활성화된 미니 배치 데이터저장소의 데이터를 사용하여 신경망을 훈련시키는 경우, 나머지 워커들은 백그라운드에서 데이터를 가져와서 전처리합니다.

  • 양의 정수 — 각 컴퓨터에서 신경망 훈련 계산에 사용할 워커의 개수. 백그라운드 디스패치가 활성화된 미니 배치 데이터저장소의 데이터를 사용하여 신경망을 훈련시키는 경우, 나머지 워커들은 백그라운드에서 데이터를 가져와서 전처리합니다.

  • 숫자형 벡터 — 병렬 풀에 있는 각 워커의 신경망 훈련 부하. 벡터 W에 대해 워커 i는 작업(미니 배치 당 표본의 개수) 중 일정 비율(W(i)/sum(W))을 할당받습니다. 백그라운드 디스패치가 활성화된 미니 배치 데이터저장소의 데이터를 사용하여 신경망을 훈련시키는 경우, 특정 워커에 로드 0을 할당하여 백그라운드에서 데이터를 가져오는 용도로 해당 워커를 사용할 수 있습니다. 지정된 벡터는 병렬 풀의 워커 하나당 값 하나를 가져야 합니다.

병렬 풀이 GPU를 사용할 수 있는 경우, 고유한 GPU가 없는 워커는 훈련 계산에 사용되지 않습니다. GPU가 있는 풀에 대한 디폴트 동작은 고유한 GPU를 갖는 모든 워커를 훈련 계산에 사용하고 나머지 워커를 백그라운드 디스패치에 사용하는 것입니다. 풀이 GPU를 사용할 수 없고 훈련에 CPU가 사용되는 경우, 디폴트 값은 컴퓨터당 워커 하나를 백그라운드 데이터 디스패치 용도로 사용하는 것입니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

이 옵션은 trainNetwork 함수만 지원합니다.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

백그라운드 디스패치를 활성화할지 지정하는 플래그로, 0(false) 또는 1(true)로 지정됩니다.

백그라운드 디스패치는 병렬 워커를 사용하여 훈련 중에 데이터저장소에서 데이터를 가져와 전처리합니다. 미니 배치에 상당한 전처리가 필요한 경우 이 옵션을 사용하십시오. 백그라운드 디스패치를 사용해야 하는 경우에 대한 자세한 내용은 Use Datastore for Parallel Training and Background Dispatching 항목을 참조하십시오.

DispatchInBackgroundtrue로 설정하면 로컬 풀이 현재 열려 있지 않은 경우 소프트웨어가 디폴트 프로파일을 사용하여 로컬 병렬 풀을 엽니다. 로컬이 아닌 병렬 풀은 지원되지 않습니다.

이 옵션을 사용하려면 Parallel Computing Toolbox가 필요합니다. 입력 데이터저장소는 서브셋이 될 수 있거나 분할 가능해야 합니다. 이 옵션을 사용하려면 사용자 지정 데이터저장소가 matlab.io.datastore.Subsettable 클래스를 구현해야 합니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

이 옵션은 병렬 훈련 시 trainnet 함수를 지원하지 않습니다.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

검사 지점

모두 축소

검사 지점 신경망을 저장할 경로로, string형 스칼라 또는 문자형 벡터로 지정됩니다.

  • 경로를 지정하지 않으면(즉, 디폴트 값인 ""을 사용하는 경우), 검사 지점 신경망은 저장되지 않습니다.

  • 경로를 지정한 경우, 소프트웨어는 이 경로에 검사 지점 신경망을 저장하고 각 신경망에 고유한 이름을 할당합니다. 그러면, 사용자는 임의의 검사 지점 신경망을 불러와 해당 신경망에서 훈련을 재개할 수 있습니다.

    폴더가 존재하지 않는 경우, 검사 지점 신경망을 저장할 경로를 지정하기 전에 먼저 폴더를 만들어야 합니다. 지정한 경로가 존재하지 않는 경우, 오류가 발생합니다.

신경망 검사 지점 저장에 대한 자세한 내용은 검사 지점 신경망을 저장하고 훈련 재개하기 항목을 참조하십시오.

데이터형: char | string

검사 지점 신경망의 저장 빈도로, 양의 정수로 지정됩니다.

solverName"lbfgs"인 경우 또는 CheckpointFrequencyUnit"iteration"인 경우 매 CheckpointFrequency회 반복마다 검사 지점 신경망이 저장됩니다. 그렇지 않으면 매 CheckpointFrequency회 Epoch마다 검사 지점 신경망이 저장됩니다.

solverName"sgdm", "adam" 또는 "rmsprop"인 경우 디폴트 값은 1입니다. solverName"lbfgs"인 경우 디폴트 값은 30입니다.

이 옵션은 CheckpointPath가 비어 있지 않은 경우에만 효력이 있습니다.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

검사 지점 빈도 단위로, "epoch" 또는 "iteration"으로 지정됩니다.

CheckpointFrequencyUnit"epoch"인 경우 매 CheckpointFrequency회 Epoch마다 검사 지점 신경망이 저장됩니다.

CheckpointFrequencyUnit"iteration"인 경우 매 CheckpointFrequency회 반복마다 검사 지점 신경망이 저장됩니다.

이 옵션은 CheckpointPath가 비어 있지 않은 경우에만 효력이 있습니다.

이 옵션은 확률적 솔버만 지원합니다(solverName 인수가 "sgdm", "adam" 또는 "rmsprop"인 경우).

출력 인수

모두 축소

훈련 옵션으로, TrainingOptionsSGDM, TrainingOptionsRMSProp, TrainingOptionsADAM 또는 TrainingOptionsLBFGS 객체로 반환됩니다. 신경망을 훈련시키려면 훈련 옵션을 trainNetwork 함수 또는 trainnet 함수의 입력 인수로 사용하십시오. TrainingOptionsLBFGS 객체는 trainnet 함수만 지원합니다.

solverName"sgdm", "rmsprop", "adam" 또는 "lbfgs"인 경우, 훈련 옵션은 각각 TrainingOptionsSGDM, TrainingOptionsRMSProp, TrainingOptionsADAM 또는 TrainingOptionsLBFGS 객체로 반환됩니다.

알고리즘

모두 축소

초기 가중치와 편향

컨벌루션 계층과 완전 연결 계층의 경우, 가중치와 편향의 초기화는 각각 계층의 WeightsInitializer 속성과 BiasInitializer 속성으로 지정됩니다. 가중치와 편향의 초기화를 변경하는 방법을 보여주는 예제는 컨벌루션 계층에서 초기 가중치와 편향 지정하기완전 연결 계층에 초기 가중치와 편향 지정하기 항목을 참조하십시오.

확률적 경사하강법

표준 경사하강법 알고리즘은 다음과 같이 각 반복에서 손실에 대한 음의 기울기 방향으로 작은 스텝을 취하여 손실 함수를 최소화하도록 신경망 파라미터(가중치와 편향)를 업데이트합니다.

θ+1=θαE(θ),

여기서 은 반복 횟수이고, α>0은 학습률이고, θ는 파라미터 벡터이고, E(θ)는 손실 함수입니다. 표준 경사하강법 알고리즘에서 손실 함수의 기울기 E(θ)는 전체 훈련 세트를 사용하여 계산되며, 표준 경사하강법 알고리즘은 한번에 전체 데이터 세트를 사용합니다.

반면에 확률적 경사하강법 알고리즘은 각 반복에서 훈련 데이터의 일부를 사용하여 기울기를 계산하고 파라미터를 업데이트합니다. 각 반복에는 미니 배치라는 다른 서브셋이 사용됩니다. 미니 배치를 사용하여 훈련 알고리즘이 전체 훈련 세트를 완전히 한 번 통과하는 것을 Epoch 1회라고 합니다. 확률적 경사하강법은 미니 배치를 사용하여 계산되는 파라미터 업데이트가 전체 데이터 세트를 사용할 경우 결과로 생성될 파라미터 업데이트의 잡음이 있는 추정값이어서 확률적입니다.

모멘텀을 사용한 확률적 경사하강법

확률적 경사하강법 알고리즘은 최적해를 향해 가는 최속강하법 경로에서 진동이 발생할 수 있습니다. 이러한 진동을 줄이는 한 가지 방법으로 파라미터 업데이트에 모멘텀 항을 추가하는 것을 들 수 있습니다[2]. SGDM(모멘텀을 사용한 확률적 경사하강법) 업데이트는 다음과 같이 표현됩니다.

θ+1=θαE(θ)+γ(θθ1),

여기서 학습률 α와 모멘텀 값 γ는 직전 기울기 스텝이 현재 반복에서 차지하는 비중을 결정합니다.

RMS 전파

모멘텀을 사용한 확률적 경사하강법은 모든 파라미터에 대해 하나의 학습률을 사용합니다. 파라미터에 따라 다를 뿐만 아니라 최적화 중인 손실 함수에 자동적으로 적응할 수 있는 학습률을 사용하여 신경망 훈련을 개선하는 최적화 알고리즘도 있습니다. 그중 하나가 RMSProp(RMS 전파)입니다. RMSProp는 파라미터 기울기의 요소별 제곱의 이동평균을 유지합니다.

v=β2v1+(1β2)[E(θ)]2

β2는 이동평균의 제곱 기울기 감쇠 인자입니다. 감쇠율의 일반적인 값은 0.9, 0.99, 0.999입니다. 제곱 기울기의 대응되는 평균 길이는 1/(1-β2), 즉 각각 10, 100, 1000의 파라미터 업데이트와 같습니다. RMSProp 알고리즘은 이러한 이동평균을 사용하여 각 파라미터의 업데이트를 개별적으로 정규화합니다.

θ+1=θαE(θ)v+ϵ

여기서 나눗셈은 요소별로 이루어집니다. RMSProp를 사용하면 기울기가 큰 파라미터에 대해서는 학습률이 효과적으로 감소하고, 기울기가 작은 파라미터에 대해서는 학습률이 증가합니다. ɛ은 0으로 나누기를 방지하기 위해 더해진 작은 상수입니다.

적응적 모멘트 추정

Adam(적응적 모멘트 추정)[4]은 모멘텀 항이 추가된 것을 제외하면 RMSProp와 유사한 파라미터 업데이트를 사용합니다. 다음과 같이 파라미터 기울기와 그 제곱 값의 요소별 이동평균을 모두 유지합니다.

m=β1m1+(1β1)E(θ)

v=β2v1+(1β2)[E(θ)]2

β1 및 β2 감쇠율은 각각 기울기 감쇠 및 제곱 기울기 감쇠 인자입니다. Adam은 이러한 이동평균을 사용하여 신경망 파라미터를 다음과 같이 업데이트합니다.

θ+1=θαmlvl+ϵ

값 α는 학습률입니다. 여러 반복 동안 기울기가 비슷한 경우에 기울기의 이동평균을 사용하면 파라미터 업데이트가 특정 방향에서 추진력(모멘텀)을 갖게 됩니다. 기울기의 대부분이 잡음인 경우, 기울기의 이동평균이 작아지므로 파라미터 업데이트도 작아집니다. 전체 Adam 업데이트는 훈련 시작 시에 나타나는 편향을 정정하는 메커니즘도 포함합니다. 자세한 내용은 [4] 항목을 참조하십시오.

메모리 제한 BFGS

L-BFGS 알고리즘[5]은 BFGS(Broyden-Fletcher-Goldfarb-Shanno) 알고리즘과 유사한 준뉴턴 방법입니다. L-BFGS 알고리즘은 단일 배치로 처리할 수 있는 소규모 신경망 및 데이터 세트에 가장 적합합니다.

이 알고리즘은 다음과 같이 지정되는 업데이트 스텝을 사용하여 반복 k+1회에서 학습 가능한 파라미터 W를 업데이트합니다.

Wk+1=WkηkBk1J(Wk),

여기서 Wk는 반복 k회에서의 가중치를 나타내고, ηk는 반복 k회에서의 학습률, Bk는 반복 k회에서의 헤세 행렬의 근삿값, J(Wk)는 반복 k회에서의 학습 가능한 파라미터에 대한 손실의 기울기를 나타냅니다.

L-BFGS 알고리즘은 행렬-벡터 곱 Bk1J(Wk)를 직접 계산합니다. 이 알고리즘에서는 Bk의 역행렬을 계산할 필요가 없습니다.

메모리를 절약하기 위해 L-BFGS 알고리즘은 조밀 헤세 행렬 B를 저장하거나 역행렬을 구하지 않습니다. 대신, 알고리즘은 근사 Bkm1λkI를 사용합니다. 여기서 m은 내역 크기이고, 역헤세 인자 λk는 스칼라이고, I는 단위 행렬이며, 스칼라 역헤세 인자만 저장합니다. 알고리즘은 각 스텝에서 역헤세 인자를 업데이트합니다.

행렬-벡터 곱 Bk1J(Wk)를 직접 계산하기 위해 L-BFGS 알고리즘은 다음 재귀 알고리즘을 사용합니다.

  1. r=Bkm1J(Wk)를 설정합니다. 여기서 m은 내역 크기입니다.

  2. i=m,,1의 경우:

    1. β=1skiykiykir을 지정합니다. 여기서 skiyki는 각각 반복 ki회에 대한 스텝 및 기울기 차이입니다.

    2. r=r+ski(akiβ)를 설정합니다. 여기서 as, y 및 손실 함수에 대한 손실의 기울기에서 파생됩니다. 자세한 내용은 [5] 항목을 참조하십시오.

  3. Bk1J(Wk)=r을 반환합니다.

기울기 제한

기울기의 크기가 기하급수적으로 증가하는 경우, 훈련의 안정성이 떨어지고 반복 몇 회만에 발산할 수도 있습니다. 이러한 "기울기 폭주"는 NaN 또는 Inf로 귀결되는 훈련 손실로 나타납니다. 기울기 제한을 사용하면 학습률이 높은 경우 및 이상값이 존재하는 경우에 훈련을 안정화하여 기울기 폭주를 방지하는 데 도움이 됩니다[3]. 기울기 제한을 사용하면 신경망을 더 빨리 훈련시킬 수 있고, 일반적으로 학습된 작업의 정확도에 영향을 주지 않습니다.

다음과 같이 두 가지 유형의 기울기 제한이 있습니다.

  • 노름 기반 기울기 제한은 임계값을 기준으로 기울기를 다시 스케일링하며, 기울기의 방향은 바꾸지 않습니다. GradientThresholdMethod"l2norm" 값과 "global-l2norm" 값은 노름 기반 기울기 제한 방법입니다.

  • 값 기반 기울기 제한은 임계값보다 큰 편도함수를 모두 자르는데 이는 기울기의 방향이 임의로 바뀌는 결과로 이어질 수 있습니다. 값 기반 기울기 제한을 사용하면 예측할 수 없는 동작이 나타날 수 있으나, 충분히 작은 변경은 신경망의 발산을 유발하지 않습니다. GradientThresholdMethod"absolute-value" 값은 값 기반 기울기 제한 방법입니다.

L2 정규화

과적합을 방지하는 한 가지 방법으로 손실 함수 E(θ)에 대한 가중치에 대해 정규화 항을 추가하는 것을 들 수 있습니다[1], [2]. 정규화 항은 가중치 감쇠라고도 합니다. 정규화 항이 있는 손실 함수는 다음과 같은 형태를 갖습니다.

ER(θ)=E(θ)+λΩ(w),

여기서 w는 가중 벡터이고, λ는 정규화 인자(계수)입니다. 정규화 함수 Ω(w)는 다음과 같습니다.

Ω(w)=12wTw.

편향은 정규화되지 않습니다[2]. 정규화 인자 λL2Regularization 훈련 옵션을 사용하여 지정할 수 있습니다. 서로 다른 계층과 파라미터에 대해 서로 다른 정규화 인자를 지정할 수도 있습니다. 자세한 내용은 컨벌루션 계층 및 완전 연결 계층에서 파라미터 설정하기 항목을 참조하십시오.

소프트웨어가 신경망 훈련에 사용하는 손실 함수에는 정규화 항이 포함됩니다. 그러나 훈련 중에 명령 창과 훈련 진행 상황 플롯에 표시되는 손실 값은 데이터에 대한 손실만이며 정규화 항은 포함되지 않습니다.

참고 문헌

[1] Bishop, C. M. Pattern Recognition and Machine Learning. Springer, New York, NY, 2006.

[2] Murphy, K. P. Machine Learning: A Probabilistic Perspective. The MIT Press, Cambridge, Massachusetts, 2012.

[3] Pascanu, R., T. Mikolov, and Y. Bengio. "On the difficulty of training recurrent neural networks". Proceedings of the 30th International Conference on Machine Learning. Vol. 28(3), 2013, pp. 1310–1318.

[4] Kingma, Diederik, and Jimmy Ba. "Adam: A method for stochastic optimization." arXiv preprint arXiv:1412.6980 (2014).

[5] Liu, Dong C., and Jorge Nocedal. "On the limited memory BFGS method for large scale optimization." Mathematical programming 45, no. 1 (August 1989): 503-528. https://doi.org/10.1007/BF01589116.

버전 내역

R2016a에 개발됨

모두 확장