이 예제에서는 사전 훈련된 SqueezeNet 신경망이 새로운 영상의 모음을 분류하도록 미세 조정하는 방법을 보여줍니다. 이 절차는 전이 학습이라고 부르며, 학습된 특징을 적은 개수의 훈련 영상을 사용하여 새 작업에 적용할 수 있기 때문에 일반적으로 새로운 신경망을 훈련시키는 것보다 훨씬 빠르고 쉽습니다. 전이 학습을 위해 신경망을 대화형 방식으로 준비하려면 심층 신경망 디자이너를 사용하십시오.
데이터 추출하기
작업 공간에서 MathWorks Merch 데이터 세트를 추출합니다. MathWorks Merch 데이터 세트는 5개의 클래스(cap, cube, playing cards, screwdriver, torch)에 속하는 MathWorks 기념품 75개의 영상을 포함하는 소규모 데이터 세트입니다.
심층 신경망 디자이너에서 SqueezeNet 열기
심층 신경망 디자이너를 엽니다.
사전 훈련된 신경망 목록에서 SqueezeNet을 선택하고 열기를 클릭합니다.
심층 신경망 디자이너의 디자이너 창에 전체 신경망의 축소된 형태가 표시됩니다.
신경망 플롯을 살펴봅니다. 마우스를 사용하여 확대하려면 Ctrl+스크롤 휠을 사용하십시오. 패닝하려면 화살표 키를 사용하거나 스크롤 휠을 누르고 마우스를 끄십시오. 속성을 볼 계층을 하나 선택합니다. 속성 창에서 신경망 요약을 보려면 모든 계층을 선택 취소하십시오.
데이터 가져오기
심층 신경망 디자이너로 데이터를 불러오려면 데이터 탭에서 데이터 가져오기를 클릭하십시오. 데이터 가져오기 대화 상자가 열립니다.
데이터 소스 목록에서 폴더를 선택합니다. 찾아보기를 클릭하고 추출된 MerchData 폴더를 선택합니다.
데이터를 70%의 훈련 데이터와 30%의 검증 데이터로 나눕니다.
훈련 영상에 대해 수행할 증대 연산을 지정합니다. 이 예제에서는 x축에서 무작위 반사를 적용하고, [-90,90]도에서 무작위 회전을 적용하고, [1,2] 범위에서 무작위 재스케일링을 적용합니다. 데이터 증대는 신경망이 과적합되는 것을 방지하고 훈련 영상의 정확한 세부 정보가 기억되지 않도록 하는 데 도움이 됩니다.
가져오기를 클릭하여 데이터를 심층 신경망 디자이너로 가져옵니다.
데이터 시각화하기
심층 신경망 디자이너를 사용하여 데이터 창에서 훈련 데이터와 검증 데이터의 분포를 시각적으로 조사할 수 있습니다. 이 예제에는 데이터 세트에 5개의 클래스가 있는 것을 볼 수 있습니다.
전이 학습을 위해 신경망 편집하기
신경망의 컨벌루션 계층은 마지막 학습 가능한 계층과 마지막 분류 계층이 입력 영상을 분류하는 데 사용하는 영상 특징을 추출합니다. SqueezeNet의 이 두 개의 계층 'conv10'
과 'ClassificationLayer_predictions'
는 신경망이 추출하는 특징을 클래스 확률, 손실 값 및 예측된 레이블로 조합하는 방법에 대한 정보를 포함합니다. 사전 훈련된 신경망을 새로운 영상을 분류하도록 다시 훈련시키려면 이 두 계층을 새 데이터 세트에 맞게 조정된 새로운 계층으로 바꾸십시오.
대부분의 신경망에서, 학습 가능한 가중치를 갖는 마지막 계층은 완전 연결 계층입니다. SqueezeNet과 같은 일부 신경망에서는 학습 가능한 마지막 계층은 마지막 컨벌루션 계층이 됩니다. 이 경우 컨벌루션 계층을 필터의 개수가 클래스 개수와 같은 새로운 컨벌루션 계층으로 바꿉니다.
디자이너 창에서 새 convolutional2dLayer
를 캔버스로 끌어서 놓습니다. 원래 컨벌루션 계층과 일치하도록 FilterSize
를 1,1
로 설정합니다. NumFilters
를 새 데이터의 클래스 개수(이 예제에서는 5
)로 변경합니다.
전이된 계층보다 새 계층에서 학습이 더 빨리 이루어지도록 WeightLearnRateFactor
및 BiasLearnRateFactor
세트를 10으로 설정하여 학습률을 변경합니다. 마지막 2차원 컨벌루션 계층을 삭제하고 새로 추가한 계층을 대신 연결합니다.
출력 계층을 교체합니다. 계층 라이브러리의 끝으로 스크롤한 다음, 캔버스로 새 classificationLayer
를 끌어서 놓습니다. 원래 출력 계층을 삭제하고 대신 새 계층을 연결합니다.
신경망 확인하기
편집한 신경망이 훈련시킬 준비가 되었는지 확인하려면 분석을 클릭하고 딥러닝 신경망 분석기에 보고되는 오류가 없는지 확인합니다.
신경망 훈련시키기
훈련 옵션을 지정합니다. 훈련 탭을 선택하고 훈련 옵션을 클릭합니다.
전이된 계층의 학습을 늦추려면 InitialLearnRate
를 작은 값으로 설정하십시오.
검증 데이터에 대한 정확도가 Epoch 1회마다 한 번씩 계산되도록 ValidationFrequency
를 지정합니다.
Epoch를 적은 횟수로 지정합니다. Epoch 1회는 전체 훈련 데이터 세트에 대한 하나의 완전한 훈련 주기를 의미합니다. 전이 학습에서는 그렇게 많은 Epoch 횟수만큼 훈련하지 않아도 됩니다.
미니 배치의 크기, 즉 각 반복당 사용할 영상의 개수를 지정합니다. 매 Epoch마다 데이터 세트 전체가 사용되도록 하려면 미니 배치 크기가 훈련 샘플 개수를 균등하게 나누도록 설정하십시오.
이 예제에서는 InitialLearnRate
를 0.0001
로 설정하고 ValidationFrequency
를 5
로 설정하고 MaxEpochs
를 8
로 설정합니다. 55개의 관측값이 있으므로 MiniBatchSize
를 11로 설정합니다.
지정된 훈련 옵션을 사용하여 신경망을 훈련시키려면 닫기를 클릭하고 훈련을 클릭하십시오.
심층 신경망 디자이너에서는 훈련 진행 상황을 시각화하고 모니터링할 수 있습니다. 그런 다음 필요한 경우 훈련 옵션을 편집하여 신경망을 다시 훈련시킬 수 있습니다.
결과를 내보내고 MATLAB 코드 생성하기
훈련된 가중치와 함께 신경망 아키텍처를 내보내려면 훈련 탭에서 내보내기 > 훈련된 신경망 및 결과 내보내기를 선택하십시오. 심층 신경망 디자이너가 훈련된 신경망을 변수 trainedNetwork_1
로 내보내고 훈련 정보를 변수 trainInfoStruct_1
로 내보냅니다.
trainInfoStruct_1 = struct with fields:
TrainingLoss: [1×40 double]
TrainingAccuracy: [1×40 double]
ValidationLoss: [4.8267 NaN NaN NaN 2.1034 NaN NaN NaN NaN 1.2332 NaN NaN NaN NaN 0.6614 NaN NaN NaN NaN 0.4312 NaN NaN NaN NaN 0.2878 NaN NaN NaN NaN 0.2472 NaN NaN NaN NaN 0.2647 NaN NaN NaN NaN 0.2893]
ValidationAccuracy: [10 NaN NaN NaN 10 NaN NaN NaN NaN 40 NaN NaN NaN NaN 80 NaN NaN NaN NaN 90 NaN NaN NaN NaN 95 NaN NaN NaN NaN 95 NaN NaN NaN NaN 95 NaN NaN NaN NaN 95]
BaseLearnRate: [1×40 double]
FinalValidationLoss: 0.2893
FinalValidationAccuracy: 95
신경망과 사용된 훈련 옵션을 다시 만들어 주는 MATLAB 코드를 생성할 수도 있습니다. 훈련 탭에서 내보내기 > 훈련에 사용할 코드 생성을 선택합니다. MATLAB 코드를 검토하여 훈련을 위해 프로그래밍 방식으로 데이터를 준비하고 신경망 아키텍처를 만들고 신경망을 훈련시키는 방법을 살펴봅니다.
새 영상 분류하기
훈련된 신경망을 사용하여 분류할 새 영상을 불러옵니다.
심층 신경망 디자이너가 신경망 입력 크기와 일치하도록 훈련 중에 영상의 크기를 조정합니다. 신경망 입력 크기를 보려면 디자이너 창에서 imageInputLayer
(첫 번째 계층)를 선택하십시오. 이 신경망의 입력 크기는 227x227입니다.
신경망 입력 크기와 일치하도록 테스트 영상의 크기를 조정합니다.
훈련된 신경망을 사용하여 테스트 영상을 분류합니다.