Main Content

얕은 신경망으로 데이터 피팅

신경망은 함수 피팅에 효과적입니다. 사실, 아주 단순한 신경망으로도 임의의 실용적인 함수를 피팅할 수 있다는 증거가 있습니다.

예를 들어, 진료소의 데이터가 있다고 가정하겠습니다. 13가지 해부학적 측정값을 통해 사람의 체지방 비율을 예측할 수 있는 신경망을 설계하고 싶습니다. 총 252명에 대한 13가지 항목의 데이터와 관련 체지방 비율의 표본을 가지고 있습니다.

다음 두 가지 방법으로 이 문제를 해결할 수 있습니다.

일반적으로 앱으로 시작한 다음, 앱을 사용하여 명령줄 스크립트를 자동으로 생성하는 것이 가장 좋습니다. 두 방법 중 하나를 사용하기 전에 먼저 데이터 세트를 선택하여 문제를 정의하십시오. 각 신경망 앱은 툴박스를 실험하는 데 쓸 수 있는 여러 샘플 데이터 세트에 액세스할 수 있습니다(얕은 신경망을 위한 샘플 데이터 세트 참조). 해결하려는 특정한 문제가 있는 경우, 자신의 데이터를 작업 공간으로 불러올 수 있습니다. 다음 섹션에서는 데이터 형식을 설명합니다.

심층 신경망을 대화형 방식으로 구축하고 훈련시키려면 심층 신경망 디자이너를 사용하십시오.

문제 정의하기

이 툴박스에 맞게 피팅(회귀) 문제를 정의하려면 입력 벡터(예측 변수)의 세트를 행렬의 열로 정렬하십시오. 그런 다음 응답 변수 세트(각 입력 벡터에 대한 올바른 출력 벡터)를 두 번째 행렬에 정렬합니다. 예를 들어, 4개의 관측값으로 회귀 문제를 정의할 수 있으며, 각각은 다음과 같이 2개의 입력 특징과 하나의 응답 변수를 갖습니다.

predictors = [0 1 0 1; 0 0 1 1];
responses = [0 0 0 1];

다음 섹션에서는 신경망 피팅 앱을 사용하여 데이터 세트에 맞게 신경망을 훈련시키는 방법을 보여줍니다. 이 예제는 툴박스와 함께 제공된 예제 데이터 세트를 사용합니다.

신경망 피팅 앱을 사용하여 데이터 피팅하기

이 예제에서는 신경망 피팅 앱을 사용하여 데이터를 피팅하도록 얕은 신경망을 훈련시키는 방법을 보여줍니다.

nftool을 사용하여 신경망 피팅 앱을 엽니다.

nftool

데이터 선택하기

신경망 피팅 앱에는 신경망 훈련을 시작하는 데 사용할 수 있는 예제 데이터가 있습니다.

체지방 예제 데이터를 가져오려면 가져오기 > 체지방 데이터 세트 가져오기를 선택하십시오. 이 데이터 세트를 사용하여 다양한 측정값에서 특정인의 체지방을 추정하도록 신경망을 훈련시킬 수 있습니다. 파일이나 작업 공간에서 사용자 소유의 데이터를 가져올 경우, 예측 변수와 응답 변수를 지정하고 관측값이 행에 있는지 아니면 열에 있는지를 지정해야 합니다.

가져온 데이터에 관한 정보는 모델 요약에 표시됩니다. 이 데이터 세트는 252개의 관측값을 포함하며 각 관측값에는 13개의 특징이 있습니다. 응답 변수에는 각 관측값의 체지방률이 포함됩니다.

데이터를 훈련 세트, 검증 세트, 테스트 세트로 분할합니다. 디폴트 설정을 유지합니다. 데이터는 다음과 같이 분할됩니다.

  • 훈련에 70%.

  • 신경망이 일반화되고 있음을 검증하고 과적합 전에 훈련을 중지하는 데 15%.

  • 신경망 일반화를 독립적으로 테스트하는 데 15%.

데이터 분할에 대한 자세한 내용은 최적의 신경망 훈련을 위해 데이터 분할하기 항목을 참조하십시오.

신경망 만들기

신경망은 은닉 계층에 시그모이드 전달 함수가 있고 출력 계층에 선형 전달 함수가 있는 2계층 피드포워드 신경망입니다. 계층 크기 값은 은닉 뉴런 수를 정의합니다. 디폴트 계층 크기 10을 유지합니다. 신경망 창에서 신경망 아키텍처를 확인할 수 있습니다. 신경망 플롯은 입력 데이터를 반영하도록 업데이트됩니다. 이 예제에서 데이터는 13개의 입력값(특징)과 하나의 출력값을 갖습니다.

신경망 훈련시키기

신경망을 훈련시키려면 훈련 > Levenberg-Marquardt를 사용하여 훈련을 선택하십시오. 이는 디폴트 훈련 알고리즘이며 훈련을 클릭하는 것과 동일합니다.

대부분의 문제에 Levenberg-Marquardt(trainlm)를 사용하여 훈련할 것을 권장합니다. 잡음이 있거나 규모가 작은 문제의 경우 베이즈 정규화(Bayesian Regularization)(trainbr)가 시간이 더 오래 걸리더라도 더 좋은 해를 얻을 수 있습니다. 규모가 큰 문제의 경우, 이 두 알고리즘이 사용하는 야코비 행렬 계산보다 메모리 효율이 높은 기울기 계산을 사용한다는 점에서 스케일링된 켤레 기울기(Scaled Conjugate Gradient)(trainscg)를 사용하는 것이 좋습니다.

훈련 창에서 훈련 진행 상황을 확인할 수 있습니다. 훈련은 중지 기준 중 하나를 충족할 때까지 계속됩니다. 이 예제에서는 6회 반복하는 동안 검증 오차가 연속하여 증가할 때까지("검증 기준이 충족됨") 훈련이 계속됩니다.

결과 분석하기

모델 요약에는 훈련 알고리즘에 대한 정보와 각 데이터 세트의 훈련 결과가 포함되어 있습니다.

플롯을 생성하여 결과를 더 자세히 분석할 수 있습니다. 선형 회귀를 플로팅하려면 플롯 섹션에서 회귀를 클릭하십시오. 회귀 플롯은 훈련 세트, 검증 세트, 테스트 세트의 응답 변수(목표값)에 대한 신경망 예측 변수(출력값)를 표시합니다.

완벽한 피팅이 되려면 데이터가 45도 직선에 있어야 하며, 이 직선에 있는 신경망 출력값은 응답 변수 값과 같습니다. 이 문제의 경우 피팅 결과가 모든 데이터 세트에서 상당히 우수합니다. 더 정확한 결과가 필요한 경우 훈련을 다시 클릭하여 신경망을 다시 훈련시킵니다. 각 훈련은 신경망의 초기 가중치와 편향이 다양하며, 재훈련 후 향상된 신경망을 생성할 수 있습니다.

오차 히스토그램을 보고 신경망 성능을 추가로 검증합니다. 플롯 섹션에서 오차 히스토그램을 클릭합니다.

파란색 막대는 훈련 데이터를 나타내고, 녹색 막대는 검증 데이터를 나타내고, 빨간색 막대는 테스트 데이터를 나타냅니다. 히스토그램은 피팅이 대다수 데이터보다 현저하게 나쁜 데이터 점인 이상값을 표시합니다. 이상값을 확인하여 데이터가 불량인지 또는 이러한 데이터 점이 나머지 데이터 세트와 다른지 확인하는 것이 좋습니다. 이상값이 유효한 데이터 점이지만 나머지 데이터와 다른 경우, 신경망은 이 점에 대해 외삽법을 적용합니다. 이상값 점처럼 보이는 더 많은 데이터를 수집하고 신경망을 다시 훈련해야 합니다.

신경망 성능에 만족하지 못하는 경우 다음 중 하나를 수행할 수 있습니다.

  • 신경망을 다시 훈련시킵니다.

  • 은닉 뉴런 수를 늘립니다.

  • 더 큰 훈련 데이터 세트를 사용합니다.

훈련 세트에서의 성능은 좋은데 테스트 세트 성능이 나쁘면 모델이 과적합임을 의미할 수 있습니다. 뉴런 수를 줄이면 과적합을 줄일 수 있습니다.

또한, 추가 테스트 세트에 대해 신경망 성능을 평가할 수 있습니다. 추가 테스트 데이터를 불러와서 신경망을 평가하려면 테스트 섹션에서 테스트를 클릭하십시오. 모델 요약에 추가 테스트 결과가 표시됩니다. 플롯을 생성하여 추가 테스트 데이터 결과를 분석할 수도 있습니다.

코드 생성하기

코드 생성 > 단순 훈련 스크립트 생성을 선택하여 명령줄에서 이전 단계를 재현할 수 있는 MATLAB 코드를 만듭니다. 툴박스의 명령줄 기능을 사용하여 훈련 과정을 사용자 지정하는 방법을 배우려면 MATLAB 코드 만들기가 유용할 수 있습니다. 명령줄 함수를 사용하여 데이터 피팅하기에서 생성된 스크립트를 자세히 조사해야 합니다.

신경망 내보내기

훈련된 신경망을 작업 공간 또는 Simulink®로 내보낼 수 있습니다. 또한, 신경망과 함께 MATLAB Compiler™ 툴과 그 밖의 MATLAB 코드 생성 툴을 배포할 수 있습니다. 훈련된 신경망과 결과를 내보내려면 모델 내보내기 > 작업 공간으로 내보내기를 선택하십시오.

명령줄 함수를 사용하여 데이터 피팅하기

툴박스의 명령줄 기능 사용법을 학습하는 가장 쉬운 방법은 앱에서 스크립트를 생성한 다음 이를 수정하여 신경망 훈련을 사용자 지정하는 것입니다. 한 예로, 이전 섹션에서 작성한 간단한 스크립트를 신경망 피팅 앱을 사용하여 살펴보십시오.

% Solve an Input-Output Fitting problem with a Neural Network
% Script generated by Neural Fitting app
% Created 15-Mar-2021 10:48:13
%
% This script assumes these variables are defined:
%
%   bodyfatInputs - input data.
%   bodyfatTargets - target data.

x = bodyfatInputs;
t = bodyfatTargets;

% Choose a Training Function
% For a list of all training functions type: help nntrain
% 'trainlm' is usually fastest.
% 'trainbr' takes longer but may be better for challenging problems.
% 'trainscg' uses less memory. Suitable in low memory situations.
trainFcn = 'trainlm';  % Levenberg-Marquardt backpropagation.

% Create a Fitting Network
hiddenLayerSize = 10;
net = fitnet(hiddenLayerSize,trainFcn);

% Setup Division of Data for Training, Validation, Testing
net.divideParam.trainRatio = 70/100;
net.divideParam.valRatio = 15/100;
net.divideParam.testRatio = 15/100;

% Train the Network
[net,tr] = train(net,x,t);

% Test the Network
y = net(x);
e = gsubtract(t,y);
performance = perform(net,t,y)

% View the Network
view(net)

% Plots
% Uncomment these lines to enable various plots.
%figure, plotperform(tr)
%figure, plottrainstate(tr)
%figure, ploterrhist(e)
%figure, plotregression(t,y)
%figure, plotfit(net,x,t)

스크립트를 저장한 다음, 명령줄에서 실행하여 이전 훈련 세션의 결과를 재현할 수 있습니다. 스크립트를 편집하여 훈련 과정을 사용자 지정할 수도 있습니다. 이 사례에서는 스크립트의 각 단계를 따르십시오.

데이터 선택하기

이 스크립트는 예측 변수 벡터와 응답 변수 벡터를 이미 작업 공간에 불러온 상태라고 가정합니다. 데이터를 불러오지 않은 경우 다음과 같이 불러올 수 있습니다.

load bodyfat_dataset

이 명령은 예측 변수 bodyfatInputs와 응답 변수 bodyfatTargets를 작업 공간으로 불러옵니다.

이 데이터 세트는 툴박스의 일부인 샘플 데이터 세트 중 하나입니다. 사용할 수 있는 데이터 세트에 대한 자세한 내용은 얕은 신경망을 위한 샘플 데이터 세트 항목을 참조하십시오. 또한, help nndatasets 명령을 입력하여 사용 가능한 모든 데이터 세트 목록을 볼 수 있습니다. 사용자 자신의 변수 이름을 사용하여 이러한 데이터 세트에서 변수를 불러올 수 있습니다. 예를 들어, 다음 명령은

[x,t] = bodyfat_dataset;

체지방 예측 변수를 배열 x로 불러오고 체지방 응답 변수를 배열 t로 불러옵니다.

훈련 알고리즘 선택하기

훈련 알고리즘을 선택합니다. 신경망은 훈련용으로 디폴트 값인 Levenberg-Marquardt 알고리즘(trainlm)을 사용합니다.

trainFcn = 'trainlm';  % Levenberg-Marquardt backpropagation. 

Levenberg-Marquardt가 원하는 만큼 정확한 결과를 내지 못하거나 큰 데이터 문제가 발생하는 경우, 다음 중 하나를 사용하여 신경망 훈련 함수를 베이즈 정규화(Bayesian Regularization)(trainbr) 또는 스케일링된 켤레 기울기(Scaled Conjugate Gradient)(trainscg)로 설정하는 것이 좋습니다.

net.trainFcn = 'trainbr';
net.trainFcn = 'trainscg';

신경망 만들기

신경망을 만듭니다. 함수 피팅(또는 회귀) 문제에 대한 디폴트 신경망 fitnet은 은닉 계층에 디폴트 탄젠트-시그모이드 전달 함수가 있고 출력 계층에 선형 전달 함수가 있는 피드포워드 신경망입니다. 이 신경망에는 10개의 뉴런을 갖는 단일 은닉 계층이 있습니다(디폴트 값). 신경망에는 하나의 출력 뉴런이 있습니다. 각 입력 벡터와 관련된 응답 변수 값이 하나뿐이기 때문입니다.

hiddenLayerSize = 10;
net = fitnet(hiddenLayerSize,trainFcn);

참고

뉴런이 많을수록 많은 계산이 필요하고 너무 높게 설정한 뉴런 개수로 인해 데이터를 과적합하는 경향이 발생하지만, 신경망으로 더 복잡한 문제를 해결할 수 있습니다. 계층이 많을수록 계산이 많이 필요하지만, 많은 계층을 사용하면 복잡한 문제를 더 효율적으로 해결할 수 있습니다. 두 개 이상의 은닉 계층을 사용하려면 fitnet 명령에 은닉 계층의 크기를 배열의 요소로 입력하십시오.

데이터 나누기

데이터 분할을 설정합니다.

net.divideParam.trainRatio = 70/100;
net.divideParam.valRatio = 15/100;
net.divideParam.testRatio = 15/100;

이러한 설정을 사용하면 예측 변수 벡터와 응답 변수 벡터가 임의로 나뉘어, 70%는 훈련용, 15%는 검증용, 15%는 테스트용으로 분할됩니다. 데이터 분할 과정에 대한 자세한 내용은 최적의 신경망 훈련을 위해 데이터 분할하기 항목을 참조하십시오.

신경망 훈련시키기

신경망을 훈련시킵니다.

[net,tr] = train(net,x,t);

훈련 중에 훈련 진행 상황 창이 열립니다. 중지 버튼 을 클릭하여 언제든지 훈련을 중단할 수 있습니다.

Neural network training progress window

훈련은 6회 반복하는 동안 검증 오차가 연속하여 증가했을 때 완료되었습니다. 훈련 창에서 성능을 클릭하면 다음 그림과 같이 훈련 오차, 검증 오차 및 테스트 오차의 플롯이 나타납니다. 이 예제에서는 다음과 같은 이유로 결과가 합리적입니다.

  • 최종 평균 제곱 오차가 작습니다.

  • 테스트 세트 오차와 검증 세트 오차의 특성이 유사합니다.

  • Epoch 13(최상의 검증 성능이 발생하는 곳)에서 의미 있는 과적합이 발생하지 않았습니다.

    Mean squared error against number of epochs for the training, validation, and test data. The best validation performance is 18.5252 at epoch 13.

신경망 테스트하기

신경망을 테스트합니다. 훈련을 마친 신경망을 사용하여 신경망 출력값을 계산할 수 있습니다. 다음 코드는 신경망 출력값, 오차 및 전체 성능을 계산합니다.

y = net(x);
e = gsubtract(t,y);
performance = perform(net,t,y)
performance =

   16.2815

훈련 기록에 있는 테스트 인덱스를 사용하여 테스트 세트에서만 신경망 성능을 계산할 수도 있습니다. 자세한 내용은 훈련 후에 얕은 신경망 성능 분석하기 항목을 참조하십시오.

tInd = tr.testInd;
tstOutputs = net(x(:,tInd));
tstPerform = perform(net,t(tInd),tstOutputs)
tstPerform =

   20.1698

신경망 보기

신경망 도식을 확인합니다.

view(net)

Graphical representation of the function fitting network. The network has input size 13, output size 1, and a single hidden layer of size 10.

결과 분석하기

결과를 분석합니다. 신경망 예측값(출력값)과 이에 대응하는 응답 변수(목표값) 사이의 선형 회귀를 수행하려면 훈련 창에서 회귀를 클릭하십시오.

Output values against target values for the training, validation, test, and combined data.

출력값은 훈련 세트, 테스트 세트, 검증 세트에서 응답 변수를 잘 추종하며, R-값은 총 데이터 세트에 대해 0.87을 초과합니다. 훨씬 더 정확한 결과가 필요한 경우 다음 방법 중 하나를 시도해 볼 수 있습니다.

  • 초기 신경망 가중치와 편향을 init를 사용하여 새로운 값으로 재설정하고 다시 훈련시킵니다.

  • 은닉 뉴런 수를 늘립니다.

  • 더 큰 훈련 데이터 세트를 사용합니다.

  • 더 많은 관련 정보를 사용할 수 있으면 입력값 개수를 늘립니다.

  • 다른 훈련 알고리즘을 사용해 봅니다(훈련 알고리즘 참조).

이 사례에서는 신경망 응답이 만족스러우므로 신경망을 새로운 데이터에 사용할 수 있습니다.

다음 단계

명령줄 연산에 대한 더 많은 경험을 얻으려면 다음 작업 중 일부를 수행해 보십시오.

또한, 명령줄에서 훈련시킬 때 여러 옵션에 대한 고급 스크립트를 살펴보십시오.

신경망을 훈련시킬 때마다 임의의 초기 가중치와 편향 값이 달라지고 데이터를 훈련 세트, 검증 세트, 테스트 세트로 분할하는 것이 달라지므로 해가 다를 수 있습니다. 그 결과, 같은 문제에 대해 훈련받은 여러 신경망이 같은 입력에 대해 서로 다른 출력값을 제공할 수 있습니다. 정확도가 양호한 신경망을 발견한 것인지 확인하려면 여러 번 다시 훈련시키십시오.

더 높은 정확도를 원하는 경우 초기 해를 개선하기 위한 몇 가지 다른 기법이 있습니다. 자세한 내용은 얕은 신경망 일반화를 개선하고 과적합 방지하기 항목을 참조하십시오.

참고 항목

| | | | |

관련 항목