얕은 신경망을 사용한 시계열 예측 및 모델링

동적 신경망은 시계열 예측에 효과적입니다. 개루프 형태, 폐루프 형태 및 개/폐 루프 다중 스텝 예측에 적용되는 NARX 신경망의 사용 예제를 보려면 다중 스텝 신경망 예측 항목을 참조하십시오.

팁

시계열 데이터에 대한 딥러닝은 딥러닝을 사용한 시퀀스 분류 항목을 대신 참조하십시오.

예를 들어, pH 중화 과정 데이터가 있다고 가정하겠습니다. 과거의 pH 값과 탱크로 유입되는 과거의 산 및 염기 값으로부터 탱크 내 용액의 pH를 예측할 수 있는 신경망을 설계하려고 합니다. 총 2,001개의 시간 스텝이 있고 각각에 시계열 데이터가 있습니다.

다음 두 가지 방법으로 이 문제를 해결할 수 있습니다.

• 신경망 시계열 앱을 사용합니다(신경망 시계열 앱을 사용하여 시계열 데이터 피팅하기 참조).

• 명령줄 함수를 사용하여 시계열 데이터 피팅하기에서 설명한 명령줄 함수를 사용합니다.

팁

딥러닝 신경망을 대화형 방식으로 구축하고 시각화하려면 심층 신경망 디자이너 앱을 사용하십시오. 자세한 내용은 심층 신경망 디자이너 시작하기 항목을 참조하십시오.

일반적으로 앱으로 시작한 다음, 앱을 사용하여 명령줄 스크립트를 자동으로 생성하는 것이 가장 좋습니다. 두 방법 중 하나를 사용하기 전에 먼저 데이터 세트를 선택하여 문제를 정의하십시오. 각 신경망 앱은 툴박스를 실험하는 데 쓸 수 있는 여러 샘플 데이터 세트에 액세스할 수 있습니다(얕은 신경망을 위한 샘플 데이터 세트 참조). 해결하려는 특정한 문제가 있는 경우, 자신의 데이터를 작업 공간으로 불러올 수 있습니다.

시계열 신경망

신경망을 훈련하여 세 가지 유형의 시계열 문제를 풀 수 있습니다.

NARX 신경망

첫 번째 유형의 시계열 문제에서는 시계열의 미래 값 y(t)를 그 시계열의 과거 값과 또 하나의 시계열 x(t)의 과거 값으로부터 예측합니다. 이러한 형태의 예측을 외생적인(외부) 입력을 갖는 비선형 자기회귀 또는 NARX라 하며(시계열 NARX 피드백 신경망 설계하기 참조), 다음과 같이 쓸 수 있습니다.

y(t) = f(y(t – 1), ..., y(t – d), x(t – 1), ..., (t – d))

이 모델을 사용하여 실업률, GDP 등의 경제 변수를 기반으로 주식 또는 채권의 미래 가치를 예측합니다. 또한 이 모델을 시스템 식별에 사용할 수 있는데, 이때 개발되는 모델은 화학 공정, 제조 시스템, 로보틱스, 항공우주 비행체와 같은 동적 시스템을 표현합니다.

NAR 신경망

두 번째 종류의 시계열 문제에는 하나의 시계열만 포함됩니다. 미래의 시계열 값 y(t)를 그 시계열의 과거 값만 사용해 예측합니다. 이러한 형태의 예측은 비선형 자기회귀 분석 또는 NAR이라고 하며 다음과 같이 쓸 수 있습니다.

y(t) = f(y(t – 1), ..., y(t – d))

이 모델은 금융 상품을 예측하는 데 사용할 수 있지만, 동반 시계열을 사용하지 않습니다.

비선형 입력-출력 신경망

세 번째 시계열 문제는 입력 시계열 x(t)와 출력 시계열 y(t)라는 두 개의 시계열이 관련되어 있다는 점에서 첫 번째 유형과 유사합니다. y(t)의 이전 값을 알지 못하는 상황에서 x(t)의 이전 값으로부터 y(t)의 값을 예측하려는 경우입니다. 이 입력/출력 모델은 다음과 같이 쓸 수 있습니다.

y(t) = f(x(t – 1), ..., x(t – d))

NARX 모델은 이전 값 y(t)에 포함된 추가 정보를 사용하므로 이 입력-출력 모델보다 더 나은 예측을 제공합니다. 그러나 이전 값 y(t)를 사용할 수 없는 일부 응용 사례가 있을 수 있습니다. 이러한 경우가 NARX 모델 대신 입력-출력 모델을 사용할 필요가 있는 유일한 경우입니다.

문제 정의하기

툴박스에 적합하게 시계열 문제를 정의하려면 시계열 예측 변수 벡터 세트를 셀형 배열의 열로 정렬하십시오. 그런 다음 또 하나의 세트인 시계열 응답 변수 벡터 세트(각 예측 변수 벡터에 대한 올바른 응답 변수 벡터)를 두 번째 셀형 배열로 정렬합니다. 한편, 응답 변수 데이터 세트만 있으면 되는 경우도 있습니다. 예를 들어, 아래와 같이 시계열의 이전 값을 사용하여 다음 값을 예측하는 시계열 문제를 정의할 수 있습니다.

responses = {1 2 3 4 5};

다음 섹션에서는 신경망 시계열 앱을 사용하여 시계열 데이터 세트에 맞게 신경망을 훈련시키는 방법을 보여줍니다. 이 예제는 툴박스와 함께 제공된 예제 데이터를 사용합니다.

신경망 시계열 앱을 사용하여 시계열 데이터 피팅하기

이 예제에서는 신경망 시계열 앱을 사용하여 시계열 데이터를 피팅하도록 얕은 신경망을 훈련시키는 방법을 보여줍니다.

ntstool을 사용하여 신경망 시계열 앱을 엽니다.

ntstool

신경망 선택하기

신경망 시계열 앱을 사용하여 3가지 종류의 시계열 문제를 풀 수 있습니다.

• 첫 번째 유형의 시계열 문제에서는 시계열의 미래 값 $y\left(t\right)$를 그 시계열의 과거 값과 또 하나의 시계열 $\mathit{x}\left(\mathit{t}\right)$의 과거 값으로부터 예측합니다. 이러한 형태의 예측을 외생적인(외부) 입력을 갖는 비선형 자기회귀, 즉 NARX라고 합니다.

• 두 번째 종류의 시계열 문제에는 하나의 시계열만 포함됩니다. 미래의 시계열 값 $y\left(t\right)$를 그 시계열의 과거 값만 사용해 예측합니다. 이러한 형태의 예측을 비선형 자기회귀 분석 또는 NAR이라고 합니다.

• 세 번째 시계열 문제는 입력 시계열(예측 변수) $\mathit{x}\left(\mathit{t}\right)$와 출력 시계열(응답 변수) $y\left(t\right)$라는 두 개의 시계열이 관련되어 있다는 점에서 첫 번째 유형과 유사합니다. $y\left(t\right)$의 이전 값을 알지 못하는 상황에서 $\mathit{x}\left(\mathit{t}\right)$의 이전 값으로부터 $y\left(t\right)$의 값을 예측하려는 경우입니다.

이 예제에서는 NARX 신경망을 사용합니다. 신경망 선택 > NARX 신경망을 클릭합니다.

데이터 선택하기

신경망 시계열 앱에는 신경망 훈련을 시작하는 데 사용할 수 있는 예제 데이터가 있습니다.

pH 중화 과정 예제 데이터를 가져오려면 가져오기 > 추가 예제 데이터 세트 > pH 중화 데이터 세트 가져오기를 선택하십시오. 이 데이터 세트를 사용하여 산성 용액과 염기성 용액의 흐름으로 용액의 pH를 예측하도록 신경망을 훈련시킬 수 있습니다. 파일이나 작업 공간에서 사용자 소유의 데이터를 가져오면 예측 변수와 응답 변수를 지정해야 합니다.

가져온 데이터에 관한 정보는 모델 요약에 표시됩니다. 이 데이터 세트에는 2,001개의 시간 스텝이 포함되어 있습니다. 예측 변수에는 두 개의 특징(산성 용액과 염기성 용액 흐름)이 있고 응답 변수에는 하나의 특징(용액의 pH)이 있습니다.

데이터를 훈련 세트, 검증 세트, 테스트 세트로 분할합니다. 디폴트 설정을 유지합니다. 데이터는 다음과 같이 분할됩니다.

• 훈련에 70%.

• 신경망이 일반화되고 있음을 검증하고 과적합 전에 훈련을 중지하는 데 15%.

• 신경망 일반화를 독립적으로 테스트하는 데 15%.

데이터 분할에 대한 자세한 내용은 최적의 신경망 훈련을 위해 데이터 분할하기 항목을 참조하십시오.

신경망 만들기

표준 NARX 신경망은 은닉 계층에 시그모이드 전달 함수가 있고 출력 계층에 선형 전달 함수가 있는 2계층 피드포워드 신경망입니다. 이 신경망은 또한 탭 지연선을 사용하여 $\mathit{x}\left(\mathit{t}\right)$와 $y\left(t\right)$ 시퀀스의 이전 값을 저장합니다. $y\left(t\right)$는 $y\left(t–1\right),y\left(t–2\right),...,y\left(t–d\right)$의 함수이므로 NARX 신경망의 출력값($y\left(t\right)$)은 지연을 통해 신경망의 입력으로 피드백됩니다. 그러나 효율적인 훈련을 위해 이 피드백 루프를 열 수 있습니다.

신경망 훈련 중에 참 출력값을 사용할 수 있으므로 아래의 개루프 아키텍처를 사용하면 예상 출력값을 피드백하는 대신 참 출력값이 사용됩니다. 여기에는 두 가지 이점이 있습니다. 첫 번째는 피드포워드 신경망에 대한 입력값이 더 정확하다는 것입니다. 두 번째는 결과 신경망이 순수한 피드포워드 아키텍처를 가지므로 더 효율적인 알고리즘을 훈련에 사용할 수 있다는 것입니다. 이 신경망에 대한 자세한 내용은 시계열 NARX 피드백 신경망 설계하기 항목에서 논의됩니다.

계층 크기 값은 은닉 뉴런 수를 정의합니다. 디폴트 계층 크기 10을 유지합니다. 시간 지연 값을 4로 변경합니다. 신경망 훈련 성능이 좋지 않은 경우 이 수를 조정해야 할 수도 있습니다.

신경망 창에서 신경망 아키텍처를 확인할 수 있습니다.

신경망 훈련시키기

신경망을 훈련시키려면 훈련 > Levenberg-Marquardt를 사용하여 훈련을 선택하십시오. 이는 디폴트 훈련 알고리즘이며 훈련을 클릭하는 것과 동일합니다.

대부분의 문제에 Levenberg-Marquardt(trainlm)를 사용하여 훈련할 것을 권장합니다. 잡음이 있거나 규모가 작은 문제의 경우 베이즈 정규화(Bayesian Regularization)(trainbr)가 시간이 더 오래 걸리더라도 더 좋은 해를 얻을 수 있습니다. 규모가 큰 문제의 경우, 이 두 알고리즘이 사용하는 야코비 행렬 계산보다 메모리 효율이 높은 기울기 계산을 사용한다는 점에서 스케일링된 켤레 기울기(Scaled Conjugate Gradient)(trainscg)를 사용하는 것이 좋습니다.

훈련 창에서 훈련 진행 상황을 확인할 수 있습니다. 훈련은 중지 기준 중 하나를 충족할 때까지 계속됩니다. 이 예제에서는 검증을 6회 연속으로 반복하는 동안 검증 오차가 그전까지의 가장 작은 검증 오차보다 크거나 같을 때까지("검증 기준이 충족됨") 훈련이 계속됩니다.

결과 분석하기

모델 요약에는 훈련 알고리즘에 대한 정보와 각 데이터 세트의 훈련 결과가 포함되어 있습니다.

플롯을 생성하여 결과를 더 자세히 분석할 수 있습니다. 오차 자기상관을 플로팅하려면 플롯 섹션에서 오차 자기상관을 클릭하십시오. 오차 자기상관 플롯은 예측 오차가 시간과 어떻게 관련되어 있는지를 나타냅니다. 완벽한 예측 모델이라면 자기상관 함수에 0이 아닌 값이 하나만 있어야 하며, 그 값이 지연 0에서 발생해야 합니다(이는 평균제곱오차임). 이는 예측 오차가 서로 전혀 상관관계가 없다는 것을 의미합니다(백색 잡음). 예측 오차에 유의미한 상관관계가 있다면 예측을 향상시킬 수 있어야 합니다. 보통은 탭 지연선의 지연 수를 늘리면 됩니다. 이 사례에서는 0 지연을 제외하고는 상관관계가 0을 중심으로 대략 95% 신뢰한계 내에 있으므로 모델이 적절하다고 판단됩니다. 훨씬 더 정확한 결과가 필요한 경우 신경망을 다시 훈련시키면 됩니다. 이렇게 하면 신경망의 초기 가중치와 편향이 변경되고, 재훈련 후 향상된 신경망이 생성될 수 있습니다.

신경망 성능에 대한 추가 검증 결과를 얻기 위해 입력값-오차 상호상관 플롯을 살펴봅니다. 플롯 섹션에서 입력값-오차 상관을 클릭합니다. 입력값-오차 상호상관 플롯은 오차와 입력 시퀀스 $\mathit{x}\left(\mathit{t}\right)$ 간의 상관관계가 어떤지를 보여줍니다. 완벽한 예측 모델의 경우 상관관계는 모두 0이어야 합니다. 입력값이 오차와 상관관계가 있다면 보통은 탭 지연선의 지연 수를 늘림으로써 예측을 향상시킬 수 있을 것입니다. 이 사례에서는 대다수 상관이 0을 중심으로 신뢰한계 내에 있습니다.

플롯 섹션에서 응답 변수를 클릭합니다. 시간에 대해 출력값, 응답 변수(목표값), 오차가 표시됩니다. 또한 선택한 훈련, 테스트 및 검증의 시점이 표시됩니다.

신경망 성능에 만족하지 못하는 경우 다음 중 하나를 수행할 수 있습니다.

• 신경망을 다시 훈련시킵니다.

• 은닉 뉴런 수를 늘립니다.

• 더 큰 훈련 데이터 세트를 사용합니다.

훈련 세트에서의 성능은 좋은데 테스트 세트 성능이 나쁘면 모델이 과적합임을 의미할 수 있습니다. 계층 크기를 줄이고 이에 따라 뉴런의 수를 줄이면 과적합을 줄일 수 있습니다.

또한, 추가 테스트 세트에 대해 신경망 성능을 평가할 수 있습니다. 추가 테스트 데이터를 불러와서 신경망을 평가하려면 테스트 섹션에서 테스트를 클릭하십시오. 모델 요약에 추가 테스트 데이터 결과가 표시됩니다. 플롯을 생성하여 추가 테스트 데이터 결과를 분석할 수도 있습니다.

코드 생성하기

코드 생성 > 단순 훈련 스크립트 생성을 선택하여 명령줄에서 이전 단계를 재현할 수 있는 MATLAB 코드를 만듭니다. 툴박스의 명령줄 기능을 사용하여 훈련 과정을 사용자 지정하는 방법을 배우려면 MATLAB 코드 만들기가 유용할 수 있습니다. 명령줄 함수를 사용하여 시계열 데이터 피팅하기에서 생성된 스크립트를 자세히 조사해야 합니다.

신경망 내보내기

훈련된 신경망을 작업 공간 또는 Simulink®로 내보낼 수 있습니다. 또한, 신경망과 함께 MATLAB Compiler™ 툴과 그 밖의 MATLAB 코드 생성 툴을 배포할 수 있습니다. 훈련된 신경망과 결과를 내보내려면 모델 내보내기 > 작업 공간으로 내보내기를 선택하십시오.

명령줄 함수를 사용하여 시계열 데이터 피팅하기

툴박스의 명령줄 기능 사용법을 학습하는 가장 쉬운 방법은 앱에서 스크립트를 생성한 다음 이를 수정하여 신경망 훈련을 사용자 지정하는 것입니다. 한 예로, 이전 섹션에서 작성한 간단한 스크립트를 신경망 시계열 앱을 사용하여 살펴보십시오.

% Solve an Autoregression Problem with External Input with a NARX Neural Network
% Script generated by Neural Time Series app
% Created 13-May-2021 17:34:27
%
% This script assumes these variables are defined:
%
%   phInputs - input time series.
%   phTargets - feedback time series.

X = phInputs;
T = phTargets;

% Choose a Training Function
% For a list of all training functions type: help nntrain
% 'trainlm' is usually fastest.
% 'trainbr' takes longer but may be better for challenging problems.
% 'trainscg' uses less memory. Suitable in low memory situations.
trainFcn = 'trainlm';  % Levenberg-Marquardt backpropagation.

% Create a Nonlinear Autoregressive Network with External Input
inputDelays = 1:4;
feedbackDelays = 1:4;
hiddenLayerSize = 10;
net = narxnet(inputDelays,feedbackDelays,hiddenLayerSize,'open',trainFcn);

% Prepare the Data for Training and Simulation
% The function PREPARETS prepares timeseries data for a particular network,
% shifting time by the minimum amount to fill input states and layer
% states. Using PREPARETS allows you to keep your original time series data
% unchanged, while easily customizing it for networks with differing
% numbers of delays, with open loop or closed loop feedback modes.
[x,xi,ai,t] = preparets(net,X,{},T);

% Setup Division of Data for Training, Validation, Testing
net.divideParam.trainRatio = 70/100;
net.divideParam.valRatio = 15/100;
net.divideParam.testRatio = 15/100;

% Train the Network
[net,tr] = train(net,x,t,xi,ai);

% Test the Network
y = net(x,xi,ai);
e = gsubtract(t,y);
performance = perform(net,t,y)

% View the Network
view(net)

% Plots
% Uncomment these lines to enable various plots.
%figure, plotperform(tr)
%figure, plottrainstate(tr)
%figure, ploterrhist(e)
%figure, plotregression(t,y)
%figure, plotresponse(t,y)
%figure, ploterrcorr(e)
%figure, plotinerrcorr(x,e)

% Closed Loop Network
% Use this network to do multi-step prediction.
% The function CLOSELOOP replaces the feedback input with a direct
% connection from the output layer.
netc = closeloop(net);
netc.name = [net.name ' - Closed Loop'];
view(netc)
[xc,xic,aic,tc] = preparets(netc,X,{},T);
yc = netc(xc,xic,aic);
closedLoopPerformance = perform(net,tc,yc)

% Step-Ahead Prediction Network
% For some applications it helps to get the prediction a timestep early.
% The original network returns predicted y(t+1) at the same time it is
% given y(t+1). For some applications such as decision making, it would
% help to have predicted y(t+1) once y(t) is available, but before the
% actual y(t+1) occurs. The network can be made to return its output a
% timestep early by removing one delay so that its minimal tap delay is now
% 0 instead of 1. The new network returns the same outputs as the original
% network, but outputs are shifted left one timestep.
nets = removedelay(net);
nets.name = [net.name ' - Predict One Step Ahead'];
view(nets)
[xs,xis,ais,ts] = preparets(nets,X,{},T);
ys = nets(xs,xis,ais);
stepAheadPerformance = perform(nets,ts,ys)

스크립트를 저장한 다음 명령줄에서 실행하여 이전 앱 세션의 결과를 재현할 수 있습니다. 스크립트를 편집하여 훈련 과정을 사용자 지정할 수도 있습니다. 이 사례에서는 스크립트의 각 단계를 따르십시오.

데이터 선택하기

이 스크립트는 예측 변수 벡터와 응답 변수 벡터를 이미 작업 공간에 불러온 상태라고 가정합니다. 데이터를 불러오지 않은 경우 다음과 같이 불러올 수 있습니다.

load ph_dataset

이 명령은 예측 변수 pHInputs와 응답 변수 pHTargets를 작업 공간으로 불러옵니다.

이 데이터 세트는 툴박스의 일부인 샘플 데이터 세트 중 하나입니다. 사용할 수 있는 데이터 세트에 대한 자세한 내용은 얕은 신경망을 위한 샘플 데이터 세트 항목을 참조하십시오. 또한, help nndatasets 명령을 입력하여 사용 가능한 모든 데이터 세트 목록을 볼 수 있습니다. 사용자 자신의 변수 이름을 사용하여 이러한 데이터 세트에서 변수를 불러올 수 있습니다. 예를 들어, 다음 명령은

[X,T] = ph_dataset;

pH 데이터 세트 예측 변수를 배열 X로 불러오고 pH 데이터 세트 응답 변수를 셀형 배열 T로 불러옵니다.

훈련 알고리즘 선택하기

훈련 알고리즘을 정의합니다. 신경망은 훈련용으로 디폴트 값인 Levenberg-Marquardt 알고리즘(trainlm)을 사용합니다.

trainFcn = 'trainlm';  % Levenberg-Marquardt backpropagation.

Levenberg-Marquardt가 원하는 만큼 정확한 결과를 내지 못하거나 큰 데이터 문제가 발생하는 경우, 다음 중 하나를 사용하여 신경망 훈련 함수를 베이즈 정규화(Bayesian Regularization)(trainbr) 또는 스케일링된 켤레 기울기(Scaled Conjugate Gradient)(trainscg)로 설정하는 것이 좋습니다.

net.trainFcn = 'trainbr';
net.trainFcn = 'trainscg';

신경망 만들기

신경망을 만듭니다. NARX 신경망 narxnet은 은닉 계층에 디폴트 탄젠트-시그모이드 전달 함수가 있고 출력 계층에 선형 전달 함수가 있는 피드포워드 신경망입니다. 이 신경망에는 두 개의 입력이 있습니다. 하나는 외부 입력이고 다른 하나는 신경망 출력의 피드백 연결입니다. 나중에 보게 되듯이 신경망을 훈련시킨 후에는 이 피드백 연결을 닫을 수 있습니다. 이러한 각각의 입력에 대해 이전 값을 저장하는 탭 지연선이 있습니다. NARX 신경망용 신경망 아키텍처를 할당하려면 각 탭 지연선과 관련된 지연과 은닉 계층 뉴런의 수를 선택해야 합니다. 다음 단계에서는 입력 지연과 피드백 지연을 1에서 4까지의 범위로 할당하고 은닉 뉴런 수를 10으로 지정합니다.

inputDelays = 1:4;
feedbackDelays = 1:4;
hiddenLayerSize = 10;
net = narxnet(inputDelays,feedbackDelays,hiddenLayerSize,'open',trainFcn);

참고

뉴런 수와 지연 수를 늘리면 더 많은 계산이 필요하고 데이터를 과적합하는 경향이 발생하지만, 신경망으로 더 복잡한 문제를 해결할 수 있습니다. 계층이 많을수록 계산이 많이 필요하지만, 많은 계층을 사용하면 복잡한 문제를 더 효율적으로 해결할 수 있습니다. 두 개 이상의 은닉 계층을 사용하려면 narxnet 명령에 은닉 계층의 크기를 배열의 요소로 입력하십시오.

훈련을 위해 데이터 준비하기

훈련을 위해 데이터를 준비합니다. 탭 지연선을 포함하는 신경망을 훈련시킬 때 지연을 신경망의 예측 변수와 응답 변수의 초기값으로 채울 필요가 있습니다. 이 과정을 용이하게 하는 툴박스 명령이 preparets입니다. 이 함수에는 신경망, 예측 변수, 및 응답 변수의 세 가지 입력 인수가 있습니다. 이 함수는 신경망의 탭 지연선을 채우는 데 필요한 초기 조건과, 그 초기 조건이 제거된 시점의 수정된 예측 변수 시퀀스 및 응답 변수 시퀀스를 반환합니다. 다음과 같이 함수를 호출할 수 있습니다.

[x,xi,ai,t] = preparets(net,X,{},T);

데이터 나누기

데이터 분할을 설정합니다.

net.divideParam.trainRatio = 70/100;
net.divideParam.valRatio = 15/100;
net.divideParam.testRatio = 15/100;

이러한 설정을 사용하면 데이터가 임의로 나뉘어, 70%는 훈련, 15%는 검증, 15%는 테스트에 사용됩니다.

신경망 훈련시키기

신경망을 훈련시킵니다.

[net,tr] = train(net,x,t,xi,ai);

훈련 중에 다음 훈련 창이 열립니다. 이 창에는 훈련 진행 상황이 표시되며 중지 버튼 을 클릭하여 언제든지 훈련을 중단할 수 있습니다.

이 훈련은 검증이 6회 연속으로 반복하는 동안 검증 오차가 그전까지의 가장 작은 검증 손실보다 크거나 같아졌을 때 중지되었습니다.

신경망 테스트하기

신경망을 테스트합니다. 훈련을 마친 신경망을 사용하여 신경망 출력값을 계산할 수 있습니다. 다음 코드는 신경망 출력값, 오차 및 전체 성능을 계산합니다. 탭 지연선이 있는 신경망을 시뮬레이션하려면 지연된 이 신호에 초기값을 할당해야 합니다. 이는 초기 단계에서 preparets에서 제공하는 입력 상태 xi와 계층 상태 ai를 사용하여 수행됩니다.

y = net(x,xi,ai);
e = gsubtract(t,y);
performance = perform(net,t,y)

performance =

    0.0042

신경망 보기

신경망 도식을 확인합니다.

view(net)

결과 분석하기

있을 수 있는 과적합을 확인하기 위해 성능 훈련 기록을 플로팅합니다.

figure, plotperform(tr)

이 그림에서 훈련 오차와 검증 오차는 강조 표시된 Epoch에 다다를 때까지 감소하고 있습니다. 이 Epoch 이전에는 검증 오차가 증가하지 않으므로 과적합은 발생하지 않은 것 같습니다.

모든 훈련은 검증 및 테스트 단계를 포함해 개루프(직렬-병렬 아키텍처라고도 함)에서 수행됩니다. 일반적인 워크플로는 개루프에서 신경망을 완전히 생성한 다음, (검증 및 테스트 단계를 포함해) 신경망의 훈련이 끝났을 때만 이를 향후 다중 스텝 사전 예측을 위한 폐루프로 변환하는 것입니다. 마찬가지로 신경망 시계열 앱의 R 값은 개루프 훈련 결과를 기반으로 계산됩니다.

폐루프 신경망

NARX 신경망에서 루프를 닫습니다. 피드백 루프가 NARX 신경망에서 열리면 향후 1-스텝 사전 예측이 수행됩니다. 이는 y(t)의 이전 값과 x(t)의 이전 값으로부터 다음 값 y(t)를 예측하는 것입니다. 피드백 루프를 닫으면 향후 다중 스텝 사전 예측을 수행하는 데 사용할 수 있습니다. 이는 실제 미래 값 y(t) 대신에 예측 y(t)가 사용되기 때문입니다. 다음 명령을 사용하여 루프를 닫고 폐루프 성능을 계산할 수 있습니다.

netc = closeloop(net);
netc.name = [net.name ' - Closed Loop'];
view(netc)
[xc,xic,aic,tc] = preparets(netc,X,{},T);
yc = netc(xc,xic,aic);
closedLoopPerformance = perform(net,tc,yc)

closedLoopPerformance =

    0.4014

향후 스텝 사전 예측 신경망

한 개 시간 스텝 앞의 예측값을 얻으려면 신경망에서 지연을 하나 제거하십시오.

nets = removedelay(net);
nets.name = [net.name ' - Predict One Step Ahead'];
view(nets)
[xs,xis,ais,ts] = preparets(nets,X,{},T);
ys = nets(xs,xis,ais);
stepAheadPerformance = perform(nets,ts,ys)

stepAheadPerformance =

    0.0042

이 그림에서 신경망이 이전의 개루프 신경망과 동일한 것을 확인할 수 있습니다. 단, 탭 지연선 각각에서 하나의 지연이 제거되었습니다. 그러면 신경망 출력값은 y(t) 대신에 y(t + 1)이 됩니다. 이는 특정 응용 사례에서 신경망을 배포할 때 유용할 수 있습니다.

다음 단계

신경망 성능이 만족스럽지 않으면 다음 방법 중 하나를 시도해 볼 수 있습니다.

• 초기 신경망 가중치와 편향을 init를 사용하여 새로운 값으로 재설정하고 다시 훈련시킵니다.

• 은닉 뉴런의 수나 지연 수를 늘립니다.

• 더 큰 훈련 데이터 세트를 사용합니다.

• 더 많은 관련 정보를 사용할 수 있으면 입력값 개수를 늘립니다.

• 다른 훈련 알고리즘을 사용해 봅니다(훈련 알고리즘 참조).

명령줄 연산에 대한 더 많은 경험을 얻으려면 다음 작업 중 일부를 수행해 보십시오.

• 훈련 중에 플롯 창(예: 오차 상관 플롯)을 열고 애니메이션을 확인합니다.

• plotresponse, ploterrcorr 및 plotperform와 같은 함수를 사용하여 명령줄에서 플로팅합니다.

신경망을 훈련시킬 때마다 임의의 초기 가중치와 편향 값이 달라지고 데이터를 훈련 세트, 검증 세트, 테스트 세트로 분할하는 것이 달라지므로 해가 다를 수 있습니다. 그 결과, 같은 문제에 대해 훈련받은 여러 신경망이 같은 입력에 대해 서로 다른 출력값을 제공할 수 있습니다. 정확도가 양호한 신경망을 발견한 것인지 확인하려면 여러 번 다시 훈련시키십시오.

더 높은 정확도를 원하는 경우 초기 해를 개선하기 위한 몇 가지 다른 기법이 있습니다. 자세한 내용은 얕은 신경망 일반화를 개선하고 과적합 방지하기 항목을 참조하십시오.

참고 항목

신경망 피팅 | 신경망 시계열 | 신경망 패턴 인식 | 신경망 군집화 | train | preparets | narxnet | closeloop | perform | removedelay

관련 항목

• 얕은 신경망으로 데이터 피팅
• 얕은 신경망을 사용한 패턴 인식
• 자기 조직화 맵으로 데이터 군집화하기
• 딥러닝을 사용한 시계열 전망
• 딥러닝을 사용한 시퀀스 분류