이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.
lstmLayer
장단기 기억(LSTM) 계층
설명
LSTM 계층은 시계열 및 시퀀스 데이터에서 시간 스텝 간의 장기 종속성을 학습합니다.
이 계층은 부가 상호 작용을 수행하는데, 이는 훈련 중에 긴 시퀀스에 대한 기울기 흐름을 개선하는 데 도움이 될 수 있습니다.
생성
구문
layer = lstmLayer(numHiddenUnits)layer = lstmLayer(numHiddenUnits,Name,Value)설명
layer = lstmLayer(numHiddenUnits)NumHiddenUnits 속성을 설정합니다.
layer = lstmLayer(numHiddenUnits,Name,Value)Name, OutputMode, 활성화, 학습률과 L2 인자 속성을 설정합니다. 여러 개의 이름-값 쌍 인수를 지정할 수 있습니다. 각 속성 이름을 따옴표로 묶습니다.
속성
예제
LSTM 계층 만들기
이름이 'lstm1'이고 100개의 은닉 유닛을 갖는 LSTM 계층을 만듭니다.
layer = lstmLayer(100,'Name','lstm1')
layer =
LSTMLayer with properties:
Name: 'lstm1'
Hyperparameters
InputSize: 'auto'
NumHiddenUnits: 100
OutputMode: 'sequence'
StateActivationFunction: 'tanh'
GateActivationFunction: 'sigmoid'
Learnable Parameters
InputWeights: []
RecurrentWeights: []
Bias: []
State Parameters
HiddenState: []
CellState: []
Show all properties
Layer 배열에 LSTM 계층을 포함시킵니다.
inputSize = 12;
numHiddenUnits = 100;
numClasses = 9;
layers = [ ...
sequenceInputLayer(inputSize)
lstmLayer(numHiddenUnits)
fullyConnectedLayer(numClasses)
softmaxLayer
classificationLayer]layers =
5x1 Layer array with layers:
1 '' Sequence Input Sequence input with 12 dimensions
2 '' LSTM LSTM with 100 hidden units
3 '' Fully Connected 9 fully connected layer
4 '' Softmax softmax
5 '' Classification Output crossentropyex
시퀀스 분류를 위해 네트워크 훈련시키기
Sequence-to-label 분류를 위해 심층 학습 LSTM 네트워크를 훈련시킵니다.
[1]과 [2]에서 설명한 Japanese Vowels 데이터 세트를 불러옵니다. XTrain은 특징 차원이 12이고 다양한 길이의 시퀀스 270개로 구성된 셀형 배열입니다. Y는 레이블 1,2,...,9로 구성된 categorical형 벡터입니다. XTrain의 요소는 각 특징에 대해 하나의 행을 갖는 12개의 행과 각 시간 스텝에 대해 하나의 열을 갖는 가변 개수의 열로 이루어진 행렬입니다.
[XTrain,YTrain] = japaneseVowelsTrainData;
첫 번째 시계열을 플롯으로 시각화합니다. 선은 각각 하나의 특징에 대응됩니다.
figure
plot(XTrain{1}')
title("Training Observation 1")
numFeatures = size(XTrain{1},1);
legend("Feature " + string(1:numFeatures),'Location','northeastoutside')
LSTM 네트워크 아키텍처를 정의합니다. 입력 크기를 12(입력 데이터의 특징 개수)로 지정합니다. 은닉 유닛 100개를 포함하고 시퀀스의 마지막 요소를 출력하는 LSTM 계층을 지정합니다. 마지막으로, 크기가 9인 완전 연결 계층을 포함하여 9개의 클래스를 지정하고, 이어서 소프트맥스 계층과 분류 계층을 지정합니다.
inputSize = 12; numHiddenUnits = 100; numClasses = 9; layers = [ ... sequenceInputLayer(inputSize) lstmLayer(numHiddenUnits,'OutputMode','last') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]
layers =
5x1 Layer array with layers:
1 '' Sequence Input Sequence input with 12 dimensions
2 '' LSTM LSTM with 100 hidden units
3 '' Fully Connected 9 fully connected layer
4 '' Softmax softmax
5 '' Classification Output crossentropyex
훈련 옵션을 지정합니다. 솔버를 'adam'으로 지정하고 'GradientThreshold'를 1로 지정합니다. 미니 배치의 크기를 27로 설정하고 최대 Epoch 횟수를 100으로 설정합니다.
미니 배치는 짧은 시퀀스로 구성된 크기가 작은 배치이므로 훈련에는 CPU가 더 적절합니다. 'ExecutionEnvironment'를 'cpu'로 설정합니다. GPU를 사용할 수 있는 경우 GPU에서 훈련시키려면 'ExecutionEnvironment'를 'auto'(디폴트 값)로 설정하십시오.
maxEpochs = 100; miniBatchSize = 27; options = trainingOptions('adam', ... 'ExecutionEnvironment','cpu', ... 'MaxEpochs',maxEpochs, ... 'MiniBatchSize',miniBatchSize, ... 'GradientThreshold',1, ... 'Verbose',false, ... 'Plots','training-progress');
지정된 훈련 옵션으로 LSTM 네트워크를 훈련시킵니다.
net = trainNetwork(XTrain,YTrain,layers,options);
테스트 세트를 불러오고 시퀀스를 화자별로 분류합니다.
[XTest,YTest] = japaneseVowelsTestData;
테스트 데이터를 분류합니다. 훈련에 사용된 것과 동일하게 미니 배치 크기를 지정합니다.
YPred = classify(net,XTest,'MiniBatchSize',miniBatchSize);예측의 분류 정확도를 계산합니다.
acc = sum(YPred == YTest)./numel(YTest)
acc = 0.9270
분류 LSTM 네트워크
sequence-to-label 분류를 위한 LSTM 네트워크를 만들려면 시퀀스 입력 계층, LSTM 계층, 완전 연결 계층, 소프트맥스 계층, 분류 출력 계층을 포함하는 계층 배열을 만듭니다.
시퀀스 입력 계층의 크기가 입력 데이터의 특징 개수가 되도록 지정합니다. 완전 연결 계층의 크기가 클래스 개수가 되도록 지정합니다. 시퀀스 길이는 지정할 필요가 없습니다.
LSTM 계층의 경우, 은닉 유닛의 개수와 출력 모드 'last'를 지정합니다.
numFeatures = 12; numHiddenUnits = 100; numClasses = 9; layers = [ ... sequenceInputLayer(numFeatures) lstmLayer(numHiddenUnits,'OutputMode','last') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer];
sequence-to-label 분류를 위한 LSTM 네트워크를 훈련시키고 새 데이터를 분류하는 방법을 보여주는 예제는 심층 학습을 사용한 시퀀스 분류 항목을 참조하십시오.
sequence-to-sequence 분류를 위한 LSTM 네트워크를 만들려면 sequence-to-label 분류와 동일한 아키텍처를 사용하되 LSTM 계층의 출력 모드를 'sequence'로 설정합니다.
numFeatures = 12; numHiddenUnits = 100; numClasses = 9; layers = [ ... sequenceInputLayer(numFeatures) lstmLayer(numHiddenUnits,'OutputMode','sequence') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer];
회귀 LSTM 네트워크
sequence-to-one 회귀를 위한 LSTM 네트워크를 만들려면 시퀀스 입력 계층, LSTM 계층, 완전 연결 계층, 회귀 출력 계층을 포함하는 계층 배열을 만듭니다.
시퀀스 입력 계층의 크기가 입력 데이터의 특징 개수가 되도록 지정합니다. 완전 연결 계층의 크기가 응답 변수의 개수가 되도록 지정합니다. 시퀀스 길이는 지정할 필요가 없습니다.
LSTM 계층의 경우, 은닉 유닛의 개수와 출력 모드 'last'를 지정합니다.
numFeatures = 12; numHiddenUnits = 125; numResponses = 1; layers = [ ... sequenceInputLayer(numFeatures) lstmLayer(numHiddenUnits,'OutputMode','last') fullyConnectedLayer(numResponses) regressionLayer];
sequence-to-sequence 회귀를 위한 LSTM 네트워크를 만들려면 sequence-to-one 회귀와 동일한 아키텍처를 사용하되 LSTM 계층의 출력 모드를 'sequence'로 설정합니다.
numFeatures = 12; numHiddenUnits = 125; numResponses = 1; layers = [ ... sequenceInputLayer(numFeatures) lstmLayer(numHiddenUnits,'OutputMode','sequence') fullyConnectedLayer(numResponses) regressionLayer];
sequence-to-sequence 회귀를 위한 LSTM 네트워크를 훈련시키고 새 데이터에 대해 예측하는 방법을 보여주는 예제는 심층 학습을 사용한 sequence-to-sequence 회귀 항목을 참조하십시오.
심층 LSTM 네트워크
LSTM 계층 앞에 출력 모드가 'sequence'인 LSTM 계층을 추가로 삽입하여 LSTM 네트워크의 심도를 높일 수 있습니다.
sequence-to-label 분류 네트워크의 경우, 마지막 LSTM 계층의 출력 모드가 'last'가 되어야 합니다.
numFeatures = 12; numHiddenUnits1 = 125; numHiddenUnits2 = 100; numClasses = 9; layers = [ ... sequenceInputLayer(numFeatures) lstmLayer(numHiddenUnits1,'OutputMode','sequence') lstmLayer(numHiddenUnits2,'OutputMode','last') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer];
sequence-to-sequence 분류 네트워크의 경우, 마지막 LSTM 계층의 출력 모드가 'sequence'가 되어야 합니다.
numFeatures = 12; numHiddenUnits1 = 125; numHiddenUnits2 = 100; numClasses = 9; layers = [ ... sequenceInputLayer(numFeatures) lstmLayer(numHiddenUnits1,'OutputMode','sequence') lstmLayer(numHiddenUnits2,'OutputMode','sequence') fullyConnectedLayer(numClasses) softmaxLayer classificationLayer];
세부 정보
장단기 기억 계층
LSTM 계층은 시계열 및 시퀀스 데이터에서 시간 스텝 간의 장기 종속성을 학습합니다.
계층의 상태는 은닉 상태(출력 상태)와 셀 상태로 구성됩니다. 시간 스텝 t에서의 은닉 상태는 이 시간 스텝에 대한 LSTM 계층의 출력값을 포함합니다. 셀 상태는 이전 시간 스텝에서 학습한 정보를 포함합니다. 이 계층은 각 시간 스텝에서 셀 상태에 정보를 추가하거나 셀 상태로부터 정보를 제거하는데, 이러한 업데이트는 계층이 게이트를 사용하여 제어합니다.
다음 표는 계층의 셀 상태와 은닉 상태를 제어하는 구성요소를 보여줍니다.
| 구성요소 | 목적 |
|---|---|
| 입력 게이트(i) | 셀 상태 업데이트의 수준 제어 |
| 망각 게이트(f) | 셀 상태 재설정(망각)의 수준 제어 |
| 셀 후보(g) | 셀 상태에 정보 추가 |
| 출력 게이트(o) | 은닉 상태에 추가되는 셀 상태의 수준 제어 |
다음 도식은 시간 스텝 t에서의 데이터 흐름을 보여줍니다. 이 도식은 게이트가 셀 상태와 은닉 상태를 망각, 업데이트, 출력하는 방식을 보여줍니다.
LSTM 계층의 학습 가능한 가중치는 입력 가중치W(InputWeights), 순환 가중치R(RecurrentWeights), 편향b(Bias)입니다. 행렬 W, R, b는 각각 각 구성요소의 입력 가중치 결합, 순환 가중치 결합, 편향 결합입니다. 이러한 행렬은 다음과 같이 결합됩니다.
여기서 i, f, g, o는 입력 게이트, 망각 게이트, 셀 후보, 출력 게이트를 나타냅니다.
시간 스텝 t에서의 셀 상태는 다음과 같이 표현됩니다.
여기서 는 아다마르 곱(벡터의 요소별 곱셈)을 나타냅니다.
시간 스텝 t에서의 은닉 상태는 다음과 같이 표현됩니다.
여기서 는 상태 활성화 함수를 나타냅니다. lstmLayer 함수는 기본적으로 쌍곡탄젠트 함수(tanh)를 상태 활성화 함수로 사용합니다.
다음 표는 시간 스텝 t에서의 각 구성요소에 대한 식을 보여줍니다.
| 구성요소 | 식 |
|---|---|
| 입력 게이트 | |
| 망각 게이트 | |
| 셀 후보 | |
| 출력 게이트 |
위 식에서 는 게이트 활성화 함수를 나타냅니다. lstmLayer 함수는 기본적으로 으로 표현되는 시그모이드 함수를 게이트 활성화 함수로 사용합니다.
참고 문헌
[1] M. Kudo, J. Toyama, and M. Shimbo. "Multidimensional Curve Classification Using Passing-Through Regions." Pattern Recognition Letters. Vol. 20, No. 11–13, pages 1103–1111.
[2] UCI Machine Learning Repository: Japanese Vowels Dataset. https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels
[3] Hochreiter, S, and J. Schmidhuber, 1997. Long short-term memory. Neural computation, 9(8), pp.1735–1780.
