lstmLayer

장단기 기억(LSTM) 계층

설명

LSTM 계층은 시계열 및 시퀀스 데이터에서 시간 스텝 간의 장기 종속성을 학습합니다.

이 계층은 부가 상호 작용을 수행하는데, 이는 훈련 중에 긴 시퀀스에 대한 기울기 흐름을 개선하는 데 도움이 될 수 있습니다.

생성

구문

layer = lstmLayer(numHiddenUnits)

layer = lstmLayer(numHiddenUnits,Name,Value)

설명

layer = lstmLayer(numHiddenUnits)는 LSTM 계층을 만들고 NumHiddenUnits 속성을 설정합니다.

layer = lstmLayer(numHiddenUnits,Name,Value)는 하나 이상의 이름-값 쌍의 인수를 사용하여 추가로 OutputMode, 활성화, 상태, 파라미터 및 초기화, 학습률 및 정규화, Name 속성을 설정합니다. 여러 개의 이름-값 쌍 인수를 지정할 수 있습니다. 각 속성 이름을 따옴표로 묶습니다.

속성

LSTM

NumHiddenUnits — 은닉 유닛의 개수

양의 정수

이 속성은 읽기 전용입니다.

은닉 유닛의 개수(은닉 크기라고도 함)로, 양의 정수로 지정됩니다.

은닉 유닛의 개수는 각 시간 스텝 사이에(은닉 상태) 기억된 정보의 양에 대응됩니다. 은닉 상태는 시퀀스 길이와 관계없이 모든 이전 시간 스텝의 정보를 포함할 수 있습니다. 은닉 유닛의 길이가 너무 길면 계층이 훈련 데이터에 과적합될 수 있습니다. 이 값은 몇 십에서 몇 천 사이일 수 있습니다.

은닉 상태는 한 회의 반복에서 처리되는 시간 스텝의 개수를 제한하지 않습니다. trainNetwork 함수를 사용할 경우 시퀀스를 더 작은 크기의 시퀀스로 분할하려면 SequenceLength 훈련 옵션을 사용하십시오.

이 계층은 NumHiddenUnits개의 채널을 갖는 데이터를 출력합니다.

데이터형: single | double | int8 | int16 | int32 | int64 | uint8 | uint16 | uint32 | uint64

OutputMode — 출력 모드

'sequence' (디폴트 값) | 'last'

이 속성은 읽기 전용입니다.

출력 모드로, 다음 중 하나로 지정됩니다.

• 'sequence' – 전체 시퀀스를 출력합니다.

• 'last' – 시퀀스의 마지막 시간 스텝을 출력합니다.

HasStateInputs — 상태 입력을 계층에 연결하는 플래그

0(false) (디폴트 값) | 1(true)

이 속성은 읽기 전용입니다.

계층에 대한 상태 입력값의 플래그로, 0(false) 또는 1(true)로 지정됩니다.

HasStateInputs 속성이 0(false)이면 계층은 이름이 'in'인 하나의 입력값을 갖습니다. 이 입력값은 입력 데이터에 대응합니다. 이 경우 계층은 계층 연산에 HiddenState 속성과 CellState 속성을 사용합니다.

HasStateInputs 속성이 1(true)이면 계층은 이름이 'in', 'hidden', 'cell'인 세 개의 입력값을 갖습니다. 이러한 입력값은 각각 입력 데이터, 은닉 상태, 셀 상태에 대응합니다. 이 경우 계층은 이러한 입력값에 전달된 값을 계층 연산에 사용합니다. HasStateInputs가 1(true)이면 HiddenState 속성과 CellState 속성은 비어 있어야 합니다.

HasStateOutputs — 계층의 상태 출력값에 대한 플래그

0(false) (디폴트 값) | 1(true)

이 속성은 읽기 전용입니다.

계층의 상태 출력값에 대한 플래그로, 0(false) 또는 1(true)로 지정됩니다.

HasStateOutputs 속성이 0(false)이면 계층은 이름이 'out'인 하나의 출력값을 갖습니다. 이 값은 출력 데이터에 대응합니다.

HasStateOutputs 속성이 1(true)이면 계층은 이름이 'out', 'hidden', 'cell'인 세 개의 출력값을 갖습니다. 이러한 출력값은 각각 출력 데이터, 은닉 상태, 셀 상태에 대응합니다. 이 경우 계층은 계층 연산 동안 계산된 상태 값도 출력합니다.

InputSize — 입력 크기

'auto' (디폴트 값) | 양의 정수

이 속성은 읽기 전용입니다.

입력 크기로, 양의 정수 또는 'auto'로 지정됩니다. InputSize가 'auto'이면, 훈련 시점에 자동으로 입력 크기가 할당됩니다.

데이터형: double | char

활성화

StateActivationFunction — 셀과 은닉 상태를 업데이트하는 활성화 함수

'tanh' (디폴트 값) | 'softsign'

이 속성은 읽기 전용입니다.

셀과 은닉 상태를 업데이트하는 활성화 함수로, 다음 중 하나로 지정됩니다.

• 'tanh' – 쌍곡탄젠트 함수(tanh)를 사용합니다.

• 'softsign' – 소프트사인 함수 $$\text{softsign}(x)=\frac{x}{1+\left|x\right|}$$를 사용합니다.

이 계층은 셀과 은닉 상태를 업데이트하는 계산에서 이 옵션을 함수 $${\sigma }_c$$로 사용합니다. LSTM 계층에서 활성화 함수가 사용되는 방식에 대한 자세한 내용은 장단기 기억 계층 항목을 참조하십시오.

GateActivationFunction — 게이트에 적용할 활성화 함수

'sigmoid' (디폴트 값) | 'hard-sigmoid'

이 속성은 읽기 전용입니다.

게이트에 적용할 활성화 함수로, 다음 중 하나로 지정됩니다.

• 'sigmoid' – 시그모이드 함수 $$\sigma (x)={(1+e^{-x})}^{-1}$$을 사용합니다.

• 'hard-sigmoid' – 다음과 같은 하드 시그모이드 함수를 사용합니다.

  $$\sigma (x)=\{\begin{array}{cc}\begin{array}{l}0\hfill \\ 0.2x+0.5\hfill \\ 1\hfill \end{array}& \begin{array}{l}\text{if }x<-2.5\hfill \\ \text{if}-2.5\le x\le 2.5\hfill \\ \text{if }x>2.5\hfill \end{array}\end{array}.$$

이 계층은 계층 게이트 계산에서 이 옵션을 함수 $${\sigma }_g$$로 사용합니다.

상태

CellState — 셀 상태

[] (디폴트 값) | 숫자형 벡터

계층에서 사용할 셀 상태로, NumHiddenUnits×1 숫자형 벡터로 지정됩니다. 이 값은 데이터가 계층에 전달될 때의 초기 셀 상태에 해당합니다.

이 속성을 수동으로 설정한 후에 resetState 함수를 호출하면 셀 상태가 이 초기값으로 설정됩니다.

HasStateInputs가 true이면, CellState 속성은 비어 있어야 합니다.

데이터형: single | double

HiddenState — 은닉 상태

[] (디폴트 값) | 숫자형 벡터

계층 연산에 사용할 은닉 상태로, NumHiddenUnits×1 숫자형 벡터로 지정됩니다. 이 값은 데이터가 계층에 전달될 때의 초기 은닉 상태에 해당합니다.

이 속성을 수동으로 설정한 후에 resetState 함수를 호출하면 은닉 상태가 이 값으로 설정됩니다.

HasStateInputs가 true이면, HiddenState 속성은 비어 있어야 합니다.

데이터형: single | double

파라미터 및 초기화

InputWeightsInitializer — 입력 가중치를 초기화하는 함수

'glorot' (디폴트 값) | 'he' | 'orthogonal' | 'narrow-normal' | 'zeros' | 'ones' | 함수 핸들

입력 가중치를 초기화하는 함수로, 다음 중 하나로 지정됩니다.

• 'glorot' – Glorot 이니셜라이저[4](Xavier 이니셜라이저라고도 함)를 사용하여 입력 가중치를 초기화합니다. Glorot 이니셜라이저는 평균이 0이고 분산이 2/(InputSize + numOut)인 균등분포에서 독립적으로 샘플링합니다. 여기서 numOut = 4*NumHiddenUnits입니다.

• 'he' – He 이니셜라이저[5]를 사용하여 입력 가중치를 초기화합니다. He 이니셜라이저는 평균이 0이고 분산이 2/InputSize인 정규분포에서 샘플링합니다.

• 'orthogonal' – 단위 정규분포에서 샘플링된 확률 행렬 Z에 대한 Z = QR의 QR 분해로 주어지는 직교 행렬 Q를 사용하여 입력 가중치를 초기화합니다[6].

• 'narrow-normal' – 평균이 0이고 표준편차가 0.01인 정규분포에서 독립적으로 샘플링하여 입력 가중치를 초기화합니다.

• 'zeros' – 입력 가중치를 0으로 초기화합니다.

• 'ones' – 입력 가중치를 1로 초기화합니다.

• 함수 핸들 – 사용자 지정 함수를 사용하여 입력 가중치를 초기화합니다. 함수 핸들을 지정할 경우, 함수는 weights = func(sz) 형식이 되어야 합니다. 여기서 sz는 입력 가중치의 크기입니다.

계층은 InputWeights 속성이 비어 있는 경우에만 입력 가중치를 초기화합니다.

데이터형: char | string | function_handle

RecurrentWeightsInitializer — 순환 가중치를 초기화하는 함수

'orthogonal' (디폴트 값) | 'glorot' | 'he' | 'narrow-normal' | 'zeros' | 'ones' | 함수 핸들

순환 가중치를 초기화하는 함수로, 다음 중 하나로 지정됩니다.

• 'orthogonal' – 단위 정규분포에서 샘플링된 확률 행렬 Z에 대한 Z = QR의 QR 분해로 주어지는 직교 행렬 Q를 사용하여 순환 가중치를 초기화합니다[6].

• 'glorot' – Glorot 이니셜라이저[4](Xavier 이니셜라이저라고도 함)를 사용하여 순환 가중치를 초기화합니다. Glorot 이니셜라이저는 평균이 0이고 분산이 2/(numIn + numOut)인 균등분포에서 독립적으로 샘플링합니다. 여기서 numIn = NumHiddenUnits이고 numOut = 4*NumHiddenUnits입니다.

• 'he' – He 이니셜라이저[5]를 사용하여 순환 가중치를 초기화합니다. He 이니셜라이저는 평균이 0이고 분산이 2/NumHiddenUnits인 정규분포에서 샘플링합니다.

• 'narrow-normal' – 평균이 0이고 표준편차가 0.01인 정규분포에서 독립적으로 샘플링하여 순환 가중치를 초기화합니다.

• 'zeros' – 순환 가중치를 0으로 초기화합니다.

• 'ones' – 순환 가중치를 1로 초기화합니다.

• 함수 핸들 – 사용자 지정 함수를 사용하여 순환 가중치를 초기화합니다. 함수 핸들을 지정할 경우, 함수는 weights = func(sz) 형식이 되어야 합니다. 여기서 sz는 순환 가중치의 크기입니다.

계층은 RecurrentWeights 속성이 비어 있는 경우에만 순환 가중치를 초기화합니다.

데이터형: char | string | function_handle

BiasInitializer — 편향을 초기화하는 함수

'unit-forget-gate' (디폴트 값) | 'narrow-normal' | 'ones' | 함수 핸들

편향을 초기화하는 함수로, 다음 중 하나로 지정됩니다.

• 'unit-forget-gate' – 망각 게이트 편향을 1로, 나머지 편향을 0으로 초기화합니다.

• 'narrow-normal' – 평균이 0이고 표준편차가 0.01인 정규분포에서 독립적으로 샘플링하여 편향을 초기화합니다.

• 'ones' – 편향을 1로 초기화합니다.

• 함수 핸들 – 사용자 지정 함수를 사용하여 편향을 초기화합니다. 함수 핸들을 지정할 경우, 함수는 bias = func(sz) 형식이 되어야 합니다. 여기서 sz는 편향의 크기입니다.

계층은 Bias 속성이 비어 있는 경우에만 편향을 초기화합니다.

데이터형: char | string | function_handle

InputWeights — 입력 가중치

[] (디폴트 값) | 행렬

입력 가중치로, 행렬로 지정됩니다.

입력 가중치 행렬은 LSTM 계층의 구성요소(게이트)에 대한 4개의 입력 가중치 행렬을 결합한 것입니다. 4개의 행렬은 다음과 같은 순서로 세로로 결합됩니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

입력 가중치는 학습 가능한 파라미터입니다. 신경망을 훈련시킬 때 InputWeights가 비어 있지 않으면 trainNetwork는 InputWeights 속성을 초기값으로 사용합니다. InputWeights가 비어 있으면 trainNetwork는 InputWeightsInitializer로 지정된 이니셜라이저를 사용합니다.

훈련 시점에 InputWeights는 4*NumHiddenUnits×InputSize 행렬입니다.

RecurrentWeights — 순환 가중치

[] (디폴트 값) | 행렬

순환 가중치로, 행렬로 지정됩니다.

순환 가중치 행렬은 LSTM 계층의 구성요소(게이트)에 대한 4개의 순환 가중치 행렬을 결합한 것입니다. 4개의 행렬은 다음과 같은 순서로 세로로 결합됩니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

순환 가중치는 학습 가능한 파라미터입니다. 신경망을 훈련시킬 때 RecurrentWeights가 비어 있지 않으면 trainNetwork는 RecurrentWeights 속성을 초기값으로 사용합니다. RecurrentWeights가 비어 있으면 trainNetwork는 RecurrentWeightsInitializer로 지정된 이니셜라이저를 사용합니다.

훈련 시점에 RecurrentWeights는 4*NumHiddenUnits×NumHiddenUnits 행렬입니다.

Bias — 계층 편향

[] (디폴트 값) | 숫자형 벡터

계층 편향으로, 숫자형 벡터로 지정됩니다.

편향 벡터는 계층의 구성요소(게이트)에 대한 4개의 편향 벡터를 결합한 것입니다. 4개의 벡터는 다음과 같은 순서로 세로로 결합됩니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

계층 편향은 학습 가능한 파라미터입니다. 신경망을 훈련시킬 때 Bias가 비어 있지 않으면 trainNetwork는 Bias 속성을 초기값으로 사용합니다. Bias가 비어 있으면 trainNetwork는 BiasInitializer로 지정된 이니셜라이저를 사용합니다.

훈련 시점에 Bias는 4*NumHiddenUnits×1 숫자형 벡터입니다.

학습률 및 정규화

InputWeightsLearnRateFactor — 입력 가중치에 대한 학습률 인자

1 (디폴트 값) | 음이 아닌 스칼라 | 1×4 숫자형 벡터

입력 가중치에 대한 학습률 인자로, 음이 아닌 스칼라 또는 1×4 숫자형 벡터로 지정됩니다.

이 인자에 전역 학습률을 곱하여 계층의 입력 가중치에 대한 학습률 인자가 결정됩니다. 예를 들어, InputWeightsLearnRateFactor가 2인 경우, 계층의 입력 가중치에 대한 학습률 인자는 현재 전역 학습률의 2배입니다. 소프트웨어는 trainingOptions 함수로 지정된 설정을 기준으로 전역 학습률을 결정합니다.

InputWeights에 있는 4개의 개별 행렬에 대한 학습률 인자 값을 제어하려면 1×4 벡터를 지정하십시오. InputWeightsLearnRateFactor의 요소는 다음과 같은 게이트의 학습률 인자에 해당합니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1]

RecurrentWeightsLearnRateFactor — 순환 가중치에 대한 학습률 인자

1 (디폴트 값) | 음이 아닌 스칼라 | 1×4 숫자형 벡터

순환 가중치에 대한 학습률 인자로, 음이 아닌 스칼라 또는 1×4 숫자형 벡터로 지정됩니다.

이 인자에 전역 학습률을 곱하여 계층의 순환 가중치에 대한 학습률이 결정됩니다. 예를 들어, RecurrentWeightsLearnRateFactor가 2인 경우, 계층의 순환 가중치에 대한 학습률은 현재 전역 학습률의 2배입니다. 소프트웨어는 trainingOptions 함수로 지정된 설정을 기준으로 전역 학습률을 결정합니다.

RecurrentWeights에 있는 4개의 개별 행렬에 대한 학습률 인자 값을 제어하려면 1×4 벡터를 지정하십시오. RecurrentWeightsLearnRateFactor의 요소는 다음과 같은 게이트의 학습률 인자에 해당합니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1]

BiasLearnRateFactor — 편향에 대한 학습률 인자

1 (디폴트 값) | 음이 아닌 스칼라 | 1×4 숫자형 벡터

편향에 대한 학습률 인자로, 음이 아닌 스칼라 또는 1×4 숫자형 벡터로 지정됩니다.

이 인자에 전역 학습률을 곱하여 이 계층의 편향에 대한 학습률이 결정됩니다. 예를 들어, BiasLearnRateFactor가 2인 경우, 이 계층의 편향에 대한 학습률은 현재 전역 학습률의 2배입니다. trainingOptions 함수를 사용하여 지정한 설정을 기반으로 전역 학습률이 결정됩니다.

Bias에 있는 4개의 개별 벡터에 대한 학습률 인자 값을 제어하려면 1×4 벡터를 지정하십시오. BiasLearnRateFactor의 요소는 다음과 같은 게이트의 학습률 인자에 해당합니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

모든 벡터에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1]

InputWeightsL2Factor — 입력 가중치에 대한 L2 정규화 인자

1 (디폴트 값) | 음이 아닌 스칼라 | 1×4 숫자형 벡터

입력 가중치에 대한 L2 정규화 인자로, 음이 아닌 스칼라 또는 1×4 숫자형 벡터로 지정됩니다.

이 인자에 전역 L2 정규화 인자를 곱하여 계층의 입력 가중치에 대한 L2 정규화 인자가 결정됩니다. 예를 들어, InputWeightsL2Factor가 2인 경우, 계층의 입력 가중치에 대한 L2 정규화 인자는 현재 전역 L2 정규화 인자의 2배입니다. trainingOptions 함수로 지정된 설정을 기준으로 L2 정규화 인자가 결정됩니다.

InputWeights에 있는 4개의 개별 행렬에 대한 L2 정규화 인자 값을 제어하려면 1×4 벡터를 지정하십시오. InputWeightsL2Factor의 요소는 다음과 같은 게이트의 L2 정규화 인자에 해당합니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1]

RecurrentWeightsL2Factor — 순환 가중치에 대한 L2 정규화 인자

1 (디폴트 값) | 음이 아닌 스칼라 | 1×4 숫자형 벡터

순환 가중치에 대한 L2 정규화 인자로, 음이 아닌 스칼라 또는 1×4 숫자형 벡터로 지정됩니다.

이 인자에 전역 L2 정규화 인자를 곱하여 계층의 순환 가중치에 대한 L2 정규화 인자가 결정됩니다. 예를 들어, RecurrentWeightsL2Factor가 2인 경우, 계층의 순환 가중치에 대한 L2 정규화 인자는 현재 전역 L2 정규화 인자의 2배입니다. trainingOptions 함수로 지정된 설정을 기준으로 L2 정규화 인자가 결정됩니다.

RecurrentWeights에 있는 4개의 개별 행렬에 대한 L2 정규화 인자 값을 제어하려면 1×4 벡터를 지정하십시오. RecurrentWeightsL2Factor의 요소는 다음과 같은 게이트의 L2 정규화 인자에 해당합니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1]

BiasL2Factor — 편향에 대한 L2 정규화 인자

0 (디폴트 값) | 음이 아닌 스칼라 | 1×4 숫자형 벡터

편향에 대한 L2 정규화 인자로, 음이 아닌 스칼라 또는 1×4 숫자형 벡터로 지정됩니다.

이 인자에 전역 L₂ 정규화 인자를 곱하여 이 계층의 편향에 대한 L₂ 정규화가 결정됩니다. 예를 들어, BiasL2Factor가 2인 경우, 이 계층의 편향에 대한 L₂ 정규화는 전역 L₂ 정규화 인자의 2배입니다. 전역 L₂ 정규화 인자는 trainingOptions 함수를 사용하여 지정할 수 있습니다.

Bias에 있는 4개의 개별 벡터에 대한 L2 정규화 인자 값을 제어하려면 1×4 벡터를 지정하십시오. BiasL2Factor의 요소는 다음과 같은 게이트의 L2 정규화 인자에 해당합니다.

1. 입력 게이트

2. 망각 게이트

3. 셀 후보

4. 출력 게이트

모든 벡터에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1]

계층

Name — 계층 이름

'' (디폴트 값) | 문자형 벡터 | string형 스칼라

계층 이름으로, 문자형 벡터 또는 string형 스칼라로 지정됩니다. Layer 배열 입력값에 대해 trainNetwork, assembleNetwork, layerGraph, dlnetwork 함수는 이름이 ''인 계층에 자동으로 이름을 할당합니다.

데이터형: char | string

NumInputs — 입력값의 개수

1 | 3

이 속성은 읽기 전용입니다.

계층의 입력값 개수.

HasStateInputs 속성이 0(false)이면 계층은 이름이 'in'인 하나의 입력값을 갖습니다. 이 입력값은 입력 데이터에 대응합니다. 이 경우 계층은 계층 연산에 HiddenState 속성과 CellState 속성을 사용합니다.

HasStateInputs 속성이 1(true)이면 계층은 이름이 'in', 'hidden', 'cell'인 세 개의 입력값을 갖습니다. 이러한 입력값은 각각 입력 데이터, 은닉 상태, 셀 상태에 대응합니다. 이 경우 계층은 이러한 입력값에 전달된 값을 계층 연산에 사용합니다. HasStateInputs가 1(true)이면 HiddenState 속성과 CellState 속성은 비어 있어야 합니다.

데이터형: double

InputNames — 입력값 이름

{'in'} | {'in','hidden','cell'}

이 속성은 읽기 전용입니다.

계층의 입력값 이름.

HasStateInputs 속성이 0(false)이면 계층은 이름이 'in'인 하나의 입력값을 갖습니다. 이 입력값은 입력 데이터에 대응합니다. 이 경우 계층은 계층 연산에 HiddenState 속성과 CellState 속성을 사용합니다.

HasStateInputs 속성이 1(true)이면 계층은 이름이 'in', 'hidden', 'cell'인 세 개의 입력값을 갖습니다. 이러한 입력값은 각각 입력 데이터, 은닉 상태, 셀 상태에 대응합니다. 이 경우 계층은 이러한 입력값에 전달된 값을 계층 연산에 사용합니다. HasStateInputs가 1(true)이면 HiddenState 속성과 CellState 속성은 비어 있어야 합니다.

NumOutputs — 출력값 개수

1 | 3

이 속성은 읽기 전용입니다.

계층의 출력값 개수.

HasStateOutputs 속성이 0(false)이면 계층은 이름이 'out'인 하나의 출력값을 갖습니다. 이 값은 출력 데이터에 대응합니다.

HasStateOutputs 속성이 1(true)이면 계층은 이름이 'out', 'hidden', 'cell'인 세 개의 출력값을 갖습니다. 이러한 출력값은 각각 출력 데이터, 은닉 상태, 셀 상태에 대응합니다. 이 경우 계층은 계층 연산 동안 계산된 상태 값도 출력합니다.

데이터형: double

OutputNames — 출력값 이름

{'out'} | {'out','hidden','cell'}

이 속성은 읽기 전용입니다.

계층의 출력값 이름.

HasStateOutputs 속성이 0(false)이면 계층은 이름이 'out'인 하나의 출력값을 갖습니다. 이 값은 출력 데이터에 대응합니다.

HasStateOutputs 속성이 1(true)이면 계층은 이름이 'out', 'hidden', 'cell'인 세 개의 출력값을 갖습니다. 이러한 출력값은 각각 출력 데이터, 은닉 상태, 셀 상태에 대응합니다. 이 경우 계층은 계층 연산 동안 계산된 상태 값도 출력합니다.

예제

LSTM 계층 만들기

이름이 'lstm1'이고 100개의 은닉 유닛을 갖는 LSTM 계층을 만듭니다.

layer = lstmLayer(100,'Name','lstm1')

layer = 
  LSTMLayer with properties:

                       Name: 'lstm1'
                 InputNames: {'in'}
                OutputNames: {'out'}
                  NumInputs: 1
                 NumOutputs: 1
             HasStateInputs: 0
            HasStateOutputs: 0

   Hyperparameters
                  InputSize: 'auto'
             NumHiddenUnits: 100
                 OutputMode: 'sequence'
    StateActivationFunction: 'tanh'
     GateActivationFunction: 'sigmoid'

   Learnable Parameters
               InputWeights: []
           RecurrentWeights: []
                       Bias: []

   State Parameters
                HiddenState: []
                  CellState: []

  Show all properties

Layer 배열에 LSTM 계층을 포함시킵니다.

inputSize = 12;
numHiddenUnits = 100;
numClasses = 9;

layers = [ ...
    sequenceInputLayer(inputSize)
    lstmLayer(numHiddenUnits)
    fullyConnectedLayer(numClasses)
    softmaxLayer
    classificationLayer]

layers = 
  5x1 Layer array with layers:

     1   ''   Sequence Input          Sequence input with 12 dimensions
     2   ''   LSTM                    LSTM with 100 hidden units
     3   ''   Fully Connected         9 fully connected layer
     4   ''   Softmax                 softmax
     5   ''   Classification Output   crossentropyex

시퀀스 분류를 위해 신경망 훈련시키기

Sequence-to-label 분류를 위해 딥러닝 LSTM 신경망을 훈련시킵니다.

[1]과 [2]에서 설명한 Japanese Vowels 데이터 세트를 불러옵니다. XTrain은 LPC 켑스트럼 계수에 대응되는 12개의 특징이 다양한 길이의 시퀀스 270개로 구성된 셀형 배열입니다. Y는 레이블 1,2,...,9로 구성된 categorical형 벡터입니다. XTrain의 요소는 각 특징에 대해 하나의 행을 갖는 12개의 행과 각 시간 스텝에 대해 하나의 열을 갖는 가변 개수의 열로 이루어진 행렬입니다.

[XTrain,YTrain] = japaneseVowelsTrainData;

첫 번째 시계열을 플롯으로 시각화합니다. 선은 각각 하나의 특징에 대응됩니다.

figure
plot(XTrain{1}')
title("Training Observation 1")
numFeatures = size(XTrain{1},1);
legend("Feature " + string(1:numFeatures),'Location','northeastoutside')

LSTM 신경망 아키텍처를 정의합니다. 입력 크기를 12(입력 데이터의 특징 개수)로 지정합니다. 은닉 유닛 100개를 포함하고 시퀀스의 마지막 요소를 출력하는 LSTM 계층을 지정합니다. 마지막으로, 크기가 9인 완전 연결 계층을 포함하여 9개의 클래스를 지정하고, 이어서 소프트맥스 계층과 분류 계층을 지정합니다.

inputSize = 12;
numHiddenUnits = 100;
numClasses = 9;

layers = [ ...
    sequenceInputLayer(inputSize)
    lstmLayer(numHiddenUnits,'OutputMode','last')
    fullyConnectedLayer(numClasses)
    softmaxLayer
    classificationLayer]

layers = 
  5x1 Layer array with layers:

     1   ''   Sequence Input          Sequence input with 12 dimensions
     2   ''   LSTM                    LSTM with 100 hidden units
     3   ''   Fully Connected         9 fully connected layer
     4   ''   Softmax                 softmax
     5   ''   Classification Output   crossentropyex

훈련 옵션을 지정합니다. 솔버를 'adam'으로 지정하고 'GradientThreshold'를 1로 지정합니다. 미니 배치의 크기를 27로 설정하고 최대 Epoch 횟수를 70으로 설정합니다.

미니 배치는 짧은 시퀀스로 구성된 크기가 작은 배치이므로 훈련에는 CPU가 더 적절합니다. 'ExecutionEnvironment'를 'cpu'로 설정합니다. GPU를 사용할 수 있는 경우 GPU에서 훈련시키려면 'ExecutionEnvironment'를 'auto'(디폴트 값)로 설정하십시오.

maxEpochs = 70;
miniBatchSize = 27;

options = trainingOptions('adam', ...
    'ExecutionEnvironment','cpu', ...
    'MaxEpochs',maxEpochs, ...
    'MiniBatchSize',miniBatchSize, ...
    'GradientThreshold',1, ...
    'Verbose',false, ...
    'Plots','training-progress');

지정된 훈련 옵션으로 LSTM 신경망을 훈련시킵니다.

net = trainNetwork(XTrain,YTrain,layers,options);

테스트 세트를 불러오고 시퀀스를 화자별로 분류합니다.

[XTest,YTest] = japaneseVowelsTestData;

테스트 데이터를 분류합니다. 훈련에 사용된 것과 동일하게 미니 배치 크기를 지정합니다.

YPred = classify(net,XTest,'MiniBatchSize',miniBatchSize);

예측의 분류 정확도를 계산합니다.

acc = sum(YPred == YTest)./numel(YTest)

acc = 0.9595

분류 LSTM 신경망

sequence-to-label 분류를 위한 LSTM 신경망을 만들려면 시퀀스 입력 계층, LSTM 계층, 완전 연결 계층, 소프트맥스 계층, 분류 출력 계층을 포함하는 계층 배열을 만듭니다.

시퀀스 입력 계층의 크기를 입력 데이터의 특징 개수로 설정합니다. 완전 연결 계층의 크기를 클래스 개수로 설정합니다. 시퀀스 길이는 지정할 필요가 없습니다.

LSTM 계층의 경우, 은닉 유닛의 개수와 출력 모드 'last'를 지정합니다.

numFeatures = 12;
numHiddenUnits = 100;
numClasses = 9;
layers = [ ...
    sequenceInputLayer(numFeatures)
    lstmLayer(numHiddenUnits,'OutputMode','last')
    fullyConnectedLayer(numClasses)
    softmaxLayer
    classificationLayer];

sequence-to-label 분류를 위한 LSTM 신경망을 훈련시키고 새 데이터를 분류하는 방법을 보여주는 예제는 딥러닝을 사용한 시퀀스 분류 항목을 참조하십시오.

sequence-to-sequence 분류를 위한 LSTM 신경망을 만들려면 sequence-to-label 분류와 동일한 아키텍처를 사용하되 LSTM 계층의 출력 모드를 'sequence'로 설정합니다.

numFeatures = 12;
numHiddenUnits = 100;
numClasses = 9;
layers = [ ...
    sequenceInputLayer(numFeatures)
    lstmLayer(numHiddenUnits,'OutputMode','sequence')
    fullyConnectedLayer(numClasses)
    softmaxLayer
    classificationLayer];

회귀 LSTM 신경망

sequence-to-one 회귀를 위한 LSTM 신경망을 만들려면 시퀀스 입력 계층, LSTM 계층, 완전 연결 계층, 회귀 출력 계층을 포함하는 계층 배열을 만듭니다.

시퀀스 입력 계층의 크기를 입력 데이터의 특징 개수로 설정합니다. 완전 연결 계층의 크기를 응답 변수의 개수로 설정합니다. 시퀀스 길이는 지정할 필요가 없습니다.

LSTM 계층의 경우, 은닉 유닛의 개수와 출력 모드 'last'를 지정합니다.

numFeatures = 12;
numHiddenUnits = 125;
numResponses = 1;

layers = [ ...
    sequenceInputLayer(numFeatures)
    lstmLayer(numHiddenUnits,'OutputMode','last')
    fullyConnectedLayer(numResponses)
    regressionLayer];

sequence-to-sequence 회귀를 위한 LSTM 신경망을 만들려면 sequence-to-one 회귀와 동일한 아키텍처를 사용하되 LSTM 계층의 출력 모드를 'sequence'로 설정합니다.

numFeatures = 12;
numHiddenUnits = 125;
numResponses = 1;

layers = [ ...
    sequenceInputLayer(numFeatures)
    lstmLayer(numHiddenUnits,'OutputMode','sequence')
    fullyConnectedLayer(numResponses)
    regressionLayer];

sequence-to-sequence 회귀를 위한 LSTM 신경망을 훈련시키고 새 데이터에 대해 예측하는 방법을 보여주는 예제는 딥러닝을 사용한 sequence-to-sequence 회귀 항목을 참조하십시오.

심층 LSTM 신경망

LSTM 계층 앞에 출력 모드가 'sequence'인 LSTM 계층을 추가로 삽입하여 LSTM 신경망의 심도를 높일 수 있습니다. 과적합을 방지하기 위해 LSTM 계층 뒤에 드롭아웃 계층을 삽입할 수 있습니다.

sequence-to-label 분류 신경망의 경우, 마지막 LSTM 계층의 출력 모드가 'last'가 되어야 합니다.

numFeatures = 12;
numHiddenUnits1 = 125;
numHiddenUnits2 = 100;
numClasses = 9;
layers = [ ...
    sequenceInputLayer(numFeatures)
    lstmLayer(numHiddenUnits1,'OutputMode','sequence')
    dropoutLayer(0.2)
    lstmLayer(numHiddenUnits2,'OutputMode','last')
    dropoutLayer(0.2)
    fullyConnectedLayer(numClasses)
    softmaxLayer
    classificationLayer];

sequence-to-sequence 분류 신경망의 경우, 마지막 LSTM 계층의 출력 모드가 'sequence'가 되어야 합니다.

numFeatures = 12;
numHiddenUnits1 = 125;
numHiddenUnits2 = 100;
numClasses = 9;
layers = [ ...
    sequenceInputLayer(numFeatures)
    lstmLayer(numHiddenUnits1,'OutputMode','sequence')
    dropoutLayer(0.2)
    lstmLayer(numHiddenUnits2,'OutputMode','sequence')
    dropoutLayer(0.2)
    fullyConnectedLayer(numClasses)
    softmaxLayer
    classificationLayer];

알고리즘

장단기 기억 계층

LSTM 계층은 시계열 및 시퀀스 데이터에서 시간 스텝 간의 장기 종속성을 학습합니다.

계층의 상태는 은닉 상태(출력 상태)와 셀 상태로 구성됩니다. 시간 스텝 t에서의 은닉 상태는 이 시간 스텝에 대한 LSTM 계층의 출력값을 포함합니다. 셀 상태는 이전 시간 스텝에서 학습한 정보를 포함합니다. 이 계층은 각 시간 스텝에서 셀 상태에 정보를 추가하거나 셀 상태로부터 정보를 제거합니다. 계층은 게이트를 사용하여 이러한 업데이트를 제어합니다.

다음 구성요소는 계층의 셀 상태와 은닉 상태를 제어합니다.

구성요소	목적
입력 게이트(i)	셀 상태 업데이트의 수준 제어
망각 게이트(f)	셀 상태 재설정(망각)의 수준 제어
셀 후보(g)	셀 상태에 정보 추가
출력 게이트(o)	은닉 상태에 추가되는 셀 상태의 수준 제어

다음 도식은 시간 스텝 t에서의 데이터 흐름을 보여줍니다. 이 도식은 게이트가 셀 상태와 은닉 상태를 망각, 업데이트, 출력하는 방식을 보여줍니다.

LSTM 계층의 학습 가능한 가중치는 입력 가중치 W(InputWeights), 순환 가중치 R(RecurrentWeights), 편향 b(Bias)입니다. 행렬 W, R, b는 각각 각 구성요소의 입력 가중치 결합, 순환 가중치 결합, 편향 결합입니다. 이러한 행렬은 다음과 같이 결합됩니다.

$$W=\left[\begin{array}{c}{W}_i\\ W_f\\ W_g\\ W_o\end{array}\right],R=\left[\begin{array}{c}{R}_i\\ R_f\\ R_g\\ R_o\end{array}\right],b=\left[\begin{array}{c}{b}_i\\ b_f\\ b_g\\ b_o\end{array}\right],$$

여기서 i, f, g, o는 입력 게이트, 망각 게이트, 셀 후보, 출력 게이트를 나타냅니다.

시간 스텝 t에서의 셀 상태는 다음과 같이 표현됩니다.

$$c_t=f_t\odot c_{t-1}+i_t\odot g_t,$$

여기서 $$\odot$$는 아다마르 곱(벡터의 요소별 곱셈)을 나타냅니다.

시간 스텝 t에서의 은닉 상태는 다음과 같이 표현됩니다.

$$h_t=o_t\odot {\sigma }_c(c_t),$$

여기서 $${\sigma }_c$$는 상태 활성화 함수를 나타냅니다. lstmLayer 함수는 기본적으로 쌍곡탄젠트 함수(tanh)를 사용하여 상태 활성화 함수를 계산합니다.

다음 수식은 시간 스텝 t에서의 구성요소를 설명합니다.

구성요소	식
입력 게이트	$$i_t={\sigma }_g(W_i{x}_t+\text{}{\text{R}}_i{h}_{t-1}+b_i)$$
망각 게이트	$$f_t={\sigma }_g(W_f{x}_t+\text{}{\text{R}}_f{h}_{t-1}+b_f)$$
셀 후보	$$g_t={\sigma }_c(W_g{x}_t+\text{}{\text{R}}_g{h}_{t-1}+b_g)$$
출력 게이트	$$o_t={\sigma }_g(W_o{x}_t+\text{}{\text{R}}_o{h}_{t-1}+b_o)$$

위 식에서 $${\sigma }_g$$는 게이트 활성화 함수를 나타냅니다. lstmLayer 함수는 기본적으로 $$\sigma (x)={(1+e^{-x})}^{-1}$$으로 표현되는 시그모이드 함수를 사용하여 게이트 활성화 함수를 계산합니다.

계층 입력 형식 및 출력 형식

계층 배열 또는 계층 그래프의 계층은 뒤에 오는 계층에 데이터를 전달할 때 형식이 지정된 dlarray 객체로 전달합니다. dlarray 객체의 형식은 문자들로 구성된 문자열로, 각 문자는 데이터의 대응되는 차원을 설명합니다. 형식은 다음 문자 중 하나 이상으로 구성됩니다.

• "S" — 공간

• "C" — 채널

• "B" — 배치

• "T" — 시간

• "U" — 지정되지 않음

4차원 배열로 표현된 2차원 영상 데이터를 예로 들면 처음 2개 차원은 영상의 공간 차원, 3번째 차원은 영상의 채널, 4번째 차원은 배치 차원에 대응되며, "SSCB"(공간, 공간, 채널, 배치) 형식으로 설명될 수 있습니다.

functionLayer 객체를 사용하여 사용자 지정 계층을 개발하거나, dlnetwork 객체에 forward 및 predict 함수를 사용할 때와 같은 자동 미분 워크플로에서 이러한 dlarray 객체와 상호 작용할 수 있습니다.

이 표는 LSTMLayer 객체의 지원되는 입력 형식과 그에 대응되는 출력 형식을 보여줍니다. 계층의 출력이 nnet.layer.Formattable 클래스를 상속하지 않는 사용자 지정 계층에 전달되거나 Formattable 옵션을 false로 설정한 FunctionLayer 객체에 전달될 경우 이 계층은 이 표에서 설명하는 형식에 대응하는 순서의 차원을 갖는, 형식이 지정되지 않은 dlarray 객체를 수신합니다.

입력 형식	OutputMode	출력 형식
'CB'(채널, 배치)	'sequence'	'CB'(채널, 배치)
	'last'
'CBT'(채널, 배치, 시간)	'sequence'	'CBT'(채널, 배치, 시간)
	'last'	'CB'(채널, 배치)

dlnetwork 객체에서 LSTMLayer 객체는 다음 입력 형식과 출력 형식의 결합도 지원합니다.

입력 형식	OutputMode	출력 형식
'SCB'(공간, 채널, 배치)	'sequence'	'CB'(채널, 배치)
	'last'
'SSCB'(공간, 공간, 채널)	'sequence'	'CB'(채널, 배치)
	'last'
'SSSCB'(공간, 공간, 공간, 채널)	'sequence'	'CB'(채널, 배치)
	'last'
'SCBT'(공간, 채널, 배치)	'sequence'	'CBT'(채널, 배치, 시간)
	'last'	'CB'(채널, 배치)
'SSCBT'(공간, 공간, 채널, 배치, 시간)	'sequence'	'CBT'(채널, 배치, 시간)
	'last'	'CB'(채널, 배치)
'SSSCBT'(공간, 공간, 공간, 채널, 배치, 시간)	'sequence'	'CBT'(채널, 배치, 시간)
	'last'	'CB'(채널, 배치)

trainNetwork 워크플로에서 이러한 입력 형식을 사용하려면 먼저 flattenLayer를 사용하여 데이터를 'CBT'(채널, 배치, 시간) 형식으로 변환하십시오.

HasStateInputs 속성이 1(true)이면, 계층은 이름이 'hidden', 'cell'인 두 개의 추가 입력값을 갖습니다. 이러한 입력값은 각각 은닉 상태와 셀 상태에 대응합니다. 이러한 추가 입력값은 입력 형식이 'CB'(채널, 배치)여야 합니다.

HasStateOutputs 속성이 1(true)이면, 계층은 이름이 'hidden', 'cell'인 두 개의 추가 출력값을 갖습니다. 이러한 출력값은 각각 은닉 상태와 셀 상태에 대응합니다. 이러한 추가 출력값의 출력 형식은 'CB'(채널, 배치)입니다.

참고 문헌

[1] M. Kudo, J. Toyama, and M. Shimbo. "Multidimensional Curve Classification Using Passing-Through Regions." Pattern Recognition Letters. Vol. 20, No. 11–13, pages 1103–1111.

[2] UCI Machine Learning Repository: Japanese Vowels Dataset. https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels

[3] Hochreiter, S, and J. Schmidhuber, 1997. Long short-term memory. Neural computation, 9(8), pp.1735–1780.

[4] Glorot, Xavier, and Yoshua Bengio. "Understanding the Difficulty of Training Deep Feedforward Neural Networks." In Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics, 249–356. Sardinia, Italy: AISTATS, 2010.

[5] He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification." In Proceedings of the 2015 IEEE International Conference on Computer Vision, 1026–1034. Washington, DC: IEEE Computer Vision Society, 2015.

[6] Saxe, Andrew M., James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks." arXiv preprint arXiv:1312.6120 (2013).

확장 기능

C/C++ 코드 생성

MATLAB® Coder™를 사용하여 C 코드나 C++ 코드를 생성할 수 있습니다.

사용법 관련 참고 및 제한 사항:

Intel^® MKL-DNN으로 코드를 생성하는 경우:

• StateActivationFunction 속성을 'tanh'로 설정해야 합니다.

• GateActivationFunction 속성을 'sigmoid'로 설정해야 합니다.

• HasStateInputs 속성과 HasStateOutputs 속성을 0(false)으로 설정해야 합니다.

GPU 코드 생성

GPU Coder™를 사용하여 NVIDIA® GPU용 CUDA® 코드를 생성할 수 있습니다.

사용법 관련 참고 및 제한 사항:

• GPU 코드를 생성하려면 StateActivationFunction 속성을 'tanh'로 설정해야 합니다.

• GPU 코드를 생성하려면 GateActivationFunction 속성을 'sigmoid'로 설정해야 합니다.

• HasStateInputs 속성과 HasStateOutputs 속성을 0(false)으로 설정해야 합니다.

버전 내역

R2017b에 개발됨

R2019a: 디폴트 입력 가중치 초기화는 Glorot

R2019a부터, 기본적으로 이 계층의 계층 입력 가중치는 Glorot 이니셜라이저를 사용하여 초기화됩니다. 이 동작은 훈련을 안정화하는 데 도움이 되며, 일반적으로 심층 신경망의 훈련 시간을 줄여 줍니다.

이전 릴리스에서는 기본적으로 계층 입력 가중치가 평균이 0이고 분산이 0.01인 정규분포에서 샘플링하여 초기화되었습니다. 이 동작을 재현하려면 계층의 'InputWeightsInitializer' 옵션을 'narrow-normal'로 설정하십시오.

R2019a: 디폴트 순환 가중치 초기화는 직교

R2019a부터, 기본적으로 이 계층의 계층 순환 가중치는 단위 정규분포에서 샘플링된 확률 행렬 Z에 대한 Z = QR의 QR 분해로 주어지는 직교 행렬 Q를 사용하여 초기화됩니다. 이 동작은 훈련을 안정화하는 데 도움이 되며, 일반적으로 심층 신경망의 훈련 시간을 줄여 줍니다.

이전 릴리스에서는 기본적으로 계층 순환 가중치가 평균이 0이고 분산이 0.01인 정규분포에서 샘플링하여 초기화되었습니다. 이 동작을 재현하려면 계층의 'RecurrentWeightsInitializer' 옵션을 'narrow-normal'로 설정하십시오.

참고 항목

trainingOptions | trainNetwork | sequenceInputLayer | bilstmLayer | gruLayer | convolution1dLayer | maxPooling1dLayer | averagePooling1dLayer | globalMaxPooling1dLayer | globalAveragePooling1dLayer | 심층 신경망 디자이너

도움말 항목

• 딥러닝을 사용한 시퀀스 분류
• 1차원 컨벌루션을 사용한 시퀀스 분류
• 딥러닝을 사용한 시계열 전망
• 딥러닝을 사용한 sequence-to-sequence 분류
• 딥러닝을 사용한 sequence-to-sequence 회귀
• Sequence-to-One Regression Using Deep Learning
• 딥러닝을 사용하여 비디오 분류하기
• 장단기 기억 신경망
• 딥러닝 계층 목록
• 딥러닝 팁과 요령

×

예제 열기

이 예제의 수정된 버전이 있습니다. 사용자가 편집한 내용을 반영하여 이 예제를 여시겠습니까?

아니요, 수정된 버전을 덮어씁니다. 예