이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.

bilstmLayer

양방향 장단기 기억(BiLSTM) 계층

설명

BiLSTM(양방향 장단기 기억) 계층은 시계열 또는 시퀀스 데이터의 시간 스텝 간의 양방향 장기 종속성을 학습합니다. 이러한 종속성은 네트워크가 각 시간 스텝에서 전체 시계열로부터 학습하도록 하려는 경우에 유용할 수 있습니다.

생성

구문

layer = bilstmLayer(numHiddenUnits)

layer = bilstmLayer(numHiddenUnits,Name,Value)

설명

layer = bilstmLayer(numHiddenUnits)는 양방향 LSTM 계층을 만들고 NumHiddenUnits 속성을 설정합니다.

layer = bilstmLayer(numHiddenUnits,Name,Value)는 하나 이상의 이름-값 쌍 인수를 사용하여 추가로 BiLSTM 파라미터, BiLSTM 파라미터, 학습률과 L2 인자를 설정합니다. 여러 개의 이름-값 쌍 인수를 지정할 수 있습니다. 각 속성 이름을 따옴표로 묶습니다.

속성

BiLSTM 파라미터

Name — 계층 이름

'' (디폴트 값) | 문자형 벡터

계층 이름으로, 문자형 벡터로 지정됩니다. Name을 ''로 설정하면, 훈련 시점에 자동으로 이름이 할당됩니다.

데이터형: char

InputSize — 입력 크기

'auto' (디폴트 값) | 양의 정수

입력 크기로, 양의 정수 또는 'auto'로 지정됩니다. InputSize가 'auto'이면, 훈련 시점에 자동으로 입력 크기가 할당됩니다.

예: 100

NumHiddenUnits — 은닉 유닛의 개수

양의 정수

은닉 유닛의 개수(은닉 크기라고도 함)로, 양의 정수로 지정됩니다.

예: 200

OutputMode — 출력값 형식

'sequence' (디폴트 값) | 'last'

출력값 형식으로, 다음 중 하나로 지정됩니다.

• 'sequence' – 전체 시퀀스를 출력합니다.

• 'last' – 시퀀스의 마지막 시간 스텝을 출력합니다.

활성화

StateActivationFunction — 셀과 은닉 상태를 업데이트하는 활성화 함수

'tanh' (디폴트 값) | 'softsign'

셀과 은닉 상태를 업데이트하는 활성화 함수로, 다음 중 하나로 지정됩니다.

• 'tanh' – 쌍곡탄젠트 함수(tanh)를 사용합니다.

• 'softsign' – 소프트사인 함수 $$\text{softsign}(x)=\frac{x}{1+\left|x\right|}$$를 사용합니다.

이 계층은 셀과 은닉 상태를 업데이트하는 계산에서 이 옵션을 함수 $${\sigma }_c$$로 사용합니다. LSTM 계층에서 활성화 함수가 사용되는 방식에 대한 자세한 내용은 장단기 기억 계층 항목을 참조하십시오.

GateActivationFunction — 게이트에 적용할 활성화 함수

'sigmoid' (디폴트 값) | 'hard-sigmoid'

게이트에 적용할 활성화 함수로, 다음 중 하나로 지정됩니다.

• 'sigmoid' – 시그모이드 함수 $$\sigma (x)={(1+e^{-x})}^{-1}$$을 사용합니다.

• 'hard-sigmoid' – 다음과 같은 하드 시그모이드 함수를 사용합니다.

  $$\sigma (x)=\{\begin{array}{cc}\begin{array}{l}0\hfill \\ 0.2x+0.5\hfill \\ 1\hfill \end{array}& \begin{array}{l}\text{if }x<-2.5\hfill \\ \text{if}-2.5\le x\le 2.5\hfill \\ \text{if }x>2.5\hfill \end{array}\end{array}.$$

이 계층은 입력값, 출력값, 망각 게이트 계산에서 이 옵션을 함수 $${\sigma }_g$$로 사용합니다. LSTM 계층에서 활성화 함수가 사용되는 방식에 대한 자세한 내용은 장단기 기억 계층 항목을 참조하십시오.

학습률과 L2 인자

BiasLearnRateFactor — 편향에 대한 학습률 인자

1 (디폴트 값) | 음이 아닌 스칼라 | 1x8 숫자형 벡터

편향에 대한 학습률 인자로, 음이 아닌 스칼라 또는 1x8 숫자형 벡터로 지정됩니다.

이 인자에 전역 학습률을 곱하여 이 계층의 편향에 대한 학습률이 결정됩니다. 예를 들어, BiasLearnRateFactor가 2인 경우, 이 계층의 편향에 대한 학습률은 현재 전역 학습률의 2배입니다. 소프트웨어는 trainingOptions 함수로 지정된 설정을 기준으로 전역 학습률을 결정합니다.

Bias에 있는 4개의 개별 행렬에 대한 학습률 인자 값을 제어하려면 1x8 벡터를 할당해야 합니다. 벡터의 각 요소는 다음과 같은 게이트의 학습률 인자에 해당합니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1 1 2 1 1]

BiasL2Factor — 편향에 대한 L2 정규화 인자

0 (디폴트 값) | 음이 아닌 스칼라 | 1x8 숫자형 벡터

편향에 대한 L2 정규화 인자로, 음이 아닌 스칼라로 지정됩니다.

이 인자에 전역 L2 정규화 인자를 곱하여 이 계층의 편향에 대한 학습률이 결정됩니다. 예를 들어, BiasL2Factor가 2인 경우, 이 계층의 편향에 대한 L2 정규화는 전역 L2 정규화의 2배입니다. 전역 L2 정규화 인자는 trainingOptions 함수를 사용하여 지정할 수 있습니다.

Bias에 있는 4개의 개별 행렬에 대한 L2 정규화 인자 값을 제어하려면 1x8 벡터를 할당해야 합니다. 벡터의 각 요소는 다음과 같은 게이트의 L2 정규화 인자에 해당합니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 2

예: [1 2 1 1 1 2 1 1]

InputWeightsLearnRateFactor — 입력 가중치에 대한 학습률 인자

1 (디폴트 값) | 숫자형 스칼라 | 1x8 숫자형 벡터

입력 가중치에 대한 학습률 인자로, 숫자형 스칼라 또는 1x8 숫자형 벡터로 지정됩니다.

이 인자에 전역 학습률을 곱하여 계층의 입력 가중치에 대한 학습률 인자가 결정됩니다. 예를 들어, InputWeightsLearnRateFactor가 2인 경우, 계층의 입력 가중치에 대한 학습률 인자는 현재 전역 학습률의 2배입니다. 소프트웨어는 trainingOptions 함수로 지정된 설정을 기준으로 전역 학습률을 결정합니다.

InputWeights에 있는 4개의 개별 행렬에 대한 학습률 인자 값을 제어하려면 1x8 벡터를 할당해야 합니다. 벡터의 각 요소는 다음과 같은 게이트의 학습률 인자에 해당합니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 0.1

InputWeightsL2Factor — 입력 가중치에 대한 L2 정규화 인자

1 (디폴트 값) | 숫자형 스칼라 | 1x8 숫자형 벡터

입력 가중치에 대한 L2 정규화 인자로, 숫자형 스칼라 또는 1x8 숫자형 벡터로 지정됩니다.

이 인자에 전역 L2 정규화 인자를 곱하여 계층의 입력 가중치에 대한 L2 정규화 인자가 결정됩니다. 예를 들어, InputWeightsL2Factor가 2인 경우, 계층의 입력 가중치에 대한 L2 정규화 인자는 현재 전역 L2 정규화 인자의 2배입니다. trainingOptions 함수로 지정된 설정을 기준으로 L2 정규화 인자가 결정됩니다.

InputWeights에 있는 4개의 개별 행렬에 대한 L2 정규화 인자 값을 제어하려면 1x8 벡터를 할당해야 합니다. 벡터의 각 요소는 다음과 같은 게이트의 L2 정규화 인자에 해당합니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 0.1

예: [1 2 1 1 1 2 1 1]

RecurrentWeightsLearnRateFactor — 순환 가중치에 대한 학습률 인자

1 (디폴트 값) | 숫자형 스칼라 | 1x8 숫자형 벡터

순환 가중치에 대한 학습률 인자로, 숫자형 스칼라 또는 1x8 숫자형 벡터로 지정됩니다.

이 인자에 전역 학습률을 곱하여 계층의 순환 가중치에 대한 학습률이 결정됩니다. 예를 들어, RecurrentWeightsLearnRateFactor가 2인 경우, 계층의 순환 가중치에 대한 학습률은 현재 전역 학습률의 2배입니다. 소프트웨어는 trainingOptions 함수로 지정된 설정을 기준으로 전역 학습률을 결정합니다.

RecurrentWeights에 있는 4개의 개별 행렬에 대한 학습률 값을 제어하려면 1x8 벡터를 할당해야 합니다. 벡터의 각 요소는 다음과 같은 게이트의 학습률 인자에 해당합니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 0.1

예: [1 2 1 1 1 2 1 1]

RecurrentWeightsL2Factor — 순환 가중치에 대한 L2 정규화 인자

1 (디폴트 값) | 숫자형 스칼라 | 1x8 숫자형 벡터

순환 가중치에 대한 L2 정규화 인자로, 숫자형 스칼라 또는 1x8 숫자형 벡터로 지정됩니다.

이 인자에 전역 L2 정규화 인자를 곱하여 계층의 순환 가중치에 대한 L2 정규화 인자가 결정됩니다. 예를 들어, RecurrentWeightsL2Factor가 2인 경우, 계층의 순환 가중치에 대한 L2 정규화 인자는 현재 전역 L2 정규화 인자의 2배입니다. trainingOptions 함수로 지정된 설정을 기준으로 L2 정규화 인자가 결정됩니다.

RecurrentWeights에 있는 4개의 개별 행렬에 대한 L2 정규화 인자 값을 제어하려면 1x8 벡터를 할당해야 합니다. 벡터의 각 요소는 다음과 같은 게이트의 L2 정규화 인자에 해당합니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

모든 행렬에 동일한 값을 지정하려면 음이 아닌 스칼라를 지정하십시오.

예: 0.1

예: [1 2 1 1 1 2 1 1]

상태 파라미터

CellState — 셀 상태의 초기값

숫자형 벡터

셀 상태의 초기값으로, 2*NumHiddenUnitsx1 숫자형 벡터로 지정됩니다. 이 값은 시간 스텝 0에서의 셀 상태입니다. predictAndUpdateState와 classifyAndUpdateState를 사용하는 경우에는 이 속성의 값이 변경될 수 있습니다.

이 속성을 설정한 후에 resetState 함수를 호출하면 셀 상태가 이 초기값으로 다시 설정됩니다.

HiddenState — 은닉 상태의 초기값

숫자형 벡터

은닉 상태의 초기값으로, 2*NumHiddenUnitsx1 숫자형 벡터로 지정됩니다. 이 값은 시간 스텝 0에서의 은닉 상태입니다. predictAndUpdateState와 classifyAndUpdateState를 사용하는 경우에는 이 속성의 값이 변경될 수 있습니다.

이 속성을 설정한 후에 resetState 함수를 호출하면 은닉 상태가 이 초기값으로 다시 설정됩니다.

가중치

Bias — 계층 편향

숫자형 벡터

계층 편향으로, 8*NumHiddenUnitsx1 숫자형 벡터로 지정됩니다.

편향 벡터는 양방향 LSTM 계층의 구성요소(게이트)에 대한 8개의 편향 벡터를 결합한 것입니다. 8개의 벡터는 다음과 같은 순서로 세로로 결합됩니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

InputWeights — 입력 가중치

행렬

입력 가중치로, 8*NumHiddenUnitsxInputSize 행렬로 지정됩니다.

입력 가중치 행렬은 양방향 LSTM 계층의 구성요소(게이트)에 대한 8개의 입력 가중치 행렬을 결합한 것입니다. 8개의 행렬은 다음과 같은 순서로 세로로 결합됩니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

RecurrentWeights — 순환 가중치

행렬

순환 가중치로, 8*NumHiddenUnitsxNumHiddenUnits 행렬로 지정됩니다.

순환 가중치 행렬은 양방향 LSTM 계층의 구성요소(게이트)에 대한 8개의 순환 가중치 행렬을 결합한 것입니다. 8개의 행렬은 다음과 같은 순서로 세로로 결합됩니다.

1. 입력 게이트(순방향)

2. 망각 게이트(순방향)

3. 셀 후보(순방향)

4. 출력 게이트(순방향)

5. 입력 게이트(역방향)

6. 망각 게이트(역방향)

7. 셀 후보(역방향)

8. 출력 게이트(역방향)

예제

양방향 LSTM 계층 만들기

이름이 'bilstm1'이고 100개의 은닉 유닛을 갖는 양방향 LSTM 계층을 만듭니다.

layer = bilstmLayer(100,'Name','bilstm1')

layer = 
  BiLSTMLayer with properties:

                       Name: 'bilstm1'

   Hyperparameters
                  InputSize: 'auto'
             NumHiddenUnits: 100
                 OutputMode: 'sequence'
    StateActivationFunction: 'tanh'
     GateActivationFunction: 'sigmoid'

   Learnable Parameters
               InputWeights: []
           RecurrentWeights: []
                       Bias: []

   State Parameters
                HiddenState: []
                  CellState: []

  Show all properties

Layer 배열에 양방향 LSTM 계층을 포함시킵니다.

inputSize = 12;
numHiddenUnits = 100;
numClasses = 9;

layers = [ ...
    sequenceInputLayer(inputSize)
    bilstmLayer(numHiddenUnits)
    fullyConnectedLayer(numClasses)
    softmaxLayer
    classificationLayer]

layers = 
  5x1 Layer array with layers:

     1   ''   Sequence Input          Sequence input with 12 dimensions
     2   ''   BiLSTM                  BiLSTM with 100 hidden units
     3   ''   Fully Connected         9 fully connected layer
     4   ''   Softmax                 softmax
     5   ''   Classification Output   crossentropyex

참고 항목

classifyAndUpdateState | lstmLayer | predictAndUpdateState | resetState | sequenceInputLayer

도움말 항목

• 심층 학습을 사용한 시퀀스 분류
• Long Short-Term Memory Networks
• Specify Layers of Convolutional Neural Network
• Set Up Parameters and Train Convolutional Neural Network
• Deep Learning in MATLAB
• List of Deep Learning Layers

R2018a에 개발됨