gru

게이트 순환 유닛

구문

Y = gru(X,H0,weights,recurrentWeights,bias)

[Y,hiddenState] = gru(X,H0,weights,recurrentWeights,bias)

___ = gru(X,H0,weights,recurrentWeights,bias,DataFormat=FMT)

___ = gru(X,H0,weights,recurrentWeights,bias,Name=Value)

설명

게이트 순환 유닛(GRU) 연산을 사용하면 신경망이 시계열 및 시퀀스 데이터에서 시간 스텝 간의 종속성을 학습할 수 있습니다.

참고

이 함수는 dlarray 데이터에 딥러닝 GRU 연산을 적용합니다. dlnetwork 객체 내에서 GRU 연산을 적용하려면 gruLayer를 사용하십시오.

Y = gru(X,H0,weights,recurrentWeights,bias)는 초기 은닉 상태 H0과 파라미터 weights, recurrentWeights, bias를 사용하여 입력값 X에 게이트 순환 유닛(GRU) 계산을 적용합니다. 입력값 X는 형식이 지정된 dlarray여야 합니다. 출력값 Y는 "S" 차원을 제외하고 X와 차원 형식이 같은, 형식이 지정된 dlarray입니다.

gru 함수는 쌍곡탄젠트 함수(tanh)를 상태 활성화 함수로 사용하여 은닉 상태를 업데이트합니다. gru 함수는 $$\sigma (x)={(1+e^{-x})}^{-1}$$로 표현되는 시그모이드 함수를 게이트 활성화 함수로 사용합니다.

[Y,hiddenState] = gru(X,H0,weights,recurrentWeights,bias)는 GRU 연산 후의 은닉 상태도 반환합니다.

___ = gru(X,H0,weights,recurrentWeights,bias,DataFormat=FMT)는 X가 형식이 지정된 dlarray가 아닌 경우 차원 형식 FMT도 지정합니다. 출력값 Y는 "S" 차원을 제외하고 X와 차원 순서가 같은, 형식이 지정되지 않은 dlarray입니다.

___ = gru(X,H0,weights,recurrentWeights,bias,Name=Value)는 하나 이상의 이름-값 인수를 사용하여 추가 옵션을 지정합니다.

예제

시퀀스 데이터에 GRU 연산 적용하기

100개의 은닉 유닛을 사용하여 GRU 연산을 수행합니다.

입력 시퀀스 데이터를 채널이 10개이고 시퀀스 길이가 64인 관측값 32개로 만듭니다.

numFeatures = 10;
numObservations = 32;
sequenceLength = 64;

X = randn(numFeatures,numObservations,sequenceLength);
X = dlarray(X,"CBT");

100개의 은닉 유닛을 사용하여 초기 은닉 상태를 만듭니다. 모든 관측값에 동일한 초기 은닉 상태를 사용합니다.

numHiddenUnits = 100;
H0 = zeros(numHiddenUnits,1);

GRU 연산을 위한 학습 가능한 파라미터를 만듭니다.

weights = dlarray(randn(3*numHiddenUnits,numFeatures));
recurrentWeights = dlarray(randn(3*numHiddenUnits,numHiddenUnits));
bias = dlarray(randn(3*numHiddenUnits,1));

GRU 계산을 수행합니다.

[Y,hiddenState] = gru(X,H0,weights,recurrentWeights,bias);

출력값의 크기와 차원 형식을 확인합니다.

size(Y)

ans = 1×3

   100    32    64

Y.dims

ans = 
'CBT'

은닉 상태의 크기를 확인합니다.

size(hiddenState)

ans = 1×2

   100    32

은닉 상태를 사용하여 GRU 연산 상태를 추적하고 순차 데이터를 추가로 입력할 수 있습니다.

입력 인수

X — 입력 데이터

dlarray | 숫자형 배열

입력 데이터로, 형식이 지정된 dlarray, 형식이 지정되지 않은 dlarray 또는 숫자형 배열로 지정됩니다. X가 형식이 지정된 dlarray가 아닌 경우 DataFormat 이름-값 인수를 사용하여 차원 레이블 형식을 지정해야 합니다. X가 숫자형 배열인 경우 H0, weights, recurrentWeights, bias 중 적어도 하나는 dlarray여야 합니다.

X는 "T" 레이블이 지정된 시퀀스 차원을 포함해야 합니다. X에 "S" 레이블이 지정된 공간 차원이 있는 경우 이러한 차원은 "C" 채널 차원으로 평탄화됩니다. X에 채널 차원이 포함되어 있지 않으면 채널 차원이 하나 추가됩니다. X에 "U" 레이블이 지정된 미지정 차원이 있는 경우 이러한 차원은 한원소 차원이어야 합니다.

데이터형: single | double

H0 — 초기 은닉 상태 벡터

dlarray | 숫자형 배열

초기 은닉 상태 벡터로, 형식이 지정된 dlarray, 형식이 지정되지 않은 dlarray 또는 숫자형 배열로 지정됩니다.

H0이 형식이 지정된 dlarray인 경우 "C" 레이블이 지정된 채널 차원을 포함해야 하며, 선택적으로 "B" 레이블이 지정된 배치 차원(X의 "B" 차원과 같은 크기)을 포함할 수 있습니다. H0에 "B" 차원이 없는 경우 함수는 X의 각 관측값에 동일한 은닉 상태 벡터를 사용합니다.

H0이 형식이 지정된 dlarray인 경우 "C" 차원의 크기에 따라 은닉 유닛의 개수가 결정됩니다. 그 외의 경우에는 첫 번째 차원의 크기에 따라 은닉 유닛의 개수가 결정됩니다.

데이터형: single | double

weights — 가중치

dlarray | 숫자형 배열

가중치로, 형식이 지정된 dlarray, 형식이 지정되지 않은 dlarray 또는 숫자형 배열로 지정됩니다.

weights를 크기가 3*NumHiddenUnits×InputSize인 행렬로 지정합니다. 여기서 NumHiddenUnits는 H0의 "C" 차원 크기이고 InputSize는 X의 "C" 차원 크기에 X의 각 "S" 차원 크기(있는 경우)를 곱한 값입니다.

weights가 형식이 지정된 dlarray인 경우 크기가 3*NumHiddenUnits인 "C" 차원과 크기가 InputSize인 "U" 차원을 포함해야 합니다.

데이터형: single | double

recurrentWeights — 순환 가중치

dlarray | 숫자형 배열

순환 가중치로, 형식이 지정된 dlarray, 형식이 지정되지 않은 dlarray 또는 숫자형 배열로 지정됩니다.

recurrentWeights를 크기가 3*NumHiddenUnits×NumHiddenUnits인 행렬로 지정합니다. 여기서 NumHiddenUnits는 H0의 "C" 차원 크기입니다.

recurrentWeights가 형식이 지정된 dlarray인 경우 크기가 3*NumHiddenUnits인 "C" 차원과 크기가 NumHiddenUnits인 "U" 차원을 포함해야 합니다.

데이터형: single | double

bias — 편향

dlarray 벡터 | 숫자형 벡터

편향으로, 형식이 지정된 dlarray, 형식이 지정되지 않은 dlarray 또는 숫자형 배열로 지정됩니다.

bias를 길이가 3*NumHiddenUnits인 벡터로 지정합니다. 여기서 NumHiddenUnits는 H0의 "C" 차원 크기입니다.

bias가 형식이 지정된 dlarray인 경우 비한원소 차원은 "C" 레이블로 지정되어야 합니다.

데이터형: single | double

이름-값 인수

선택적 인수 쌍을 Name1=Value1,...,NameN=ValueN으로 지정합니다. 여기서 Name은 인수 이름이고 Value는 대응값입니다. 이름-값 인수는 다른 인수 뒤에 와야 하지만, 인수 쌍의 순서는 상관없습니다.

R2021a 이전 릴리스에서는 쉼표를 사용하여 각 이름과 값을 구분하고 Name을 따옴표로 묶으십시오.

예: Y = gru(X,H0,weights,recurrentWeights,bias,DataFormat="CTB")는 GRU 연산을 적용하며 데이터 형식을 "CTB"(채널, 시간, 배치)로 지정합니다.

DataFormat — 데이터 차원에 대한 설명

문자형 벡터 | string형 스칼라

데이터 차원에 대한 설명으로, 문자형 벡터 또는 string형 스칼라로 지정됩니다.

데이터 형식은 문자들로 구성된 문자열로, 각 문자는 대응되는 데이터 차원의 유형을 설명합니다.

문자는 다음을 나타냅니다.

• "S" — 공간

• "C" — 채널

• "B" — 배치

• "T" — 시간

• "U" — 지정되지 않음

예를 들어, 첫 번째, 두 번째, 세 번째 차원이 각각 채널, 관측값, 시간 스텝에 대응되는 시퀀스 배치를 나타내는 배열이 있다고 가정하겠습니다. 데이터를 "CBT"(채널, 배치, 시간) 형식으로 설명할 수 있습니다.

"S" 또는 "U" 레이블의 차원은 여러 개 지정할 수 있습니다. 레이블 "C", "B", "T"는 각각 최대 한 번만 사용할 수 있습니다. 두 번째 차원 뒤의 한원소 후행 "U" 차원은 무시됩니다.

입력 데이터가 형식이 지정된 dlarray 객체가 아닌 경우 DataFormat 옵션을 지정해야 합니다.

자세한 내용은 Deep Learning Data Formats 항목을 참조하십시오.

데이터형: char | string

ResetGateMode — 리셋 게이트 모드

"after-multiplication" (디폴트 값) | "before-multiplication" | "recurrent-bias-after-multiplication"

R2023a 이후

리셋 게이트 모드로, 다음 값 중 하나로 지정됩니다.

• "after-multiplication" — 행렬 곱셈 후에 리셋 게이트를 적용합니다. 이 옵션은 cuDNN과 호환됩니다.

• "before-multiplication" — 행렬 곱셈 전에 리셋 게이트를 적용합니다.

• "recurrent-bias-after-multiplication" — 행렬 곱셈 후에 리셋 게이트를 적용하고 순환 가중치에 대해 추가 편향 항 세트를 사용합니다.

리셋 게이트 계산에 대한 자세한 내용은 gruLayer 도움말 페이지에서 Gated Recurrent Unit Layer 항목을 참조하십시오.

StateActivationFunction — 상태 활성화 함수

"tanh" (디폴트 값) | "softsign" | "relu"

R2024a 이후

은닉 상태를 업데이트하는 활성화 함수로, 다음 값 중 하나로 지정됩니다.

• "tanh" — 쌍곡탄젠트 함수(tanh)를 사용합니다.

• "softsign" — 소프트사인 함수 $$\text{softsign}(x)=\frac{x}{1+\left|x\right|}$$를 사용합니다.

• "relu" (R2024b 이후) — ReLU(Rectified Linear Unit) 함수 $$\text{ReLU}(x)=\{\begin{array}{cc}x,& x>0\\ 0,& x\le 0\end{array}$$을 사용합니다.

은닉 상태를 업데이트하는 계산에서 이 옵션은 함수 $${\sigma }_s$$로 사용됩니다.

자세한 내용은 gruLayer 도움말 페이지에서 Gated Recurrent Unit Layer 항목을 참조하십시오.

GateActivationFunction — 게이트 활성화 함수

"sigmoid" (디폴트 값) | "hard-sigmoid"

R2024a 이후

게이트에 적용할 활성화 함수로, 다음 값 중 하나로 지정됩니다.

• "sigmoid" — 시그모이드 함수 $$\sigma (x)={(1+e^{-x})}^{-1}$$을 사용합니다.

• "hard-sigmoid" — 다음과 같은 하드 시그모이드 함수를 사용합니다.

  $$\sigma (x)=\{\begin{array}{cc}\begin{array}{l}0\hfill \\ 0.2x+0.5\hfill \\ 1\hfill \end{array}& \begin{array}{l}\text{if }x<-2.5\hfill \\ \text{if}-2.5\le x\le 2.5\hfill \\ \text{if }x>2.5\hfill \end{array}\end{array}.$$

계층 게이트 계산에서 이 옵션은 함수 $${\sigma }_g$$로 사용됩니다.

자세한 내용은 gruLayer 도움말 페이지에서 Gated Recurrent Unit Layer 항목을 참조하십시오.

출력 인수

Y — GRU 출력

dlarray

GRU 출력으로, dlarray로 반환됩니다. 출력값 Y는 입력값 X와 기본 데이터형이 같습니다.

입력 데이터 X가 형식이 지정된 dlarray인 경우 Y는 모든 "S" 차원을 제외하고 X와 차원 형식이 같습니다. 입력 데이터가 형식이 지정된 dlarray가 아닌 경우, Y는 입력 데이터와 차원 순서가 같은, 형식이 지정되지 않은 dlarray입니다.

Y의 "C" 차원 크기는 H0의 "C" 차원 크기로 지정된 은닉 유닛의 개수와 같습니다.

hiddenState — 은닉 상태 벡터

dlarray | 숫자형 배열

각 관측값에 대한 은닉 상태 벡터로, dlarray 또는 H0과 동일한 데이터형을 갖는 숫자형 배열로 반환됩니다.

입력값 H0이 형식이 지정된 dlarray인 경우 출력값 hiddenState는 "CB"로 형식이 지정된 dlarray입니다.

세부 정보

게이트 순환 유닛

GRU 연산을 사용하면 신경망이 시계열 및 시퀀스 데이터에서 시간 스텝 간의 종속성을 학습할 수 있습니다. 자세한 내용은 gruLayer 도움말 페이지에서 Gated Recurrent Unit Layer 항목을 참조하십시오.

참고 문헌

[1] Cho, Kyunghyun, Bart Van Merriënboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, and Yoshua Bengio. "Learning phrase representations using RNN encoder-decoder for statistical machine translation." arXiv preprint arXiv:1406.1078 (2014).

확장 기능

GPU 배열

Parallel Computing Toolbox™를 사용해 GPU(그래픽스 처리 장치)에서 실행하여 코드 실행 속도를 높일 수 있습니다.

gru 함수는 GPU 배열 입력값을 지원하지만 다음과 같은 사용법 관련 참고 및 제한 사항이 있습니다.

• 다음 입력 인수 중 적어도 하나가 gpuArray이거나 기본 데이터형이 gpuArray인 dlarray인 경우 이 함수는 GPU에서 실행됩니다.

  • X

  • H0

  • weights

  • recurrentWeights

  • bias

자세한 내용은 GPU에서 MATLAB 함수 실행하기 (Parallel Computing Toolbox) 항목을 참조하십시오.

버전 내역

R2020a에 개발됨

R2024b: ReLU 상태 활성화 함수 지정

ReLU 상태 활성화 함수를 지정하려면 StateActivationFunction 속성을 "relu"로 설정하십시오.

R2024a: 상태 및 게이트 활성화 함수 지정

각각 StateActivationFunction 및 GateActivationFunction 이름-값 인수를 사용하여 상태 및 게이트 활성화 함수를 지정합니다.

R2023a: 리셋 게이트 모드 지정

ResetGateMode 이름-값 인수를 사용하여 리셋 게이트 모드를 지정합니다.

참고 항목

dlarray | fullyconnect | softmax | dlgradient | dlfeval | lstm | attention

도움말 항목

• 사용자 지정 훈련 루프, 손실 함수 및 신경망 정의
• Train Network Using Model Function
• Sequence-to-Sequence Translation Using Attention
• Multilabel Text Classification Using Deep Learning
• List of Functions with dlarray Support