geluLayer

GELU(Gaussian Error Linear Unit) 계층

R2022b 이후

설명

GELU(Gaussian Error Linear Unit) 계층은 가우스 분포의 확률에 따라 입력값에 가중치를 부여합니다.

이 연산은 다음과 같이 표현됩니다.

$$\text{GELU}(x)=\frac{x}{2}\left(1+\text{}\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right),$$

여기서 erf는 오차 함수를 나타냅니다.

생성

구문

layer = geluLayer

layer = geluLayer(Name=Value)

설명

layer = geluLayer는 GELU 계층을 반환합니다.

layer = geluLayer(Name=Value)는 이름-값 인수를 사용하여 선택적 Approximation과 Name 속성을 설정합니다. 예를 들어, geluLayer(Name="gelu")는 이름이 "gelu"인 GELU 계층을 만듭니다.

속성

GELU

Approximation — GELU 연산에 대한 근사법

'none' (디폴트 값) | 'tanh'

GELU 연산에 대한 근사법으로, 다음 값 중 하나로 지정됩니다.

• 'none' — 근사를 사용하지 않습니다.

• 'tanh' — 다음을 사용하여 기본 오차 함수를 근사합니다.

  $$\text{erf}\left(\frac{x}{\sqrt{2}}\right)\approx \text{tanh}\left(\sqrt{\frac{2}{\pi }}\left(x+0.044715x^3\right)\right).$$

팁

MATLAB^®에서 tanh 근사를 계산하면 대체로 정확성이 떨어지며, 입력 크기가 큰 경우에는 근사를 사용하지 않고 GELU 활성화를 계산할 때보다 속도가 더 느립니다. tanh 근사는 BERT나 GPT-2처럼 이 근사를 사용한 모델을 재현하고 싶은 경우에 사용하십시오.

계층

Name — 계층 이름

'' (디폴트 값) | 문자형 벡터 | string형 스칼라

계층 이름으로, 문자형 벡터 또는 string형 스칼라로 지정됩니다. Layer 배열 입력값에 대해 trainnet 및 dlnetwork 함수는 이름이 지정되지 않은 계층에 자동으로 이름을 할당합니다.

GELULayer 객체는 이 속성을 문자형 벡터로 저장합니다.

데이터형: char | string

NumInputs — 입력값의 개수

읽기 전용: 1 (디폴트 값)

읽기 전용 속성입니다.

계층에 대한 입력값의 개수로, 1로 저장됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: double

InputNames — 입력값 이름

읽기 전용: {'in'} (디폴트 값)

읽기 전용 속성입니다.

입력값 이름으로, {'in'}으로 저장됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: cell

NumOutputs — 출력값 개수

읽기 전용: 1 (디폴트 값)

읽기 전용 속성입니다.

계층의 출력값 개수로, 1로 저장됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: double

OutputNames — 출력값 이름

읽기 전용: {'out'} (디폴트 값)

읽기 전용 속성입니다.

출력값 이름으로, {'out'}으로 저장됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: cell

예제

GELU 계층 만들기

GELU 계층을 만듭니다.

layer = geluLayer

layer = 
  GELULayer with properties:

             Name: ''

   Hyperparameters
    Approximation: 'none'

Layer 배열에 GELU 계층을 포함시킵니다.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    geluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   GELU              GELU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   10 fully connected layer
     6   ''   Softmax           softmax

알고리즘

GELU(Gaussian Error Linear Unit) 활성화

GELU(Gaussian Error Linear Unit) 활성화 연산은 가우스 분포의 확률에 따라 입력값에 가중치를 부여합니다.

이 연산은 다음과 같이 표현됩니다.

$$\text{GELU}(x)=\frac{x}{2}\left(1+\text{}\text{erf}\left(\frac{x}{\sqrt{2}}\right)\right),$$

여기서 erf는 다음과 같이 표현된 오차 함수를 나타냅니다.

$$\text{erf}(x)=\frac{2}{\sqrt{\pi }}{\displaystyle {\int }_0^x{e}^{-t^2}dt}.$$

Approximation 옵션이 "tanh"인 경우 다음을 사용하여 오차 함수를 근사합니다.

$$\text{erf}\left(\frac{x}{\sqrt{2}}\right)\approx \text{tanh}\left(\sqrt{\frac{2}{\pi }}\left(x+0.044715x^3\right)\right).$$

계층 입력 형식 및 출력 형식

계층 배열 또는 계층 그래프의 계층은 뒤에 오는 계층에 데이터를 전달할 때 형식이 지정된 dlarray 객체로 전달합니다. dlarray 객체의 형식은 문자들로 구성된 문자열로, 각 문자는 데이터의 대응되는 차원을 설명합니다. 형식은 다음 문자 중 하나 이상으로 구성됩니다.

• "S" — 공간

• "C" — 채널

• "B" — 배치

• "T" — 시간

• "U" — 지정되지 않음

4차원 배열로 표현되는 2차원 영상 데이터를 예로 들면 처음 2개 차원은 영상의 공간 차원, 3번째 차원은 영상의 채널, 4번째 차원은 배치 차원에 대응되며, "SSCB"(공간, 공간, 채널, 배치) 형식으로 설명할 수 있습니다.

GELULayer 객체는 요소별 연산을 적용하고 모든 형식의 입력 데이터를 지원합니다. 계층은 차원을 추가하거나 제거하지 않으므로 입력 데이터와 같은 형식을 갖는 데이터를 출력합니다.

참고 문헌

[1] Hendrycks, Dan, and Kevin Gimpel. "Gaussian error linear units (GELUs)." Preprint, submitted June 27, 2016. https://arxiv.org/abs/1606.08415

확장 기능

C/C++ 코드 생성
MATLAB® Coder™를 사용하여 C 코드나 C++ 코드를 생성할 수 있습니다.

GPU 코드 생성
GPU Coder™를 사용하여 NVIDIA® GPU용 CUDA® 코드를 생성할 수 있습니다.

버전 내역

R2022b에 개발됨

R2023b: 코드 생성 지원

MATLAB Coder™를 사용하여 C 또는 C++ 코드를 생성하거나 GPU Coder™를 사용하여 NVIDIA^® GPU용 CUDA^® 코드를 생성할 수 있습니다.

참고 항목

trainnet | trainingOptions | dlnetwork | fullyConnectedLayer | imageInputLayer | sequenceInputLayer

도움말 항목

• Train Neural Network with Tabular Data
• 분류를 수행하는 간단한 딥러닝 신경망 만들기
• 회귀를 위해 컨벌루션 신경망 훈련시키기
• MATLAB의 딥러닝
• 딥러닝 계층 목록