reluLayer

ReLU(Rectified Linear Unit) 계층

설명

ReLU 계층은 입력값의 각 요소에 대해 0보다 작은 값은 모두 0으로 설정하는 임계값 연산을 수행합니다.

이 연산은 다음과 동일합니다.

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

생성

구문

layer = reluLayer

layer = reluLayer('Name',Name)

설명

layer = reluLayer는 ReLU 계층을 만듭니다.

layer = reluLayer('Name',Name)은 ReLU 계층을 만들고 이름-값 쌍을 사용하여 선택적 속성인 Name을 설정합니다. 예를 들어, reluLayer('Name','relu1')은 이름이 'relu1'인 ReLU 계층을 만듭니다.

속성

Name — 계층 이름

"" (디폴트 값) | 문자형 벡터 | string형 스칼라

계층 이름으로, 문자형 벡터 또는 string형 스칼라로 지정됩니다. Layer 배열 입력값에 대해 trainnet 및 dlnetwork 함수는 이름이 ""인 계층에 자동으로 이름을 할당합니다.

ReLULayer 객체는 이 속성을 문자형 벡터로 저장합니다.

데이터형: char | string

NumInputs — 입력값의 개수

1 (디폴트 값)

읽기 전용 속성입니다.

계층에 대한 입력값의 개수로, 1로 반환됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: double

InputNames — 입력값 이름

{'in'} (디폴트 값)

읽기 전용 속성입니다.

입력값 이름으로, {'in'}으로 반환됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: cell

NumOutputs — 출력값 개수

1 (디폴트 값)

읽기 전용 속성입니다.

계층의 출력값 개수로, 1로 반환됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: double

OutputNames — 출력값 이름

{'out'} (디폴트 값)

읽기 전용 속성입니다.

출력값 이름으로, {'out'}으로 반환됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: cell

예제

ReLU 계층 만들기

이름이 relu1인 ReLU 계층을 만듭니다.

layer = reluLayer(Name="relu1")

layer = 
  ReLULayer with properties:

    Name: 'relu1'

Layer 배열에 ReLU 계층을 포함시킵니다.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6x1 Layer array with layers:

     1   ''   Image Input       28x28x1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU              ReLU
     4   ''   2-D Max Pooling   2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   10 fully connected layer
     6   ''   Softmax           softmax

세부 정보

ReLU 계층

ReLU 계층은 입력값의 각 요소에 대해 0보다 작은 값은 모두 0으로 설정하는 임계값 연산을 수행합니다.

컨벌루션 계층과 배치 정규화 계층 뒤에는 보통 ReLU(Rectified Linear Unit)와 같은 비선형 활성화 함수가 옵니다. 이 함수는 ReLU 계층으로 지정됩니다. ReLU 계층은 각 요소에 대해 입력값이 0보다 작으면 모두 0으로 설정하는 임계값 연산을 수행합니다. 이 연산은 다음과 동일합니다.

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

ReLU 계층은 입력값의 크기를 변경하지 않습니다.

이 밖에도 일부 응용 사례에서 이와 다른 연산을 수행해 신경망 정확도를 개선할 수 있는 또 다른 비선형 활성화 계층들이 있습니다. 활성화 계층 목록은 활성화 계층 항목을 참조하십시오.

참고 문헌

[1] Nair, Vinod, and Geoffrey E. Hinton. "Rectified linear units improve restricted boltzmann machines." In Proceedings of the 27th international conference on machine learning (ICML-10), pp. 807-814. 2010.

확장 기능

C/C++ 코드 생성
MATLAB® Coder™를 사용하여 C 코드나 C++ 코드를 생성할 수 있습니다.

GPU 코드 생성
GPU Coder™를 사용하여 NVIDIA® GPU용 CUDA® 코드를 생성할 수 있습니다.

버전 내역

R2016a에 개발됨

참고 항목

trainnet | trainingOptions | dlnetwork | batchNormalizationLayer | leakyReluLayer | clippedReluLayer | swishLayer | 심층 신경망 디자이너

도움말 항목

• 분류를 수행하는 간단한 딥러닝 신경망 만들기
• 회귀를 위해 컨벌루션 신경망 훈련시키기
• MATLAB의 딥러닝
• Compare Activation Layers
• 딥러닝 계층 목록