이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.

reluLayer

ReLU(Rectified Linear Unit) 계층

설명

ReLU 계층은 입력값의 각 요소에 대해 0보다 작은 값은 모두 0으로 설정하는 임계값 연산을 수행합니다.

이 연산은 다음과 동일합니다.

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

생성

구문

layer = reluLayer

layer = reluLayer('Name',Name)

설명

layer = reluLayer는 ReLU 계층을 만듭니다.

layer = reluLayer('Name',Name)은 ReLU 계층을 만들고 이름-값 쌍을 사용하여 선택적 속성인 Name을 설정합니다. 예를 들어, reluLayer('Name','relu1')은 이름이 'relu1'인 ReLU 계층을 만듭니다.

속성

Name — 계층 이름

'' (디폴트 값) | 문자형 벡터 | string형 스칼라

계층 이름으로, 문자형 벡터 또는 string형 스칼라로 지정됩니다. 계층 그래프에 계층을 포함하려면 비어 있지 않은 고유한 계층 이름을 지정해야 합니다. 이 계층을 사용하여 시리즈 신경망을 훈련시킬 때 Name을 ''로 설정하면, 소프트웨어가 훈련 시점에 해당 계층에 자동으로 이름을 할당합니다.

데이터형: char | string

NumInputs — 입력값의 개수

1 (디폴트 값)

계층의 입력값 개수. 이 계층은 단일 입력값만 받습니다.

데이터형: double

InputNames — 입력값 이름

{'in'} (디폴트 값)

계층의 입력값 이름. 이 계층은 단일 입력값만 받습니다.

데이터형: cell

NumOutputs — 출력값 개수

1 (디폴트 값)

계층의 출력값 개수. 이 계층은 단일 출력값만 가집니다.

데이터형: double

OutputNames — 출력값 이름

{'out'} (디폴트 값)

계층의 출력값 이름. 이 계층은 단일 출력값만 가집니다.

데이터형: cell

예제

ReLU 계층 만들기

이름이 'relu1'인 ReLU 계층을 만듭니다.

layer = reluLayer('Name','relu1')

layer = 
  ReLULayer with properties:

    Name: 'relu1'

Layer 배열에 ReLU 계층을 포함시킵니다.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,'Stride',2)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                    ReLU
     4   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected         10 fully connected layer
     6   ''   Softmax                 softmax
     7   ''   Classification Output   crossentropyex

세부 정보

ReLU 계층

ReLU 계층은 입력값의 각 요소에 대해 0보다 작은 값은 모두 0으로 설정하는 임계값 연산을 수행합니다.

컨벌루션 계층과 배치 정규화 계층 뒤에는 보통 ReLU(Rectified Linear Unit)와 같은 비선형 활성화 함수가 옵니다. 이 함수는 ReLU 계층으로 지정됩니다. ReLU 계층은 각 요소에 대해 입력값이 0보다 작으면 모두 0으로 설정하는 임계값 연산을 수행합니다. 이 연산은 다음과 동일합니다.

$$f\left(x\right)=\{\begin{array}{cc}x,& x\ge 0\\ 0,& x<0\end{array}.$$

ReLU 계층은 입력값의 크기를 변경하지 않습니다.

이 밖에도 일부 응용 사례에서 이와 다른 연산을 수행해 신경망 정확도를 개선할 수 있는 또 다른 비선형 활성화 계층들이 있습니다. 활성화 계층 목록은 활성화 계층 항목을 참조하십시오.

참고 문헌

[1] Nair, Vinod, and Geoffrey E. Hinton. "Rectified linear units improve restricted boltzmann machines." In Proceedings of the 27th international conference on machine learning (ICML-10), pp. 807-814. 2010.

확장 기능

C/C++ 코드 생성
MATLAB® Coder™를 사용하여 C 코드나 C++ 코드를 생성할 수 있습니다.

GPU 코드 생성
GPU Coder™를 사용하여 NVIDIA® GPU용 CUDA® 코드를 생성할 수 있습니다.

참고 항목

trainNetwork | batchNormalizationLayer | leakyReluLayer | clippedReluLayer | swishLayer | 심층 신경망 디자이너

도움말 항목

• 간단한 분류용 딥러닝 신경망 만들기
• 회귀를 위해 컨벌루션 신경망 훈련시키기
• MATLAB의 딥러닝
• 컨벌루션 신경망의 계층 지정하기
• Compare Activation Layers
• 딥러닝 계층 목록

R2016a에 개발됨

×

예제 열기

이 예제의 수정된 버전이 있습니다. 사용자가 편집한 내용을 반영하여 이 예제를 여시겠습니까?

아니요, 수정된 버전을 덮어씁니다. 예