leakyrelu

Leaky ReLU(Rectified Linear Unit) 활성화 적용

구문

Y = leakyrelu(X)

Y = leakyrelu(X,scaleFactor)

설명

Leaky ReLU(Rectified Linear Unit) 계층 활성화 연산은 0보다 작은 모든 입력값에 고정된 스칼라 인자를 곱하는 비선형 임계값 연산을 수행합니다.

이 연산은 다음과 동일합니다.

$$f(x)=\{\begin{array}{ll}x,\hfill & x\ge 0\hfill \\ scale*x,\hfill & x<0\hfill \end{array}.$$

참고

이 함수는 dlarray 데이터에 Leaky ReLU 연산을 적용합니다. dlnetwork 객체 내에서 Leaky ReLU 활성화를 적용하려면 leakyReluLayer를 사용하십시오.

Y = leakyrelu(X)는 임계값 연산을 적용하여 입력값 X의 Leaky ReLU 활성화를 계산합니다. X에서 0보다 작은 모든 값에는 디폴트 스케일링 인자 0.01이 곱해집니다.

Y = leakyrelu(X,scaleFactor)는 Leaky ReLU 연산에 대한 스케일링 인자를 지정합니다.

예제

Leaky ReLU 연산 적용하기

3개의 채널이 있는 128개의 28×28 영상 배치를 포함하는 형식이 지정된 dlarray 객체를 만듭니다. 'SSCB'(공간, 공간, 채널, 배치) 형식을 지정합니다.

miniBatchSize = 128;
inputSize = [28 28];
numChannels = 3;
X = rand(inputSize(1),inputSize(2),numChannels,miniBatchSize);
X = dlarray(X,"SSCB");

입력 데이터의 크기와 형식을 확인합니다.

size(X)

ans = 1×4

    28    28     3   128

dims(X)

ans = 
'SSCB'

leakyrelu 함수를 사용하여 Leaky ReLU 연산을 적용합니다.

Y = leakyrelu(X);

출력값의 크기와 형식을 확인합니다.

size(Y)

ans = 1×4

    28    28     3   128

dims(Y)

ans = 
'SSCB'

Leaky ReLU 스케일 지정하기

3개의 채널이 있는 128개의 28×28 영상 배치를 포함하는 형식이 지정된 dlarray 객체를 만듭니다. 'SSCB'(공간, 공간, 채널, 배치) 형식을 지정합니다.

miniBatchSize = 128;
inputSize = [28 28];
numChannels = 3;
X = rand(inputSize(1),inputSize(2),numChannels,miniBatchSize);
X = dlarray(X,"SSCB");

입력 데이터의 크기와 형식을 확인합니다.

size(X)

ans = 1×4

    28    28     3   128

dims(X)

ans = 
'SSCB'

leakyrelu 함수를 사용하여 Leaky ReLU 연산을 적용하고 스케일을 0.5로 지정합니다.

Y = leakyrelu(X,0.5);

출력값의 크기와 형식을 확인합니다.

size(Y)

ans = 1×4

    28    28     3   128

dims(Y)

ans = 
'SSCB'

입력 인수

X — 입력 데이터

dlarray 객체

입력 데이터로, 형식이 지정된 또는 형식이 지정되지 않은 dlarray 객체로 지정됩니다.

scaleFactor — 음수 입력값에 대한 스케일링 인자

0.01 (디폴트 값) | 숫자형 스칼라

음수 입력값에 대한 스케일링 인자로, 숫자형 스칼라로 지정됩니다. 디폴트 값은 0.01입니다.

데이터형: single | double

출력 인수

Y — Leaky ReLU 활성화

dlarray

Leaky ReLU 활성화로, dlarray로 반환됩니다. 출력값 Y는 입력값 X와 기본 데이터형이 같습니다.

입력 데이터 X가 형식이 지정된 dlarray인 경우 Y는 X와 차원 형식이 같습니다. 입력 데이터가 형식이 지정된 dlarray가 아닌 경우, Y는 입력 데이터와 차원 순서가 같은, 형식이 지정되지 않은 dlarray입니다.

확장 기능

C/C++ 코드 생성

MATLAB® Coder™를 사용하여 C 코드나 C++ 코드를 생성할 수 있습니다.

사용법 관련 참고 및 제한 사항:

• 코드 생성 시에 scaleFactor는 상수여야 합니다.

GPU 코드 생성

GPU Coder™를 사용하여 NVIDIA® GPU용 CUDA® 코드를 생성할 수 있습니다.

C/C++ 코드 생성 섹션의 사용법 관련 참고 및 제한 사항을 참조하십시오. GPU 코드 생성에도 동일한 제한 사항이 적용됩니다.

GPU 배열

Parallel Computing Toolbox™를 사용해 GPU(그래픽스 처리 장치)에서 실행하여 코드 실행 속도를 높일 수 있습니다.

leakyrelu 함수는 GPU 배열 입력값을 지원하지만 다음과 같은 사용법 관련 참고 및 제한 사항이 있습니다.

• 입력 인수 X가 gpuArray 또는 기본 데이터형이 gpuArray인 dlarray인 경우, 이 함수는 GPU에서 실행됩니다.

자세한 내용은 GPU에서 MATLAB 함수 실행하기 (Parallel Computing Toolbox) 항목을 참조하십시오.

버전 내역

R2019b에 개발됨

참고 항목

dlarray | dlconv | batchnorm | relu | gelu | dlgradient | dlfeval

도움말 항목

• 사용자 지정 훈련 루프, 손실 함수 및 신경망 정의
• Train Network Using Model Function
• List of Functions with dlarray Support