crossChannelNormalizationLayer

채널별 국소 응답 정규화 계층

설명

채널별 국소 응답(교차 채널) 정규화 계층은 채널별 정규화를 수행합니다.

생성

구문

layer = crossChannelNormalizationLayer(windowChannelSize)

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)

설명

layer = crossChannelNormalizationLayer(windowChannelSize)는 채널별 국소 응답 정규화 계층을 만들고 WindowChannelSize 속성을 설정합니다.

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)는 이름-값 쌍을 사용하여 선택적 속성인 WindowChannelSize, Alpha, Beta, K, Name을 설정합니다. 예를 들어, crossChannelNormalizationLayer(5,'K',1)은 윈도우 크기 5, K 하이퍼파라미터 1을 사용하여 채널별 정규화를 위한 국소 응답 정규화 계층을 만듭니다. 여러 개의 이름-값 쌍을 지정할 수 있습니다. 각 속성 이름을 작은따옴표로 묶습니다.

속성

교차 채널 정규화

WindowChannelSize — 채널 윈도우의 크기

16보다 작거나 같은 양의 정수

각 요소의 정규화에 사용되는 채널의 개수를 제어하는 채널 윈도우의 크기로, 16보다 작거나 같은 양의 정수로 지정됩니다.

WindowChannelSize가 짝수인 경우, 윈도우는 비대칭입니다. 소프트웨어는 그전까지의 floor((w-1)/2)개 채널과 뒤에 오는 floor(w/2)개 채널을 살펴봅니다. 예를 들어, WindowChannelSize가 4인 경우, 계층은 직전 채널 1개에 있는 이웃과 뒤에 오는 2개의 채널에 있는 이웃을 사용하여 각 요소를 정규화합니다.

예: 5

Alpha — 정규화의 α 하이퍼파라미터

0.0001 (디폴트 값) | 숫자형 스칼라

정규화의 α 하이퍼파라미터(승수 항)로, 숫자형 스칼라로 지정됩니다.

예: 0.0002

Beta — 정규화의 β 하이퍼파라미터

0.75 (디폴트 값) | 숫자형 스칼라

정규화의 β 하이퍼파라미터로, 숫자형 스칼라로 지정됩니다. Beta의 값은 0.01보다 크거나 같아야 합니다.

예: 0.8

K — 정규화의 K 하이퍼파라미터

2 (디폴트 값) | 숫자형 스칼라

정규화의 K 하이퍼파라미터로, 숫자형 스칼라로 지정됩니다. K의 값은 10^-5보다 크거나 같아야 합니다.

예: 2.5

계층

Name — 계층 이름

"" (디폴트 값) | 문자형 벡터 | string형 스칼라

계층 이름으로, 문자형 벡터 또는 string형 스칼라로 지정됩니다. Layer 배열 입력값에 대해 trainnet 및 dlnetwork 함수는 이름이 ""인 계층에 자동으로 이름을 할당합니다.

CrossChannelNormalizationLayer 객체는 이 속성을 문자형 벡터로 저장합니다.

데이터형: char | string

NumInputs — 입력값의 개수

1 (디폴트 값)

읽기 전용 속성입니다.

계층에 대한 입력값의 개수로, 1로 반환됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: double

InputNames — 입력값 이름

{'in'} (디폴트 값)

읽기 전용 속성입니다.

입력값 이름으로, {'in'}으로 반환됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: cell

NumOutputs — 출력값 개수

1 (디폴트 값)

읽기 전용 속성입니다.

계층의 출력값 개수로, 1로 반환됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: double

OutputNames — 출력값 이름

{'out'} (디폴트 값)

읽기 전용 속성입니다.

출력값 이름으로, {'out'}으로 반환됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: cell

예제

국소 응답 정규화 계층 만들기

채널 5개로 구성된 윈도우가 각 요소를 정규화하고 정규화 함수의 부가 상수 $\mathit{K}$가 1인 채널별 정규화를 위한 국소 응답 정규화 계층을 만듭니다.

layer = crossChannelNormalizationLayer(5,K=1)

layer = 
  CrossChannelNormalizationLayer with properties:

                 Name: ''

   Hyperparameters
    WindowChannelSize: 5
                Alpha: 1.0000e-04
                 Beta: 0.7500
                    K: 1

Layer 배열에 국소 응답 정규화 계층을 포함시킵니다.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    crossChannelNormalizationLayer(3)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6x1 Layer array with layers:

     1   ''   Image Input                   28x28x1 images with 'zerocenter' normalization
     2   ''   2-D Convolution               20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                          ReLU
     4   ''   Cross Channel Normalization   cross channel normalization with 3 channels per element
     5   ''   Fully Connected               10 fully connected layer
     6   ''   Softmax                       softmax

알고리즘

교차 채널 정규화 계층

채널별 국소 응답(교차 채널) 정규화 계층은 채널별 정규화를 수행합니다.

이 계층은 채널별 국소 응답 정규화를 수행합니다. 이 계층은 보통 ReLU 활성화 계층 뒤에 옵니다. 이 계층은 각 요소를 특정 개수의 이웃 채널에 있는 요소들(정규화 윈도우에 포함된 요소들)을 사용하여 얻은 정규화 값으로 바꿉니다. 즉, trainnet 함수는 입력값의 각 요소 $$x$$에 대해 다음 식을 사용하여 정규화 값 $$x^{\text{'}}$$을 계산합니다.

$$x^{\text{'}}=\frac{x}{{\left(K+\frac{\alpha *ss}{windowChannelSize}\right)}^{\beta }},$$

여기서, K, α, β 는 정규화의 하이퍼파라미터이고, ss는 정규화 윈도우에 포함된 요소들의 제곱합입니다[1]. crossChannelNormalizationLayer 함수의 windowChannelSize 인수를 사용하여 정규화 윈도우의 크기를 지정해야 합니다. Alpha, Beta, K 이름-값 쌍 인수를 사용하여 하이퍼파라미터도 지정할 수 있습니다.

위 정규화 식은 [1]에 제시된 식과 약간 다릅니다. alpha 값에 windowChannelSize를 곱하면 동일한 식을 얻을 수 있습니다.

계층 입력 형식 및 출력 형식

계층 배열 또는 계층 그래프의 계층은 뒤에 오는 계층에 데이터를 전달할 때 형식이 지정된 dlarray 객체로 전달합니다. dlarray 객체의 형식은 문자들로 구성된 문자열로, 각 문자는 데이터의 대응되는 차원을 설명합니다. 형식은 다음 문자 중 하나 이상으로 구성됩니다.

• "S" — 공간

• "C" — 채널

• "B" — 배치

• "T" — 시간

• "U" — 지정되지 않음

4차원 배열로 표현되는 2차원 영상 데이터를 예로 들면 처음 2개 차원은 영상의 공간 차원, 3번째 차원은 영상의 채널, 4번째 차원은 배치 차원에 대응되며, "SSCB"(공간, 공간, 채널, 배치) 형식으로 설명할 수 있습니다.

functionLayer 객체를 사용하여 사용자 지정 계층을 개발하거나, dlnetwork 객체에 forward 및 predict 함수를 사용하는 경우와 같은 자동 미분 워크플로에서 이러한 dlarray 객체와 상호 작용할 수 있습니다.

이 표는 CrossChannelNormalizationLayer 객체의 지원되는 입력 형식과 그에 대응되는 출력 형식을 보여줍니다. 계층의 출력이 nnet.layer.Formattable 클래스를 상속하지 않는 사용자 지정 계층에 전달되거나 Formattable 속성을 0(false)으로 설정한 FunctionLayer 객체에 전달될 경우 이 계층은 이 표에 나와 있는 형식에 따라 순서가 지정된 차원을 갖는, 형식이 지정되지 않은 dlarray 객체를 수신합니다. 여기에 나와 있는 형식은 일부에 불과합니다. 계층은 다른 형식도 지원할 수 있습니다(예: 추가적인 "S"(공간) 또는 "U"(미지정) 차원을 갖는 형식).

입력 형식	출력 형식
"SSCB"(공간, 공간, 채널, 배치)	"SSCB"(공간, 공간, 채널, 배치)
"SSC"(공간, 공간, 채널)	"SSC"(공간, 공간, 채널)
"SSSB"(공간, 공간, 공간, 배치)	"SSSB"(공간, 공간, 공간, 배치)

dlnetwork 객체에서 CrossChannelNormalizationLayer 객체는 다음 입력 형식과 출력 형식의 결합도 지원합니다.

입력 형식	출력 형식
"SSCBT"(공간, 공간, 채널, 배치, 시간)	"SSCBT"(공간, 공간, 채널, 배치, 시간)
"SSCT"(공간, 공간, 채널, 시간)	"SSCT"(공간, 공간, 채널, 시간)
"SSSBT"(공간, 공간, 공간, 배치, 시간)	"SSSBT"(공간, 공간, 공간, 배치, 시간)

참고 문헌

[1] Krizhevsky, A., I. Sutskever, and G. E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks." Advances in Neural Information Processing Systems. Vol 25, 2012.

확장 기능

C/C++ 코드 생성
MATLAB® Coder™를 사용하여 C 코드나 C++ 코드를 생성할 수 있습니다.

GPU 코드 생성
GPU Coder™를 사용하여 NVIDIA® GPU용 CUDA® 코드를 생성할 수 있습니다.

버전 내역

R2016a에 개발됨

참고 항목

averagePooling2dLayer | convolution2dLayer | maxPooling2dLayer

도움말 항목

• 분류를 수행하는 간단한 딥러닝 신경망 만들기
• 회귀를 위해 컨벌루션 신경망 훈련시키기
• MATLAB의 딥러닝
• 딥러닝 계층 목록