이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.

CrossChannelNormalizationLayer

채널별 국소 응답 정규화 계층

설명

채널별 국소 응답(교차 채널) 정규화 계층은 채널별 정규화를 수행합니다.

생성

구문

layer = crossChannelNormalizationLayer(windowChannelSize)

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)

설명

layer = crossChannelNormalizationLayer(windowChannelSize)는 채널별 국소 응답 정규화 계층을 만들고 WindowChannelSize 속성을 설정합니다.

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)는 이름-값 쌍을 사용하여 선택적 속성인 WindowChannelSize, Alpha, Beta, K, Name을 설정합니다. 예를 들어, crossChannelNormalizationLayer(5,'K',1)은 윈도우 크기 5, K 하이퍼파라미터 1을 사용하여 채널별 정규화를 위한 국소 응답 정규화 계층을 만듭니다. 여러 개의 이름-값 쌍을 지정할 수 있습니다. 각 속성 이름을 작은따옴표로 묶습니다.

속성

교차 채널 정규화

WindowChannelSize — 채널 윈도우의 크기

양의 정수

각 요소의 정규화에 사용되는 채널의 개수를 제어하는 채널 윈도우의 크기로, 양의 정수로 지정됩니다.

WindowChannelSize가 짝수인 경우, 윈도우는 비대칭입니다. 소프트웨어는 그전까지의 floor((w-1)/2)개 채널과 뒤에 오는 floor(w/2)개 채널을 살펴봅니다. 예를 들어, WindowChannelSize가 4인 경우, 계층은 직전 채널 1개에 있는 이웃과 뒤에 오는 2개의 채널에 있는 이웃을 사용하여 각 요소를 정규화합니다.

예: 5

Alpha — 정규화의 α 하이퍼파라미터

0.0001 (디폴트 값) | 숫자형 스칼라

정규화의 α 하이퍼파라미터(승수 항)로, 숫자형 스칼라로 지정됩니다.

예: 0.0002

Beta — 정규화의 β 하이퍼파라미터

0.75 (디폴트 값) | 숫자형 스칼라

정규화의 β 하이퍼파라미터로, 숫자형 스칼라로 지정됩니다. Beta의 값은 0.01보다 크거나 같아야 합니다.

예: 0.8

K — 정규화의 K 하이퍼파라미터

2 (디폴트 값) | 숫자형 스칼라

정규화의 K 하이퍼파라미터로, 숫자형 스칼라로 지정됩니다. K의 값은 10^-5보다 크거나 같아야 합니다.

예: 2.5

계층

Name — 계층 이름

'' (디폴트 값) | 문자형 벡터 | string형 스칼라

계층 이름으로, 문자형 벡터 또는 string형 스칼라로 지정됩니다. 계층 그래프에 계층을 포함하려면 비어 있지 않은 고유한 계층 이름을 지정해야 합니다. 이 계층을 사용하여 시리즈 네트워크를 훈련시킬 때 Name을 ''로 설정하면, 소프트웨어가 훈련 시점에 해당 계층에 자동으로 이름을 할당합니다.

데이터형: char | string

NumInputs — 입력값의 개수

1 (디폴트 값)

계층의 입력값 개수. 이 계층은 단일 입력값만 받습니다.

데이터형: double

InputNames — 입력값 이름

{'in'} (디폴트 값)

계층의 입력값 이름. 이 계층은 단일 입력값만 받습니다.

데이터형: cell

NumOutputs — 출력값 개수

1 (디폴트 값)

계층의 출력값 개수. 이 계층은 단일 출력값만 가집니다.

데이터형: double

OutputNames — 출력값 이름

{'out'} (디폴트 값)

계층의 출력값 이름. 이 계층은 단일 출력값만 가집니다.

데이터형: cell

예제

국소 응답 정규화 계층 만들기

채널 5개로 구성된 윈도우가 각 요소를 정규화하고 정규화 함수의 부가 상수 $\mathit{K}$가 1인 채널별 정규화를 위한 국소 응답 정규화 계층을 만듭니다.

layer = crossChannelNormalizationLayer(5,'K',1)

layer = 
  CrossChannelNormalizationLayer with properties:

                 Name: ''

   Hyperparameters
    WindowChannelSize: 5
                Alpha: 1.0000e-04
                 Beta: 0.7500
                    K: 1

Layer 배열에 국소 응답 정규화 계층을 포함시킵니다.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    crossChannelNormalizationLayer(3)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input                   28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution                   20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                          ReLU
     4   ''   Cross Channel Normalization   cross channel normalization with 3 channels per element
     5   ''   Fully Connected               10 fully connected layer
     6   ''   Softmax                       softmax
     7   ''   Classification Output         crossentropyex

세부 정보

국소 응답 정규화

채널별 국소 응답(교차 채널) 정규화 계층은 채널별 정규화를 수행합니다.

이 계층은 채널별 국소 응답 정규화를 수행합니다. 이 계층은 보통 ReLU 활성화 계층 뒤에 옵니다. 이 계층은 각 요소를 특정 개수의 이웃 채널에 있는 요소들(정규화 윈도우에 포함된 요소들)을 사용하여 얻은 정규화 값으로 바꿉니다. 즉, trainNetwork는 입력값의 각 요소 $$x$$에 대해 다음 식을 사용하여 정규화 값 $$x^{\text{'}}$$를 계산합니다.

$$x^{\text{'}}=\frac{x}{{\left(K+\frac{\alpha *ss}{windowChannelSize}\right)}^{\beta }},$$

여기서, K, α, β 는 정규화의 하이퍼파라미터이고, ss는 정규화 윈도우에 포함된 요소들의 제곱합입니다[1]. crossChannelNormalizationLayer 함수의 windowChannelSize 인수를 사용하여 정규화 윈도우의 크기를 지정해야 합니다. Alpha, Beta, K 이름-값 쌍 인수를 사용하여 하이퍼파라미터도 지정할 수 있습니다.

위 정규화 식은 [1]에 제시된 식과 약간 다릅니다. alpha 값에 windowChannelSize를 곱하면 동일한 식을 얻을 수 있습니다.

참고 문헌

[1] Krizhevsky, A., I. Sutskever, and G. E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks." Advances in Neural Information Processing Systems. Vol 25, 2012.

참고 항목

averagePooling2dLayer | convolution2dLayer | maxPooling2dLayer

도움말 항목

• 간단한 분류용 심층 학습 네트워크 만들기
• 회귀를 위해 컨벌루션 신경망 훈련시키기
• MATLAB의 심층 학습
• 컨벌루션 신경망의 계층 지정하기
• 심층 학습 계층 목록

R2016a에 개발됨

×

Open Example (ko_KR)

A modified version of this example exists on your system. Do you want to open this version instead? (ko_KR)

No, overwrite the modified version (ko_KR) Yes (ko_KR)