softmaxLayer

소프트맥스 계층

설명

소프트맥스 계층은 입력에 소프트맥스 함수를 적용합니다.

생성

구문

layer = softmaxLayer

layer = softmaxLayer(Name=name)

설명

layer = softmaxLayer는 소프트맥스 계층을 만듭니다.

layer = softmaxLayer(Name=name)은 소프트맥스 계층을 만들고 이름-값 쌍을 사용하여 선택적 속성인 Name을 설정합니다. 예를 들어, softmaxLayer(Name="sm1")은 이름이 "sm1"인 소프트맥스 계층을 만듭니다.

속성

Name — 계층 이름

'' (디폴트 값) | 문자형 벡터

계층 이름으로, 문자형 벡터로 지정됩니다. Layer 배열 입력값에 대해 trainnet 및 dlnetwork 함수는 이름이 지정되지 않은 계층에 자동으로 이름을 할당합니다.

데이터형: char

NumInputs — 입력값의 개수

읽기 전용: 1 (디폴트 값)

읽기 전용 속성입니다.

계층에 대한 입력값의 개수로, 1로 저장됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: double

InputNames — 입력값 이름

읽기 전용: {'in'} (디폴트 값)

읽기 전용 속성입니다.

입력값 이름으로, {'in'}으로 저장됩니다. 이 계층은 단일 입력값만 받습니다.

데이터형: cell

NumOutputs — 출력값 개수

읽기 전용: 1 (디폴트 값)

읽기 전용 속성입니다.

계층의 출력값 개수로, 1로 저장됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: double

OutputNames — 출력값 이름

읽기 전용: {'out'} (디폴트 값)

읽기 전용 속성입니다.

출력값 이름으로, {'out'}으로 저장됩니다. 이 계층은 단일 출력값만 가집니다.

데이터형: cell

예제

소프트맥스 계층 만들기

이름이 "sm1"인 소프트맥스 계층을 만듭니다.

layer = softmaxLayer(Name="sm1")

layer = 
  SoftmaxLayer with properties:

    Name: 'sm1'

Layer 배열에 소프트맥스 계층을 포함시킵니다.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU              ReLU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   Fully connected layer with output size 10
     6   ''   Softmax           Softmax

알고리즘

소프트맥스 계층

소프트맥스 계층은 입력에 소프트맥스 함수를 적용합니다.

분류 문제에서 소프트맥스 계층과 그 뒤의 분류 계층은 일반적으로 마지막 완전 연결 계층 뒤에 옵니다.

출력 유닛 활성화 함수는 다음과 같은 소프트맥스 함수입니다.

$$y_r\left(x\right)=\frac{\exp \left(a_r\left(x\right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x\right)\right)}},$$

여기서 $$0\le y_r\le 1$$이고 $${\displaystyle \sum _{j=1}^k{y}_j=1}$$입니다.

다중 클래스 분류 문제에서 소프트맥스 함수는 마지막 완전 연결 계층 뒤에 오는 출력 유닛 활성화 함수입니다.

$$P\left(c_r|x,\theta \right)=\frac{P\left(x,\theta |c_r\right)P\left(c_r\right)}{{\displaystyle \sum _{j=1}^{k}P\left(x,\theta |c_j\right)P\left(c_j\right)}}=\frac{\exp \left(a_r\left(x,\theta \right)\right)}{{\displaystyle \sum _{j=1}^k\exp \left(a_j\left(x,\theta \right)\right)}},$$

여기서 $$0\le P\left(c_r|x,\theta \right)\le 1$$이고 $${\displaystyle \sum _{j=1}^{k}P\left(c_j|x,\theta \right)=1}$$입니다. 그리고, $$a_r=\ln \left(P\left(x,\theta |c_r\right)P\left(c_r\right)\right)$$, $$P\left(x,\theta |c_r\right)$$은 주어진 샘플 클래스 r에 대한 조건부 확률이고, $$P\left(c_r\right)$$은 클래스 사전 확률입니다.

소프트맥스 함수는 정규화된 지수라고 알려져 있으며, 로지스틱 시그모이드 함수의 다중클래스 일반화로 간주되기도 합니다 [1].

계층 입력 형식 및 출력 형식

계층 배열 또는 계층 그래프의 계층 대부분은 뒤에 오는 계층에 데이터를 전달할 때 형식이 지정된 dlarray 객체로 전달합니다. dlarray 객체의 형식은 문자들로 구성된 문자열로, 각 문자는 데이터의 대응되는 차원을 설명합니다. 형식은 다음 문자 중 하나 이상으로 구성됩니다.

• "S" — 공간

• "C" — 채널

• "B" — 배치

• "T" — 시간

• "U" — 지정되지 않음

4차원 배열로 표현되는 2차원 영상 데이터를 예로 들면 처음 2개 차원은 영상의 공간 차원, 3번째 차원은 영상의 채널, 4번째 차원은 배치 차원에 대응되며, "SSCB"(공간, 공간, 채널, 배치) 형식으로 설명할 수 있습니다.

다음 경우와 같은 자동 미분 워크플로에서 이러한 dlarray 객체와 상호 작용할 수 있습니다.

• 사용자 지정 계층 개발

• functionLayer 객체 사용

• dlnetwork 객체에 forward 함수 및 predict 함수 사용

이 표는 SoftmaxLayer 객체의 지원되는 입력 형식과 그에 대응되는 출력 형식을 보여줍니다. 계층의 출력이 nnet.layer.Formattable 클래스를 상속하지 않는 사용자 지정 계층에 전달되거나 Formattable 속성을 0(false)으로 설정한 FunctionLayer 객체에 전달될 경우, 이 계층은 다음 표에 나와 있는 형식에 따라 순서가 지정된 차원을 갖는, 형식이 지정되지 않은 dlarray 객체를 받습니다. 여기에 나와 있는 형식은 계층이 지원하는 형식의 일부에 불과합니다. 계층은 다른 형식도 지원할 수 있습니다(예: 추가적인 "S"(공간) 또는 "U"(미지정) 차원을 갖는 형식).

입력 형식	출력 형식
"CB"(채널, 배치)	"CB"(채널, 배치)
"SCB"(공간, 채널, 배치)	"SCB"(공간, 채널, 배치)
"SSCB"(공간, 공간, 채널, 배치)	"SSCB"(공간, 공간, 채널, 배치)
"SSSCB"(공간, 공간, 공간, 채널, 배치)	"SSSCB"(공간, 공간, 공간, 채널, 배치)
"CBT"(채널, 배치, 시간)	"CBT"(채널, 배치, 시간)
"SCBT"(공간, 채널, 배치, 시간)	"SCBT"(공간, 채널, 배치, 시간)
"SSCBT"(공간, 공간, 채널, 배치, 시간)	"SSCBT"(공간, 공간, 채널, 배치, 시간)
"SSSCBT"(공간, 공간, 공간, 채널, 배치, 시간)	"SSSCBT"(공간, 공간, 공간, 채널, 배치, 시간)
"CU"(채널, 지정되지 않음)	"CU"(채널, 지정되지 않음)
"SC"(공간, 채널)	"SC"(공간, 채널)
"SSC"(공간, 공간, 채널)	"SSC"(공간, 공간, 채널)
"SSSC"(공간, 공간, 공간, 채널)	"SSSC"(공간, 공간, 공간, 채널)

dlnetwork 객체에서 SoftmaxLayer 객체는 다음 입력 형식과 출력 형식의 결합도 지원합니다.

입력 형식	출력 형식
"CT"(채널, 시간)	"CT"(채널, 시간)
"SCT"(공간, 채널, 시간)	"SCT"(공간, 채널, 시간)
"SSCT"(공간, 공간, 채널, 시간)	"SSCT"(공간, 공간, 채널, 시간)
"SSSCT"(공간, 공간, 공간, 채널, 시간)	"SSSCT"(공간, 공간, 공간, 채널, 시간)

참고 문헌

[1] Bishop, C. M. Pattern Recognition and Machine Learning. Springer, New York, NY, 2006.

확장 기능

C/C++ 코드 생성
MATLAB® Coder™를 사용하여 C 코드나 C++ 코드를 생성할 수 있습니다.

GPU 코드 생성
GPU Coder™를 사용하여 NVIDIA® GPU용 CUDA® 코드를 생성할 수 있습니다.

버전 내역

R2016a에 개발됨

참고 항목

trainnet | trainingOptions | dlnetwork | convolution2dLayer | fullyConnectedLayer | exportNetworkToSimulink | Softmax Layer

도움말 항목

• 분류를 수행하는 간단한 딥러닝 신경망 만들기
• 회귀를 위해 컨벌루션 신경망 훈련시키기
• MATLAB의 딥러닝
• 딥러닝 계층 목록