소프트맥스 계층은 입력값에 소프트맥스 함수를 적용합니다.
분류 문제에서 소프트맥스 계층과 그 뒤의 분류 계층은 마지막 완전 연결 계층 뒤에 와야 합니다.
출력 유닛 활성화 함수는 다음과 같은 소프트맥스 함수입니다.
여기서 이고 입니다.
다중클래스 분류 문제에서 소프트맥스 함수는 마지막 완전 연결 계층 뒤에 오는 출력 유닛 활성화 함수입니다.
여기서 이고 입니다. 그리고, , 은 주어진 샘플 클래스 r에 대한 조건부 확률이고, 은 클래스 사전 확률입니다.
소프트맥스 함수는 정규화된 지수라고 알려져 있으며, 로지스틱 시그모이드 함수의 다중클래스 일반화로 간주되기도 합니다 [1].