회귀 계층은 회귀 문제의 손실을 평균 제곱 오차의 절반을 취한 값으로 계산합니다. 일반적인 회귀 문제에서 회귀 계층은 마지막 완전 연결 계층 뒤에 와야 합니다.
단일 관측값에 대해 평균 제곱 오차는 다음과 같이 표현됩니다.
여기서 R은 응답 변수의 개수이고, ti는 목표 출력값이고, yi는 i번째 응답 변수에 대한 신경망의 예측값입니다.
영상 및 sequence-to-one 회귀 신경망의 경우, 회귀 계층의 손실함수는 R에 의해 정규화되지 않은, 예측된 응답 변수의 평균 제곱 오차의 절반입니다.
image-to-image 회귀 신경망의 경우, 회귀 계층의 손실함수는 R에 의해 정규화되지 않은, 각 픽셀에 대해 예측된 응답 변수의 평균 제곱 오차의 절반입니다.
여기서 H, W, C는 각각 출력값의 높이, 너비, 채널 개수를 나타내고, p는 t와 y의 각 요소(픽셀)를 선형적으로 참조합니다.
sequence-to-sequence 회귀 신경망의 경우, 회귀 계층의 손실함수는 R에 의해 정규화되지 않은, 각 시간 스텝에 대해 예측된 응답 변수의 평균 제곱 오차의 절반입니다.
여기서 S는 시퀀스 길이입니다.
훈련 시에 소프트웨어는 미니 배치에 있는 관측값에 대해 손실 평균을 계산합니다.