일반화 회귀 신경망

신경망 아키텍처

일반화된 회귀 신경망(GRNN)은 함수 근사를 위해 자주 사용됩니다. GRNN은 하나의 방사형 기저 계층과 하나의 특수 선형 계층을 갖습니다.

아래에는 GRNN의 아키텍처가 나와 있습니다. GRNN은 방사형 기저 신경망과 비슷하지만 두 번째 계층이 약간 다릅니다.

위 그림에 표시된 nprod 상자(코드 함수 normprod)는 벡터 n²에 S²개의 요소를 생성합니다. 각 요소는 행 LW^2,1 과 입력 벡터 a¹의 내적을 a¹의 요소 합으로 정규화한 것입니다. 예를 들어, 다음과 같다고 가정하겠습니다.

LW{2,1}= [1 -2;3 4;5 6];
a{1} = [0.7;0.3];

그러면 다음과 같습니다.

aout = normprod(LW{2,1},a{1})
aout =
    0.1000
    3.3000
    5.3000

첫 번째 계층은 newrbe 신경망의 첫 번째 계층과 같습니다. 뉴런의 개수는 P에 있는 입력/목표 벡터의 개수와 같습니다. 구체적으로, 첫 번째 계층 가중치는 P'로 설정됩니다. 편향 b¹은 0.8326/SPREAD의 열 벡터로 설정됩니다. 사용자는 입력 벡터가 뉴런의 가중 벡터로부터 떨어져야 하는 거리인 SPREAD를 0.5로 선택합니다.

여기서도, 첫 번째 계층은 앞에서 설명한 newrbe 방사형 기저 계층과 동일하게 동작합니다. 각 뉴런의 가중 입력값은 입력 벡터와 그 가중 벡터 사이의 거리로, dist를 사용하여 계산됩니다. 각 뉴런의 순 입력값은 가중 입력값과 그 편향의 곱으로, netprod를 사용하여 계산됩니다. 각 뉴런의 출력값은 radbas를 통과한 순 입력값입니다. 뉴런의 가중 벡터가 (전치된) 입력 벡터와 동일하다면 가중 입력값은 0이고 순 입력값은 0이고 출력값은 1입니다. 뉴런의 가중 벡터가 입력 벡터에서 spread까지의 거리라면, 가중 입력값은 spread이고 순 입력값은 sqrt(−log(.5))입니다(또는 0.8326). 따라서 출력값은 0.5입니다.

두 번째 계층의 뉴런 개수 역시 입력/목표 벡터의 개수와 같지만, 여기서는 LW{2,1}이 T로 설정됩니다.

입력 벡터 p_i와 가까운 입력 벡터 p가 있다고 가정하겠습니다. 이 입력 벡터는 계층 1 가중치를 설계하는 데 사용된 입력 벡터/목표값 쌍 중 하나입니다. 이 입력값 p는 계층 1 aⁱ 출력값을 1에 가까운 값으로 생성합니다. 그 결과 계층 2 출력값은 계층 2 가중치를 형성하는 데 사용된 목표값 중 하나인 t_i에 가까운 값으로 생성됩니다.

spread가 크면 입력 벡터 주변에 계층 1 뉴런이 상당한 출력값으로 반응할 큰 영역이 형성됩니다. 따라서 spread가 작으면 방사형 기저 함수가 매우 가파르고, 입력값에 가장 가까운 가중 벡터를 갖는 뉴런이 다른 뉴런보다 훨씬 큰 출력값을 갖게 됩니다. 신경망은 가장 가까운 설계 입력 벡터와 연관 있는 목표 벡터에 반응하는 경향이 있습니다.

spread가 커짐에 따라 방사형 기저 함수의 기울기가 더 매끄러워지고 하나의 입력 벡터에 여러 개의 뉴런이 반응할 수 있게 됩니다. 그러면 신경망은 마치 새 입력 벡터와 가장 가까운 설계 입력 벡터를 갖는 목표 벡터들의 가중 평균을 취하는 것처럼 동작합니다. spread가 커짐에 따라 점점 더 많은 뉴런이 평균에 기여하게 되며, 그 결과 신경망 함수가 더 매끄러워집니다.

설계(newgrnn)

함수 newgrnn을 사용하여 GRNN을 만들 수 있습니다. 예를 들어, 다음과 같이 3개의 입력 벡터와 3개의 목표 벡터가 정의되었다고 가정하겠습니다.

P = [4 5 6];
T = [1.5 3.6 6.7];

이제 다음을 통해 GRNN을 만들고

net = newgrnn(P,T);

다음과 같이 시뮬레이션할 수 있습니다.

P = 4.5;
v = sim(net,P);

GRNN Function Approximation 항목도 살펴보십시오.

함수	설명
compet	경쟁 전달 함수.
dist	유클리드 거리 가중치 함수.
dotprod	내적 가중치 함수.
ind2vec	인덱스를 벡터로 변환.
negdist	음의 유클리드 거리 가중치 함수.
netprod	곱셈 순입력 함수.
newgrnn	일반화된 회귀 신경망 설계.
newpnn	확률 신경망 설계.
newrb	방사형 기저 신경망 설계.
newrbe	정확한 방사형 기저 신경망 설계.
normprod	정규화된 내적 가중치 함수.
radbas	방사형 기저 전달 함수.
vec2ind	벡터를 인덱스로 변환.