이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.

가우스 과정 회귀 모델

가우스 과정 회귀(GPR) 모델은 비모수 커널 기반의 확률적 모델입니다. fitrgp 함수를 사용하여 GPR 모델을 훈련시킬 수 있습니다.

훈련 세트 {(xi,yi);i=1,2,...,n}을 살펴보겠습니다. 여기서 xidyi은 알 수 없는 분포에서 추출되었습니다. GPR 모델은 새 입력 벡터 xnew 및 훈련 데이터가 주어진 경우 응답 변수 ynew의 값을 예측하는 문제를 해결합니다. 선형 회귀 모델의 형식은 다음과 같습니다.

y=xTβ+ε,

여기서 εN(0,σ2)입니다. 오차 분산 σ2 및 계수 β는 데이터에서 추정됩니다. GPR 모델은 가우스 과정(GP)에서 잠재 변수 f(xi),i=1,2,...,n 및 명시적 기저 함수 h를 추가하여 응답 변수를 설명합니다. 잠재 변수의 공분산 함수는 응답 변수의 매끄러움 정도를 포착하고 기저 함수는 입력값 x를 p차원 특징 공간에 투영합니다.

GP는 확률 변수 집합의 일종으로, 이에 속한 임의의 유한 개 확률 변수들이 결합 가우스 분포를 갖는 확률 변수 집합을 뜻합니다. {f(x),xd}가 GP이고 n개의 관측값 x1,x2,...,xn이 주어진 경우 확률 변수 f(x1),f(x2),...,f(xn)의 결합 분포는 가우스 분포입니다. GP는 그 평균 함수 m(x) 및 공분산 함수 k(x,x)에 의해 정의됩니다. 즉, {f(x),xd}가 가우스 과정이면 E(f(x))=m(x)이고 Cov[f(x),f(x)]=E[{f(x)m(x)}{f(x)m(x)}]=k(x,x).입니다.

이제 다음 모델을 살펴보겠습니다.

h(x)Tβ+f(x),

여기서 f(x)~GP(0,k(x,x))이며, 즉 f(x)는 공분산 함수 k(x,x)를 갖는 평균이 0인 GP에서 도출됩니다. h(x)는 Rd의 원래 특징 벡터 x를 Rp의 새 특징 벡터 h(x)로 변환하는 기저 함수 집합입니다. β는 기저 함수 계수로 구성된 px1 벡터입니다. 이 모델은 GPR 모델을 나타냅니다. 응답 변수 y의 일개 사례는 다음과 같이 모델링할 수 있습니다.

P(yi|f(xi),xi) ~N(yi|h(xi)Tβ+f(xi),σ2)

따라서, GPR 모델은 확률적 모델입니다. 여기에는 각 관측값 xi마다 GPR 모델을 비모수적으로 만드는 잠재 변수 f(xi)가 추가되어 있습니다. 벡터 형식에서 이 모델은 다음과 동일합니다.

P(y|f,X)~N(y|Hβ+f,σ2I),

여기서는 다음이 성립합니다.

X=(x1Tx2TxnT),y=(y1y2yn),H=(h(x1T)h(x2T)h(xnT)),f=(f(x1)f(x2)f(xn)).

GPR 모델에서 잠재 변수 f(x1),f(x2),...,f(xn)의 결합 분포는 다음과 같습니다.

P(f|X)~N(f|0,K(X,X)),

이는 선형 회귀 모델에 가까우며, 여기서 K(X,X)는 다음과 같이 표시됩니다.

K(X,X)=(k(x1,x1)k(x1,x2)k(x1,xn)k(x2,x1)k(x2,x2)k(x2,xn)k(xn,x1)k(xn,x2)k(xn,xn)).

공분산 함수 k(x,x)는 일반적으로 커널 모수 또는 초모수 집합 θ로 모수화됩니다. 많은 경우, k(x,x)θ에 대한 종속성을 명시적으로 나타내기 위해 k(x,x|θ)로 표기됩니다.

fitrgp는 GPR 모델을 훈련시키는 동안 데이터에서 커널 함수의 기저 함수 계수 β, 잡음 분산 σ2, 초모수 θ를 추정합니다. 기저 함수, 커널 (공분산) 함수, 모수의 초기값을 지정할 수 있습니다.

GPR 모델이 확률적이므로 훈련된 모델을 사용하여 예측 구간을 계산할 수 있습니다(predictresubPredict 참조). 함수 g(x) = x*sin(x)에서 관측된 데이터가 있으며 이 데이터에 잡음이 없다고 가정하겠습니다. 다음 그림에서 왼쪽에 표시된 서브플롯은 관측값, GPR 피팅, 그리고 실제 함수를 보여줍니다. 현실적으로, 관측된 값은 정확한 함수 값이 아니라 그 정확한 함수 값에 잡음이 섞인 형태로 나타납니다. 오른쪽에 표시된 서브플롯은 이러한 경우를 보여줍니다. 관측값에 잡음이 없는 경우(왼쪽에 표시된 서브플롯 참조), GPR 피팅이 관측값을 통과하며 예측된 응답 변수의 표준편차는 0입니다. 따라서, 이러한 값 주위에는 예측 구간이 보이지 않습니다.

또한 훈련된 GPR 모델을 사용하여 회귀 오차를 계산할 수도 있습니다(lossresubLoss 참조).

참고 문헌

[1] Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.

참고 항목

|

관련 항목