이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.
fitrgp
가우스 과정 회귀(GPR) 모델 피팅
구문
설명
gprMdl = fitrgp(Tbl,ResponseVarName)Tbl에 포함된 표본 데이터를 사용하여 훈련된 가우스 과정 회귀(GPR) 모델을 반환합니다. 여기서 ResponseVarName은 Tbl에 포함된 응답 변수의 이름입니다.
gprMdl = fitrgp(___,Name,Value)Name,Value 쌍의 인수로 지정된 추가 옵션을 사용하여 위에 열거된 구문의 모든 입력 인수에 대한 GPR 모델을 반환합니다.
예를 들어, 피팅 방법, 예측 방법, 공분산 함수 또는 활성 세트 선택 방법을 지정할 수 있습니다. 교차 검증된 모델을 훈련시킬 수도 있습니다.
gprMdl은 RegressionGP 객체입니다. 이 객체의 객체 함수와 속성은 RegressionGP를 참조하십시오.
교차 검증된 모델을 훈련시키는 경우 gprMdl은 RegressionPartitionedGP 객체입니다. 교차 검증된 객체에 대한 추가 분석을 수행하려면 RegressionPartitionedGP 객체의 객체 함수를 사용하십시오.
예제
테이블의 데이터를 사용하여 GPR 모델 훈련시키기
이 예제에서는 UCI Machine Learning Repository [3]의 전복 데이터 [1], [2]를 사용합니다. 데이터를 다운로드한 후 abalone.data라는 이름으로 현재 폴더에 저장합니다.
데이터를 테이블에 저장합니다. 처음 7개 행을 표시합니다.
tbl = readtable('abalone.data','Filetype','text',... 'ReadVariableNames',false); tbl.Properties.VariableNames = {'Sex','Length','Diameter','Height',... 'WWeight','SWeight','VWeight','ShWeight','NoShellRings'}; tbl(1:7,:)
ans =
Sex Length Diameter Height WWeight SWeight VWeight ShWeight NoShellRings
___ ______ ________ ______ _______ _______ _______ ________ ____________
'M' 0.455 0.365 0.095 0.514 0.2245 0.101 0.15 15
'M' 0.35 0.265 0.09 0.2255 0.0995 0.0485 0.07 7
'F' 0.53 0.42 0.135 0.677 0.2565 0.1415 0.21 9
'M' 0.44 0.365 0.125 0.516 0.2155 0.114 0.155 10
'I' 0.33 0.255 0.08 0.205 0.0895 0.0395 0.055 7
'I' 0.425 0.3 0.095 0.3515 0.141 0.0775 0.12 8
'F' 0.53 0.415 0.15 0.7775 0.237 0.1415 0.33 20데이터셋에는 4177개의 관측값이 있습니다. 8개 물리적 측정값에서 전복의 나이를 예측하는 것이 목적입니다. 마지막 변수인 껍데기의 나이테 수가 전복의 나이입니다. 첫 번째 예측 변수는 범주형 변수입니다. 테이블의 마지막 변수는 응답 변수입니다.
모수 추정에 부분 회귀 변수 방법을 사용하고 예측에 완전히 독립적인 조건부 방법을 사용하여 GPR 모델을 피팅합니다. 예측 변수를 표준화합니다.
gprMdl = fitrgp(tbl,'NoShellRings','KernelFunction','ardsquaredexponential',... 'FitMethod','sr','PredictMethod','fic','Standardize',1)
grMdl =
RegressionGP
PredictorNames: {1x8 cell}
ResponseName: 'Var9'
ResponseTransform: 'none'
NumObservations: 4177
KernelFunction: 'ARDSquaredExponential'
KernelInformation: [1x1 struct]
BasisFunction: 'Constant'
Beta: 10.9148
Sigma: 2.0243
PredictorLocation: [10x1 double]
PredictorScale: [10x1 double]
Alpha: [1000x1 double]
ActiveSetVectors: [1000x10 double]
PredictMethod: 'FIC'
ActiveSetSize: 1000
FitMethod: 'SR'
ActiveSetMethod: 'Random'
IsActiveSetVector: [4177x1 logical]
LogLikelihood: -9.0013e+03
ActiveSetHistory: [1x1 struct]
BCDInformation: []
훈련된 모델을 사용하여 응답 변수를 예측합니다.
ypred = resubPredict(gprMdl);
실제 응답과 예측된 응답을 플로팅합니다.
figure(); plot(tbl.NoShellRings,'r.'); hold on plot(ypred,'b'); xlabel('x'); ylabel('y'); legend({'data','predictions'},'Location','Best'); axis([0 4300 0 30]); hold off;
훈련된 모델에 대한 훈련 데이터의 회귀 손실(재대입 손실)을 계산합니다.
L = resubLoss(gprMdl)
L =
4.0064GPR 모델을 훈련시키고 예측값 플로팅하기
표본 데이터를 생성합니다.
rng(0,'twister'); % For reproducibility n = 1000; x = linspace(-10,10,n)'; y = 1 + x*5e-2 + sin(x)./x + 0.2*randn(n,1);
모수를 추정하기 위해 선형 기저 함수와 정확한 피팅 방법을 사용하여 GPR 모델을 피팅합니다. 또한 정확한 예측 방법도 사용합니다.
gprMdl = fitrgp(x,y,'Basis','linear',... 'FitMethod','exact','PredictMethod','exact');
훈련된 모델을 사용하여 x(재대입 예측값)의 행에 대응되는 응답 변수를 예측합니다.
ypred = resubPredict(gprMdl);
응답 변수의 실제 값을 예측 값과 함께 플로팅합니다.
plot(x,y,'b.'); hold on; plot(x,ypred,'r','LineWidth',1.5); xlabel('x'); ylabel('y'); legend('Data','GPR predictions'); hold off
초기 커널 모수 값을 지정하는 경우 미치는 영향
표본 데이터를 불러옵니다.
load('gprdata2.mat')이 데이터에는 하나의 예측 변수와 연속형 응답 변수가 있습니다. 이는 시뮬레이션된 데이터입니다.
디폴트 커널 모수를 갖는 제곱 지수 커널 함수를 사용하여 GPR 모델을 피팅합니다.
gprMdl1 = fitrgp(x,y,'KernelFunction','squaredexponential');
이제, 두 번째 모델을 피팅합니다. 여기서는 커널 모수의 초기값을 지정합니다.
sigma0 = 0.2; kparams0 = [3.5, 6.2]; gprMdl2 = fitrgp(x,y,'KernelFunction','squaredexponential',... 'KernelParameters',kparams0,'Sigma',sigma0);
두 모델 모두에서 재대입 예측값을 계산합니다.
ypred1 = resubPredict(gprMdl1); ypred2 = resubPredict(gprMdl2);
두 모델 모두에서 계산한 응답 변수 예측값과 훈련 데이터의 응답 변수 값을 플로팅합니다.
figure(); plot(x,y,'r.'); hold on plot(x,ypred1,'b'); plot(x,ypred2,'g'); xlabel('x'); ylabel('y'); legend({'data','default kernel parameters',... 'kparams0 = [3.5,6.2], sigma0 = 0.2'},... 'Location','Best'); title('Impact of initial kernel parameter values'); hold off
![Figure contains an axes object. The axes object with title Impact of initial kernel parameter values, xlabel x, ylabel y contains 3 objects of type line. One or more of the lines displays its values using only markers These objects represent data, default kernel parameters, kparams0 = [3.5,6.2], sigma0 = 0.2.](impactofspecifyinginitialkernelparametervaluesexample_01_ko_KR.png)
fitrgp가 GPR 모수를 추정하기 위해 최대화하는 주변 로그 가능도에 여러 국소해가 있으며, 수렴되는 해는 초기점에 따라 달라집니다. 각 국소해는 특정한 데이터 해석 방식에 대응합니다. 이 예제에서 디폴트 초기 커널 모수를 갖는 해는 잡음이 높은 저주파 신호에 해당하는 반면, 사용자 지정 초기 커널 모수를 갖는 두 번째 해는 잡음이 낮은 고주파 신호에 해당합니다.
예측 변수에 개별적인 길이 스케일 사용하기
표본 데이터를 불러옵니다.
load('gprdata.mat')6개의 연속형 예측 변수가 있습니다. 훈련 데이터 세트에는 500개의 관측값이 있고 검정 데이터 세트에는 100개의 관측값이 있습니다. 이는 시뮬레이션된 데이터입니다.
각 예측 변수마다 개별적인 길이 스케일을 갖는 제곱 지수 커널 함수를 사용하여 GPR 모델을 피팅합니다. 이 공분산 함수는 다음과 같이 정의됩니다.
여기서 은 예측 변수 ( = 1, 2, ..., )에 대한 길이 스케일을 나타내고 는 신호 표준편차입니다. 비제약 모수화 는 다음과 같습니다.
커널 함수의 길이 스케일을 10으로 초기화하고 신호 표준편차와 잡음 표준편차를 응답 변수의 표준편차로 초기화합니다.
sigma0 = std(ytrain); sigmaF0 = sigma0; d = size(Xtrain,2); sigmaM0 = 10*ones(d,1);
초기 커널 모수 값을 사용하여 GPR 모델을 피팅합니다. 훈련 데이터에서 예측 변수를 표준화합니다. 정확한 피팅 방법과 예측 방법을 사용합니다.
gprMdl = fitrgp(Xtrain,ytrain,'Basis','constant','FitMethod','exact',... 'PredictMethod','exact','KernelFunction','ardsquaredexponential',... 'KernelParameters',[sigmaM0;sigmaF0],'Sigma',sigma0,'Standardize',1);
검정 데이터에 대해 회귀 손실을 계산합니다.
L = loss(gprMdl,Xtest,ytest)
L = 0.6919
커널 정보에 액세스합니다.
gprMdl.KernelInformation
ans = struct with fields:
Name: 'ARDSquaredExponential'
KernelParameters: [7x1 double]
KernelParameterNames: {7x1 cell}
커널 모수 이름을 표시합니다.
gprMdl.KernelInformation.KernelParameterNames
ans = 7x1 cell
{'LengthScale1'}
{'LengthScale2'}
{'LengthScale3'}
{'LengthScale4'}
{'LengthScale5'}
{'LengthScale6'}
{'SigmaF' }
커널 모수를 표시합니다.
sigmaM = gprMdl.KernelInformation.KernelParameters(1:end-1,1)
sigmaM = 6×1
104 ×
0.0004
0.0007
0.0004
4.7665
0.1018
0.0056
sigmaF = gprMdl.KernelInformation.KernelParameters(end)
sigmaF = 28.1720
sigma = gprMdl.Sigma
sigma = 0.8162
학습된 길이 스케일의 로그를 플로팅합니다.
figure() plot((1:d)',log(sigmaM),'ro-'); xlabel('Length scale number'); ylabel('Log of length scale');
4번째 및 5번째 예측 변수에 대한 길이 스케일의 로그는 다른 변수보다 상대적으로 높습니다. 이러한 예측 변수는 다른 예측 변수만큼 응답 변수에 미치는 영향이 크지 않은 것으로 보입니다.
4번째 및 5번째 변수를 예측 변수로 사용하지 않고 GPR 모델을 피팅합니다.
X = [Xtrain(:,1:3) Xtrain(:,6)]; sigma0 = std(ytrain); sigmaF0 = sigma0; d = size(X,2); sigmaM0 = 10*ones(d,1); gprMdl = fitrgp(X,ytrain,'Basis','constant','FitMethod','exact',... 'PredictMethod','exact','KernelFunction','ardsquaredexponential',... 'KernelParameters',[sigmaM0;sigmaF0],'Sigma',sigma0,'Standardize',1);
검정 데이터에 대한 회귀 오차를 계산합니다.
xtest = [Xtest(:,1:3) Xtest(:,6)]; L = loss(gprMdl,xtest,ytest)
L = 0.6928
손실은 모든 변수가 예측 변수로 사용된 경우의 손실과 유사합니다.
검정 데이터에 대해 예측된 응답 값을 계산합니다.
ypred = predict(gprMdl,xtest);
피팅된 값과 함께 원래 응답 변수 값을 플로팅합니다.
figure; plot(ytest,'r'); hold on; plot(ypred,'b'); legend('True response','GPR predicted values','Location','Best'); hold off
GPR 회귀 최적화하기
이 예제에서는 fitrgp를 사용하여 자동으로 하이퍼파라미터를 최적화하는 방법을 보여줍니다. 이 예제에서는 소프트웨어와 함께 제공되는 gprdata2 데이터를 사용합니다.
데이터를 불러옵니다.
load('gprdata2.mat')이 데이터에는 하나의 예측 변수와 연속형 응답 변수가 있습니다. 이는 시뮬레이션된 데이터입니다.
디폴트 커널 모수를 갖는 제곱 지수 커널 함수를 사용하여 GPR 모델을 피팅합니다.
gprMdl1 = fitrgp(x,y,'KernelFunction','squaredexponential');
자동 하이퍼파라미터 최적화를 사용하여 5겹 교차 검증 손실을 최소화하는 하이퍼파라미터를 구합니다.
재현이 가능하도록 난수 시드값을 설정하고 'expected-improvement-plus' 획득 함수를 사용합니다.
rng default gprMdl2 = fitrgp(x,y,'KernelFunction','squaredexponential',... 'OptimizeHyperparameters','auto','HyperparameterOptimizationOptions',... struct('AcquisitionFunctionName','expected-improvement-plus'));
|=====================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Sigma | Standardize |
| | result | log(1+loss) | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 1 | Best | 0.42258 | 2.0173 | 0.42258 | 0.42258 | 2.7255 | false |
| 2 | Best | 0.29417 | 2.8337 | 0.29417 | 0.3301 | 0.0057724 | true |
| 3 | Accept | 1.6498 | 1.3403 | 0.29417 | 0.3383 | 25.905 | true |
| 4 | Accept | 0.29417 | 3.2502 | 0.29417 | 0.29425 | 0.0098001 | false |
| 5 | Best | 0.039309 | 4.2011 | 0.039309 | 0.039451 | 0.1084 | false |
| 6 | Accept | 0.29417 | 6.2596 | 0.039309 | 0.039469 | 0.00010031 | true |
| 7 | Accept | 0.29417 | 3.9403 | 0.039309 | 0.15983 | 0.00010039 | false |
| 8 | Accept | 0.039845 | 2.494 | 0.039309 | 0.038857 | 0.095793 | false |
| 9 | Best | 0.037789 | 2.698 | 0.037789 | 0.0374 | 0.17968 | false |
| 10 | Accept | 0.29417 | 3.3222 | 0.037789 | 0.037408 | 0.00079688 | true |
| 11 | Accept | 0.037908 | 2.2384 | 0.037789 | 0.035598 | 0.13877 | false |
| 12 | Accept | 0.037911 | 3.2957 | 0.037789 | 0.036245 | 0.13814 | false |
| 13 | Accept | 0.037915 | 3.1774 | 0.037789 | 0.036619 | 0.13705 | false |
| 14 | Best | 0.037728 | 2.4555 | 0.037728 | 0.037263 | 0.35683 | true |
| 15 | Accept | 0.039463 | 2.2795 | 0.037728 | 0.037144 | 0.10174 | true |
| 16 | Accept | 0.037752 | 2.5351 | 0.037728 | 0.037322 | 0.19898 | true |
| 17 | Accept | 0.2865 | 2.9674 | 0.037728 | 0.037801 | 0.046127 | true |
| 18 | Accept | 0.29417 | 3.1411 | 0.037728 | 0.037799 | 0.00078483 | false |
| 19 | Accept | 2.0992 | 1.7527 | 0.037728 | 0.037943 | 29.2 | false |
| 20 | Accept | 0.42266 | 1.6945 | 0.037728 | 0.03731 | 0.65474 | false |
|=====================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | Sigma | Standardize |
| | result | log(1+loss) | runtime | (observed) | (estim.) | | |
|=====================================================================================================|
| 21 | Accept | 0.42356 | 1.9746 | 0.037728 | 0.037333 | 0.99911 | true |
| 22 | Accept | 0.29144 | 2.5406 | 0.037728 | 0.037412 | 0.036437 | false |
| 23 | Accept | 0.29417 | 3.155 | 0.037728 | 0.037374 | 0.0028126 | false |
| 24 | Accept | 0.037926 | 2.6853 | 0.037728 | 0.03734 | 0.13439 | true |
| 25 | Accept | 0.29417 | 3.1472 | 0.037728 | 0.037309 | 0.0022057 | true |
| 26 | Best | 0.037683 | 2.9618 | 0.037683 | 0.037288 | 0.28002 | true |
| 27 | Accept | 0.29417 | 3.4037 | 0.037683 | 0.037257 | 0.00026057 | false |
| 28 | Accept | 0.29417 | 3.6908 | 0.037683 | 0.037227 | 0.00025684 | true |
| 29 | Accept | 0.038598 | 2.7348 | 0.037683 | 0.037245 | 0.12062 | true |
| 30 | Accept | 0.037686 | 2.5045 | 0.037683 | 0.037261 | 0.30522 | true |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 117.3626 seconds
Total objective function evaluation time: 86.6926
Best observed feasible point:
Sigma Standardize
_______ ___________
0.28002 true
Observed objective function value = 0.037683
Estimated objective function value = 0.036997
Function evaluation time = 2.9618
Best estimated feasible point (according to models):
Sigma Standardize
_______ ___________
0.13877 false
Estimated objective function value = 0.037261
Estimated function evaluation time = 2.7325
최적화 전 피팅과 최적화 후 피팅을 비교합니다.
ypred1 = resubPredict(gprMdl1); ypred2 = resubPredict(gprMdl2); figure(); plot(x,y,'r.'); hold on plot(x,ypred1,'b'); plot(x,ypred2,'k','LineWidth',2); xlabel('x'); ylabel('y'); legend({'data','Initial Fit','Optimized Fit'},'Location','Best'); title('Impact of Optimization'); hold off
교차 검증을 사용하여 GPR 모델 훈련시키기
이 예제에서는 UCI Machine Learning Repository [3]의 전복 데이터 [1], [2]를 사용합니다. 데이터를 다운로드한 후 abalone.data라는 이름으로 현재 폴더에 저장합니다.
데이터를 table로 저장합니다. 처음 7개 행을 표시합니다.
tbl = readtable('abalone.data','Filetype','text','ReadVariableNames',false); tbl.Properties.VariableNames = {'Sex','Length','Diameter','Height','WWeight','SWeight','VWeight','ShWeight','NoShellRings'}; tbl(1:7,:)
ans =
Sex Length Diameter Height WWeight SWeight VWeight ShWeight NoShellRings
___ ______ ________ ______ _______ _______ _______ ________ ____________
'M' 0.455 0.365 0.095 0.514 0.2245 0.101 0.15 15
'M' 0.35 0.265 0.09 0.2255 0.0995 0.0485 0.07 7
'F' 0.53 0.42 0.135 0.677 0.2565 0.1415 0.21 9
'M' 0.44 0.365 0.125 0.516 0.2155 0.114 0.155 10
'I' 0.33 0.255 0.08 0.205 0.0895 0.0395 0.055 7
'I' 0.425 0.3 0.095 0.3515 0.141 0.0775 0.12 8
'F' 0.53 0.415 0.15 0.7775 0.237 0.1415 0.33 20데이터셋에는 4177개의 관측값이 있습니다. 8개 물리적 측정값에서 전복의 나이를 예측하는 것이 목적입니다. 마지막 변수인 껍데기의 나이테 수가 전복의 나이입니다. 첫 번째 예측 변수는 범주형 변수입니다. 테이블의 마지막 변수는 응답 변수입니다.
검증에 데이터의 25%를 사용하여 교차 검증된 GPR 모델을 훈련시킵니다.
rng('default') % For reproducibility cvgprMdl = fitrgp(tbl,'NoShellRings','Standardize',1,'Holdout',0.25);
겹 바깥의 관측값에 대해 훈련된 모델을 사용하여 겹에 대한 평균 손실을 계산합니다.
kfoldLoss(cvgprMdl)
ans = 4.6409
겹 바깥의 데이터에 대한 응답 변수를 예측합니다.
ypred = kfoldPredict(cvgprMdl);
검정에 사용되는 실제 응답 변수 값과 예측 값을 플로팅합니다.
figure(); plot(ypred(cvgprMdl.Partition.test)); hold on; y = table2array(tbl(:,end)); plot(y(cvgprMdl.Partition.test),'r.'); axis([0 1050 0 30]); xlabel('x') ylabel('y') hold off;
사용자 지정 커널 함수를 사용하여 GPR 모델 피팅하기
표본 데이터를 생성합니다.
rng(0,'twister'); % For reproducibility n = 1000; x = linspace(-10,10,n)'; y = 1 + x*5e-2 + sin(x)./x + 0.2*randn(n,1);
제곱 지수 커널 함수를 사용자 지정 커널 함수로 정의합니다.
제곱 지수 커널 함수를 다음과 같이 계산할 수 있습니다.
여기서 는 신호 표준편차이고, 은 길이 스케일입니다. 및 은 모두 0보다 커야 합니다. 이 조건은 일부 비제약 모수화 벡터 에 대해 비제약 모수화 및 에 의해 적용될 수 있습니다.
따라서 다음과 같이 제곱 지수 커널 함수를 사용자 지정 커널 함수로 정의할 수 있습니다.
kfcn = @(XN,XM,theta) (exp(theta(2))^2)*exp(-(pdist2(XN,XM).^2)/(2*exp(theta(1))^2));
여기서 pdist2(XN,XM).^2은 거리 행렬을 계산합니다.
사용자 지정 커널 함수 kfcn을 사용하여 GPR 모델을 피팅합니다. 커널 모수의 초기값을 지정합니다(사용자 지정 커널 함수를 사용하고 있으므로 비제약 모수화 벡터 theta의 초기값을 지정해야 함).
theta0 = [1.5,0.2]; gprMdl = fitrgp(x,y,'KernelFunction',kfcn,'KernelParameters',theta0);
fitrgp는 내장 커널 함수를 사용할 때 해석적 도함수를 사용하여 모수를 추정하는 반면, 사용자 지정 커널 함수를 사용할 때는 수치적 도함수를 사용합니다.
이 모델에 대한 재대입 손실을 계산합니다.
L = resubLoss(gprMdl)
L = 0.0391
내장 제곱 지수 커널 함수 옵션을 사용하여 GPR 모델을 피팅합니다. 커널 모수의 초기값을 지정합니다(내장 사용자 지정 커널 함수를 사용하고 초기 모수 값을 지정하는 중이므로 신호 표준편차와 길이 스케일의 초기값을 직접 지정해야 함).
sigmaL0 = exp(1.5); sigmaF0 = exp(0.2); gprMdl2 = fitrgp(x,y,'KernelFunction','squaredexponential','KernelParameters',[sigmaL0,sigmaF0]);
이 모델에 대한 재대입 손실을 계산합니다.
L2 = resubLoss(gprMdl2)
L2 = 0.0391
예상대로 두 손실 값이 같습니다.
LBFGS 최적화에 대한 초기 스텝 크기 지정하기
다수의 예측 변수를 사용하여 생성된 데이터에 대해 GPR 모델을 훈련시킵니다. LBFGS 최적화 함수에 대한 초기 스텝 크기를 지정합니다.
결과 재현이 가능하도록 난수 생성기의 유형과 시드값을 설정합니다.
rng(0,'twister'); % For reproducibility
300개의 관측값과 3000개의 예측 변수로 구성된 표본 데이터를 생성합니다. 여기서 응답 변수는 4번째, 7번째, 13번째 예측 변수에 따라 결정됩니다.
N = 300; P = 3000; X = rand(N,P); y = cos(X(:,7)) + sin(X(:,4).*X(:,13)) + 0.1*randn(N,1);
커널 모수의 초기값을 설정합니다.
sigmaL0 = sqrt(P)*ones(P,1); % Length scale for predictors sigmaF0 = 1; % Signal standard deviation
초기 잡음 표준편차를 1로 설정합니다.
sigmaN0 = 1;
상대 기울기 노름에 대한 종료 허용오차로 1e-2 를 지정합니다.
opts = statset('fitrgp');
opts.TolFun = 1e-2;초기 커널 모수 값, 초기 잡음 표준편차, 자동 관련성 결정(ARD) 제곱 지수 커널 함수를 사용하여 GPR 모델을 피팅합니다.
LBFGS 최적화 함수에 대한 초기 헤세 행렬 근사를 결정할 때 사용할 초기 스텝 크기를 1로 지정합니다.
gpr = fitrgp(X,y,'KernelFunction','ardsquaredexponential','Verbose',1, ... 'Optimizer','lbfgs','OptimizerOptions',opts, ... 'KernelParameters',[sigmaL0;sigmaF0],'Sigma',sigmaN0,'InitialStepSize',1);
o Parameter estimation: FitMethod = Exact, Optimizer = lbfgs
o Solver = LBFGS, HessianHistorySize = 15, LineSearchMethod = weakwolfe
|====================================================================================================|
| ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT |
|====================================================================================================|
| 0 | 3.004966e+02 | 2.569e+02 | 0.000e+00 | | 3.893e-03 | 0.000e+00 | YES |
| 1 | 9.525779e+01 | 1.281e+02 | 1.003e+00 | OK | 6.913e-03 | 1.000e+00 | YES |
| 2 | 3.972026e+01 | 1.647e+01 | 7.639e-01 | OK | 4.718e-03 | 5.000e-01 | YES |
| 3 | 3.893873e+01 | 1.073e+01 | 1.057e-01 | OK | 3.243e-03 | 1.000e+00 | YES |
| 4 | 3.859904e+01 | 5.659e+00 | 3.282e-02 | OK | 3.346e-03 | 1.000e+00 | YES |
| 5 | 3.748912e+01 | 1.030e+01 | 1.395e-01 | OK | 1.460e-03 | 1.000e+00 | YES |
| 6 | 2.028104e+01 | 1.380e+02 | 2.010e+00 | OK | 2.326e-03 | 1.000e+00 | YES |
| 7 | 2.001849e+01 | 1.510e+01 | 9.685e-01 | OK | 2.344e-03 | 1.000e+00 | YES |
| 8 | -7.706109e+00 | 8.340e+01 | 1.125e+00 | OK | 5.771e-04 | 1.000e+00 | YES |
| 9 | -1.786074e+01 | 2.323e+02 | 2.647e+00 | OK | 4.217e-03 | 1.250e-01 | YES |
| 10 | -4.058422e+01 | 1.972e+02 | 6.796e-01 | OK | 7.035e-03 | 1.000e+00 | YES |
| 11 | -7.850209e+01 | 4.432e+01 | 8.335e-01 | OK | 3.099e-03 | 1.000e+00 | YES |
| 12 | -1.312162e+02 | 3.334e+01 | 1.277e+00 | OK | 5.432e-02 | 1.000e+00 | YES |
| 13 | -2.005064e+02 | 9.519e+01 | 2.828e+00 | OK | 5.292e-03 | 1.000e+00 | YES |
| 14 | -2.070150e+02 | 1.898e+01 | 1.641e+00 | OK | 6.817e-03 | 1.000e+00 | YES |
| 15 | -2.108086e+02 | 3.793e+01 | 7.685e-01 | OK | 3.479e-03 | 1.000e+00 | YES |
| 16 | -2.122920e+02 | 7.057e+00 | 1.591e-01 | OK | 2.055e-03 | 1.000e+00 | YES |
| 17 | -2.125610e+02 | 4.337e+00 | 4.818e-02 | OK | 1.974e-03 | 1.000e+00 | YES |
| 18 | -2.130162e+02 | 1.178e+01 | 8.891e-02 | OK | 2.856e-03 | 1.000e+00 | YES |
| 19 | -2.139378e+02 | 1.933e+01 | 2.371e-01 | OK | 1.029e-02 | 1.000e+00 | YES |
|====================================================================================================|
| ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT |
|====================================================================================================|
| 20 | -2.151111e+02 | 1.550e+01 | 3.015e-01 | OK | 2.765e-02 | 1.000e+00 | YES |
| 21 | -2.173046e+02 | 5.856e+00 | 6.537e-01 | OK | 1.414e-02 | 1.000e+00 | YES |
| 22 | -2.201781e+02 | 8.918e+00 | 8.484e-01 | OK | 6.381e-03 | 1.000e+00 | YES |
| 23 | -2.288858e+02 | 4.846e+01 | 2.311e+00 | OK | 2.661e-03 | 1.000e+00 | YES |
| 24 | -2.392171e+02 | 1.190e+02 | 6.283e+00 | OK | 8.113e-03 | 1.000e+00 | YES |
| 25 | -2.511145e+02 | 1.008e+02 | 1.198e+00 | OK | 1.605e-02 | 1.000e+00 | YES |
| 26 | -2.742547e+02 | 2.207e+01 | 1.231e+00 | OK | 3.191e-03 | 1.000e+00 | YES |
| 27 | -2.849931e+02 | 5.067e+01 | 3.660e+00 | OK | 5.184e-03 | 1.000e+00 | YES |
| 28 | -2.899797e+02 | 2.068e+01 | 1.162e+00 | OK | 6.270e-03 | 1.000e+00 | YES |
| 29 | -2.916723e+02 | 1.816e+01 | 3.213e-01 | OK | 1.415e-02 | 1.000e+00 | YES |
| 30 | -2.947674e+02 | 6.965e+00 | 1.126e+00 | OK | 6.339e-03 | 1.000e+00 | YES |
| 31 | -2.962491e+02 | 1.349e+01 | 2.352e-01 | OK | 8.999e-03 | 1.000e+00 | YES |
| 32 | -3.004921e+02 | 1.586e+01 | 9.880e-01 | OK | 3.940e-02 | 1.000e+00 | YES |
| 33 | -3.118906e+02 | 1.889e+01 | 3.318e+00 | OK | 1.213e-01 | 1.000e+00 | YES |
| 34 | -3.189215e+02 | 7.086e+01 | 3.070e+00 | OK | 8.095e-03 | 1.000e+00 | YES |
| 35 | -3.245557e+02 | 4.366e+00 | 1.397e+00 | OK | 2.718e-03 | 1.000e+00 | YES |
| 36 | -3.254613e+02 | 3.751e+00 | 6.546e-01 | OK | 1.004e-02 | 1.000e+00 | YES |
| 37 | -3.262823e+02 | 4.011e+00 | 2.026e-01 | OK | 2.441e-02 | 1.000e+00 | YES |
| 38 | -3.325606e+02 | 1.773e+01 | 2.427e+00 | OK | 5.234e-02 | 1.000e+00 | YES |
| 39 | -3.350374e+02 | 1.201e+01 | 1.603e+00 | OK | 2.674e-02 | 1.000e+00 | YES |
|====================================================================================================|
| ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT |
|====================================================================================================|
| 40 | -3.379112e+02 | 5.280e+00 | 1.393e+00 | OK | 1.177e-02 | 1.000e+00 | YES |
| 41 | -3.389136e+02 | 3.061e+00 | 7.121e-01 | OK | 2.935e-02 | 1.000e+00 | YES |
| 42 | -3.401070e+02 | 4.094e+00 | 6.224e-01 | OK | 3.399e-02 | 1.000e+00 | YES |
| 43 | -3.436291e+02 | 8.833e+00 | 1.707e+00 | OK | 5.231e-02 | 1.000e+00 | YES |
| 44 | -3.456295e+02 | 5.891e+00 | 1.424e+00 | OK | 3.772e-02 | 1.000e+00 | YES |
| 45 | -3.460069e+02 | 1.126e+01 | 2.580e+00 | OK | 3.907e-02 | 1.000e+00 | YES |
| 46 | -3.481756e+02 | 1.546e+00 | 8.142e-01 | OK | 1.565e-02 | 1.000e+00 | YES |
Infinity norm of the final gradient = 1.546e+00
Two norm of the final step = 8.142e-01, TolX = 1.000e-12
Relative infinity norm of the final gradient = 6.016e-03, TolFun = 1.000e-02
EXIT: Local minimum found.
o Alpha estimation: PredictMethod = Exact
GPR 모델이 다수의 예측 변수를 갖는 ARD 커널을 사용하므로 헤세 행렬에 대한 LBFGS 근사를 사용하는 것이 전체 헤세 행렬을 저장하는 것보다 메모리 효율성이 더 높습니다. 또한, 초기 스텝 크기를 사용하여 초기 헤세 행렬 근삿값을 결정하면 최적화 속도를 높이는 데에도 도움이 될 수 있습니다.
음의 학습된 길이 스케일의 지수를 계산하여 예측 변수 가중치를 구합니다. 가중치를 정규화합니다.
sigmaL = gpr.KernelInformation.KernelParameters(1:end-1); % Learned length scales weights = exp(-sigmaL); % Predictor weights weights = weights/sum(weights); % Normalized predictor weights
정규화된 예측 변수 가중치를 플로팅합니다.
figure; semilogx(weights,'ro'); xlabel('Predictor index'); ylabel('Predictor weight');
훈련된 GPR 모델은 가장 큰 가중치를 4번째, 7번째, 13번째 예측 변수에 할당합니다. 관련 없는 예측 변수는 0에 가까운 가중치를 가집니다.
입력 인수
출력 인수
세부 정보
팁
fitrgp는 피팅, 예측, 활성 세트 선택 방법의 모든 조합을 허용합니다. 예측된 응답의 표준편차를 계산할 수 없고 이로 인해 예측 구간 역시 계산할 수 없는 경우가 있을 수 있습니다.predict를 참조하십시오. 또한, 경우에 따라 정확한 방법을 사용하면 훈련 데이터의 크기로 인해 시간이 오래 걸릴 수 있습니다.PredictorNames속성은 원래 예측 변수 이름마다 하나의 요소를 저장합니다. 예를 들어, 예측 변수가 3개 있고 그중 하나가 3개 수준을 갖는 범주형 변수인 경우PredictorNames는 문자형 벡터로 구성된 1×3 셀형 배열입니다.ExpandedPredictorNames속성은 가변수를 포함하여 예측 변수마다 하나의 요소를 저장합니다. 예를 들어, 예측 변수가 3개 있고 그중 하나가 3개 수준을 갖는 범주형 변수인 경우ExpandedPredictorNames는 문자형 벡터로 구성된 1×5 셀형 배열입니다.마찬가지로,
Beta속성은 가변수를 포함하여 예측 변수마다 하나의 베타 계수를 저장합니다.X속성은 훈련 데이터를 원래 입력된 대로 저장합니다. 가변수는 포함하지 않습니다.fitrgp에서 헤세 행렬 근삿값을 초기화하는 기본 접근법은 다수의 예측 변수를 갖는 ARD 커널을 사용하는 경우와 같이 다수의 커널 모수를 갖는 GPR 모델이 있는 경우 느릴 수 있습니다. 이 경우,'auto'또는 초기 스텝 크기의 값을 지정하는 것이 좋습니다.반복 진단 메시지를 표시하려면
'Verbose',1을 선택하고 디폴트fitrgp최적화로 LBFGS 또는 준뉴턴 최적화 함수를 사용하여 GPR 모델 훈련을 시작할 수 있습니다. 몇 초 후 반복 진단 메시지가 표시되지 않으면 헤세 행렬 근삿값을 초기화하는 데 너무 많은 시간이 걸리는 것일 수 있습니다. 이 경우, 훈련을 다시 시작하고 초기 스텝 크기를 사용하여 최적화 속도를 높여 보십시오.모델을 훈련시킨 후에는 새 데이터에 대한 응답 변수를 예측하는 C/C++ 코드를 생성할 수 있습니다. C/C++ 코드를 생성하려면 MATLAB Coder™가 필요합니다. 자세한 내용은 Introduction to Code Generation 항목을 참조하십시오. .
알고리즘
GPR 모델 피팅 과정에는 데이터에서 다음과 같은 모델 모수를 추정하는 작업이 포함됩니다.
벡터 의 커널 모수로 모수화되는 공분산 함수 (Kernel (Covariance) Function Options 참조)
잡음 분산
고정된 기저 함수의 계수 벡터
KernelParameters이름-값 인수의 값은 신호 표준편차 와 특성 길이 스케일 에 대한 초기값으로 구성된 벡터입니다. 이 값을 사용하여 커널 모수가 결정됩니다. 이와 유사하게Sigma이름-값 인수는 잡음 표준편차 에 대한 초기값을 포함합니다.최적화하는 동안 잡음 표준편차와 커널 모수에 대한 초기값을 사용하여 비제약 초기 모수 값 으로 구성된 벡터가 생성됩니다.
와 에 대한 추정된 값에서
Beta이름-값 인수로 지정된 명시적 기저 계수 가 해석적으로 판별됩니다. 따라서 수치 최적화를 초기화할 때 는 벡터에 나타나지 않습니다.참고
GPR 모델에 대한 모수의 추정값을 지정하지 않을 경우
Beta이름-값 인수 값과 기타 초기 모수 값이 알려진 GPR 모수 값으로 사용됩니다(Beta참조). 그 외 모든 경우,Beta값은 목적 함수에서 해석적으로 최적화됩니다.준뉴턴 최적화 함수는 헤세 행렬에 대한 조밀한 대칭 랭크 1 기반(SR1) 준뉴턴 근사와 함께 trust-region 방법을 사용합니다. LBFGS 최적화 함수는 헤세 행렬에 대한 LBFGS(limited-memory Broyden-Fletcher-Goldfarb-Shanno) 준뉴턴 근사와 함께 표준 직선 탐색 방법을 사용합니다. Nocedal과 Wright의 문헌 [6]을 참조하십시오.
InitialStepSize이름-값 인수를"auto"로 설정하는 경우 을 사용하여 초기 스텝 크기 가 결정됩니다.은 초기 스텝 벡터이고 은 비제약 초기 모수 값으로 구성된 벡터입니다.
최적화하는 동안 다음과 같이 초기 스텝 크기 가 사용됩니다.
초기 스텝 크기와 함께
Optimizer="quasinewton"을 지정하는 경우 초기 헤세 행렬 근삿값은 입니다.초기 스텝 크기와 함께
Optimizer="lbfgs"를 지정하는 경우 초기 역헤세 행렬 근삿값은 입니다.은 초기 기울기 벡터이고 는 단위 행렬입니다.
참고 문헌
[1] Nash, W.J., T. L. Sellers, S. R. Talbot, A. J. Cawthorn, and W. B. Ford. "The Population Biology of Abalone (Haliotis species) in Tasmania. I. Blacklip Abalone (H. rubra) from the North Coast and Islands of Bass Strait." Sea Fisheries Division, Technical Report No. 48, 1994.
[2] Waugh, S. "Extending and Benchmarking Cascade-Correlation: Extensions to the Cascade-Correlation Architecture and Benchmarking of Feed-forward Supervised Artificial Neural Networks." University of Tasmania Department of Computer Science thesis, 1995.
[3] Lichman, M. UCI Machine Learning Repository, Irvine, CA: University of California, School of Information and Computer Science, 2013. http://archive.ics.uci.edu/ml.
[4] Rasmussen, C. E. and C. K. I. Williams. Gaussian Processes for Machine Learning. MIT Press. Cambridge, Massachusetts, 2006.
[5] Lagarias, J. C., J. A. Reeds, M. H. Wright, and P. E. Wright. "Convergence Properties of the Nelder-Mead Simplex Method in Low Dimensions." SIAM Journal of Optimization. Vol. 9, Number 1, 1998, pp. 112–147.
[6] Nocedal, J. and S. J. Wright. Numerical Optimization, Second Edition. Springer Series in Operations Research, Springer Verlag, 2006.
확장 기능
버전 내역
R2015b에 개발됨
You can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)