이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.
fitcsvm
단일 클래스 및 이진 분류를 위한 서포트 벡터 머신(SVM) 분류기 훈련
구문
설명
fitcsvm은 저차원이나 중간 차원의 예측 변수 데이터 세트에 대한 단일 클래스 및 2-클래스(이진) 분류에 대해 서포트 벡터 머신(SVM) 모델을 훈련시키거나 교차 검증합니다. fitcsvm은 커널 함수를 사용하여 예측 변수 데이터를 매핑하는 것을 지원하고, 순차적 최소규모 최적화(SMO), 반복 단일 데이터 알고리즘(ISDA)도 지원하며, 목적 함수 최소화를 위한 2차 계획법을 사용하는 L1 소프트 마진(Soft Margin) 최소화를 지원합니다.
고차원 데이터 세트, 즉 많은 예측 변수를 포함하는 데이터 세트에 대한 이진 분류를 수행할 선형 SVM 모델을 훈련시키려면 fitclinear를 대신 사용하십시오.
이진 SVM 모델을 결합하는 다중클래스 학습에 대해서는 오류 수정 출력 코드(ECOC)를 사용하십시오. 자세한 내용은 fitcecoc를 참조하십시오.
SVM 회귀 모델을 훈련시키려면 저차원 및 중간 차원의 예측 변수 데이터 세트의 경우 fitrsvm을 참조하고 고차원 데이터 세트의 경우 fitrlinear를 참조하십시오.
Mdl = fitcsvm(Tbl,ResponseVarName)Tbl에 포함된 표본 데이터를 사용하여 훈련된 서포트 벡터 머신(SVM) 분류기 Mdl을 반환합니다. ResponseVarName은 Tbl에서 단일 클래스 또는 2-클래스 분류에 대한 클래스 레이블을 포함하는 변수의 이름입니다.
클래스 레이블 변수에 클래스가 한 개만 포함된 경우(예: 1로 구성된 벡터) fitcsvm은 단일 클래스 분류에 대해 모델을 훈련시킵니다. 그렇지 않은 경우, 함수는 2-클래스 분류에 대해 모델을 훈련시킵니다.
Mdl = fitcsvm(___,Name,Value)
예제
SVM 분류기 훈련시키기
피셔(Fisher)의 붓꽃 데이터 세트를 불러옵니다. 꽃받침 길이와 너비, 그리고 관측된 모든 부채붓꽃(Setosa Iris)을 제거합니다.
load fisheriris inds = ~strcmp(species,'setosa'); X = meas(inds,3:4); y = species(inds);
처리된 데이터 세트를 사용하여 SVM 분류기를 훈련시킵니다.
SVMModel = fitcsvm(X,y)
SVMModel =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 100
Alpha: [24x1 double]
Bias: -14.4149
KernelParameters: [1x1 struct]
BoxConstraints: [100x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [100x1 logical]
Solver: 'SMO'
SVMModel은 훈련된 ClassificationSVM 분류기입니다. SVMModel의 속성을 표시합니다. 예를 들어, 클래스 순서를 확인하려면 점 표기법을 사용하십시오.
classOrder = SVMModel.ClassNames
classOrder = 2x1 cell
{'versicolor'}
{'virginica' }
첫 번째 클래스('versicolor')는 음성 클래스이고, 두 번째 클래스('virginica')는 양성 클래스입니다. 'ClassNames' 이름-값 쌍의 인수를 사용하여 훈련 중에 클래스 순서를 변경할 수 있습니다.
데이터의 산점도 도식을 플로팅하고 서포트 벡터를 원으로 표시합니다.
sv = SVMModel.SupportVectors; figure gscatter(X(:,1),X(:,2),y) hold on plot(sv(:,1),sv(:,2),'ko','MarkerSize',10) legend('versicolor','virginica','Support Vector') hold off
서포트 벡터는 추정된 클래스 경계 또는 그 너머에 있는 관측값입니다.
'BoxConstraint' 이름-값 쌍의 인수를 사용하여 훈련 중에 상자 제약 조건을 설정하여 경계(즉, 서포트 벡터 개수)를 조정할 수 있습니다.
2-클래스 SVM 분류기의 결정 경계 및 마진 선 플로팅하기
이 예제에서는 2개의 예측 변수가 있는 2-클래스(이진) SVM 분류기의 결정 경계와 마진 선을 플로팅하는 방법을 보여줍니다.
피셔(Fisher)의 붓꽃 데이터 세트를 불러옵니다. 모든 versicolor 붓꽃 종을 제외시키고(setosa 종과 virginica 종만 남김), 꽃받침 길이와 너비 측정값만 남깁니다.
load fisheriris; inds = ~strcmp(species,'versicolor'); X = meas(inds,1:2); s = species(inds);
선형 커널 SVM 분류기를 훈련시킵니다.
SVMModel = fitcsvm(X,s);
SVMModel은 훈련된 ClassificationSVM 분류기이며, 그 속성에는 서포트 벡터, 선형 예측 변수 계수, 편향 항이 포함됩니다.
sv = SVMModel.SupportVectors; % Support vectors beta = SVMModel.Beta; % Linear predictor coefficients b = SVMModel.Bias; % Bias term
데이터의 산점도 도식을 플로팅하고, 서포트 벡터를 원으로 표시합니다. 서포트 벡터는 추정된 클래스 경계 또는 그 너머에 있는 관측값입니다.
hold on gscatter(X(:,1),X(:,2),s) plot(sv(:,1),sv(:,2),'ko','MarkerSize',10)
SVMModel 분류기의 최적의 분리 초평면은 으로 지정된 직선입니다. 두 종 사이의 결정 경계를 실선으로 플로팅합니다.
X1 = linspace(min(X(:,1)),max(X(:,1)),100);
X2 = -(beta(1)/beta(2)*X1)-b/beta(2);
plot(X1,X2,'-')선형 예측 변수 계수 는 결정 경계에 직교하는 벡터를 정의합니다. 최대 마진 너비는 입니다(자세한 내용은 이진 분류를 위한 서포트 벡터 머신 항목 참조). 최대 마진 경계를 파선으로 플로팅합니다. 좌표축에 레이블을 지정하고 범례를 추가합니다.
m = 1/sqrt(beta(1)^2 + beta(2)^2); % Margin half-width X1margin_low = X1+beta(1)*m^2; X2margin_low = X2+beta(2)*m^2; X1margin_high = X1-beta(1)*m^2; X2margin_high = X2-beta(2)*m^2; plot(X1margin_high,X2margin_high,'b--') plot(X1margin_low,X2margin_low,'r--') xlabel('X_1 (Sepal Length in cm)') ylabel('X_2 (Sepal Width in cm)') legend('setosa','virginica','Support Vector', ... 'Boundary Line','Upper Margin','Lower Margin') hold off
SVM 분류기를 훈련시키고 교차 검증하기
ionosphere 데이터 세트를 불러옵니다.
load ionosphere rng(1); % For reproducibility
방사 기저 커널을 사용하여 SVM 분류기를 훈련시킵니다. 소프트웨어가 커널 함수의 스케일 값을 구하도록 합니다. 예측 변수를 표준화합니다.
SVMModel = fitcsvm(X,Y,'Standardize',true,'KernelFunction','RBF',... 'KernelScale','auto');
SVMModel은 훈련된 ClassificationSVM 분류기입니다.
SVM 분류기를 교차 검증합니다. 기본적으로, 소프트웨어는 10겹 교차 검증을 사용합니다.
CVSVMModel = crossval(SVMModel);
CVSVMModel은 ClassificationPartitionedModel 교차 검증된 분류기입니다.
표본외 오분류율을 추정합니다.
classLoss = kfoldLoss(CVSVMModel)
classLoss = 0.0484
일반화율은 약 5%입니다.
SVM과 단일 클래스 학습을 사용하여 이상값 감지하기
모든 붓꽃을 동일한 클래스에 할당하여 피셔(Fisher)의 붓꽃 데이터 세트를 수정합니다. 수정된 데이터 세트에서 이상값을 감지하고 관측값 중 이상값 비율이 예상대로인지 확인합니다.
피셔(Fisher)의 붓꽃 데이터 세트를 불러옵니다. 꽃잎 길이와 너비를 제거합니다. 모든 붓꽃을 같은 클래스에서 온 것으로 처리합니다.
load fisheriris
X = meas(:,1:2);
y = ones(size(X,1),1);수정된 데이터 세트를 사용하여 SVM 분류기를 훈련시킵니다. 관측값의 5%가 이상값이라고 가정합니다. 예측 변수를 표준화합니다.
rng(1); SVMModel = fitcsvm(X,y,'KernelScale','auto','Standardize',true,... 'OutlierFraction',0.05);
SVMModel은 훈련된 ClassificationSVM 분류기입니다. 기본적으로, 소프트웨어는 단일 클래스 학습에 가우스 커널을 사용합니다.
관측값과 결정 경계를 플로팅합니다. 서포트 벡터와 잠재적인 이상값에 플래그를 지정합니다.
svInd = SVMModel.IsSupportVector; h = 0.02; % Mesh grid step size [X1,X2] = meshgrid(min(X(:,1)):h:max(X(:,1)),... min(X(:,2)):h:max(X(:,2))); [~,score] = predict(SVMModel,[X1(:),X2(:)]); scoreGrid = reshape(score,size(X1,1),size(X2,2)); figure plot(X(:,1),X(:,2),'k.') hold on plot(X(svInd,1),X(svInd,2),'ro','MarkerSize',10) contour(X1,X2,scoreGrid) colorbar; title('{\bf Iris Outlier Detection via One-Class SVM}') xlabel('Sepal Length (cm)') ylabel('Sepal Width (cm)') legend('Observation','Support Vector') hold off
이상값을 나머지 데이터와 분리하는 경계는 등고선 값이 0인 위치에서 나타납니다.
교차 검증된 데이터에서 음의 점수를 갖는 관측값의 비율이 5%에 가까운지 확인합니다.
CVSVMModel = crossval(SVMModel); [~,scorePred] = kfoldPredict(CVSVMModel); outlierRate = mean(scorePred<0)
outlierRate = 0.0467
이진 SVM을 사용하여 여러 클래스 경계 찾기
fisheriris 데이터 세트에 대한 산점도 플롯을 생성합니다. 플롯 내 그리드 좌표를 데이터 세트 분포의 새 관측값으로 처리하고 데이터 세트의 좌표 값을 세 클래스 중 하나에 할당하여 클래스 경계를 찾습니다.
피셔(Fisher)의 붓꽃 데이터 세트를 불러옵니다. 꽃잎 길이와 너비를 예측 변수로 사용합니다.
load fisheriris
X = meas(:,3:4);
Y = species;데이터에 대한 산점도 플롯을 검토합니다.
figure gscatter(X(:,1),X(:,2),Y); h = gca; lims = [h.XLim h.YLim]; % Extract the x and y axis limits title('{\bf Scatter Diagram of Iris Measurements}'); xlabel('Petal Length (cm)'); ylabel('Petal Width (cm)'); legend('Location','Northwest');
데이터에는 세 개의 클래스가 있는데, 이 중 한 클래스는 나머지 두 클래스로부터 선형 분리될 수 있습니다.
각 클래스에 대해 다음 작업을 수행합니다.
관측값이 그 클래스의 멤버인지 여부를 나타내는 논리형 벡터(
indx)를 생성합니다.예측 변수 데이터와
indx를 사용하여 SVM 분류기를 훈련시킵니다.셀형 배열의 셀로 분류기를 저장합니다.
클래스 순서를 정의합니다.
SVMModels = cell(3,1); classes = unique(Y); rng(1); % For reproducibility for j = 1:numel(classes) indx = strcmp(Y,classes(j)); % Create binary classes for each classifier SVMModels{j} = fitcsvm(X,indx,'ClassNames',[false true],'Standardize',true,... 'KernelFunction','rbf','BoxConstraint',1); end
SVMModels는 각 셀이 ClassificationSVM 분류기를 포함하는 3×1 셀형 배열입니다. 각 셀에 대해 양성 클래스는 각각 setosa, versicolor, virginica입니다.
플롯 내에 조밀한 그리드를 정의하고, 좌표를 훈련 데이터의 분포에서 새 관측값으로 처리합니다. 각 분류기를 사용하여 새 관측값의 점수를 추정합니다.
d = 0.02; [x1Grid,x2Grid] = meshgrid(min(X(:,1)):d:max(X(:,1)),... min(X(:,2)):d:max(X(:,2))); xGrid = [x1Grid(:),x2Grid(:)]; N = size(xGrid,1); Scores = zeros(N,numel(classes)); for j = 1:numel(classes) [~,score] = predict(SVMModels{j},xGrid); Scores(:,j) = score(:,2); % Second column contains positive-class scores end
Scores의 각 행에는 3개의 점수가 있습니다. 최대 점수를 갖는 요소의 인덱스는 새 클래스 관측값이 속할 가능성이 가장 높은 클래스의 인덱스입니다.
각각의 새 관측값을 최대 점수를 내는 분류기와 연결합니다.
[~,maxScore] = max(Scores,[],2);
대응되는 새 관측값이 속하는 클래스를 기준으로 플롯의 영역을 색으로 구분합니다.
figure h(1:3) = gscatter(xGrid(:,1),xGrid(:,2),maxScore,... [0.1 0.5 0.5; 0.5 0.1 0.5; 0.5 0.5 0.1]); hold on h(4:6) = gscatter(X(:,1),X(:,2),Y); title('{\bf Iris Classification Regions}'); xlabel('Petal Length (cm)'); ylabel('Petal Width (cm)'); legend(h,{'setosa region','versicolor region','virginica region',... 'observed setosa','observed versicolor','observed virginica'},... 'Location','Northwest'); axis tight hold off
SVM 분류기 최적화하기
fitcsvm을 사용하여 하이퍼파라미터를 자동으로 최적화합니다.
ionosphere 데이터 세트를 불러옵니다.
load ionosphere자동 하이퍼파라미터 최적화를 사용하여 5겹 교차 검증 손실을 최소화하는 하이퍼파라미터를 구합니다. 재현이 가능하도록 난수 시드값을 설정하고 'expected-improvement-plus' 획득 함수를 사용합니다.
rng default Mdl = fitcsvm(X,Y,'OptimizeHyperparameters','auto', ... 'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName', ... 'expected-improvement-plus'))
|====================================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Standardize |
| | result | | runtime | (observed) | (estim.) | | | |
|====================================================================================================================|
| 1 | Best | 0.35897 | 0.63701 | 0.35897 | 0.35897 | 3.8653 | 961.53 | true |
| 2 | Best | 0.1339 | 16.866 | 0.1339 | 0.16146 | 429.99 | 0.2378 | false |
| 3 | Accept | 0.35897 | 0.14514 | 0.1339 | 0.13712 | 0.11801 | 8.9479 | false |
| 4 | Accept | 0.1339 | 8.7426 | 0.1339 | 0.13515 | 0.0010694 | 0.0032063 | true |
| 5 | Best | 0.13105 | 1.4346 | 0.13105 | 0.13108 | 568.72 | 2.2544 | false |
| 6 | Best | 0.12821 | 17.19 | 0.12821 | 0.12823 | 0.0067651 | 0.0016188 | true |
| 7 | Best | 0.11966 | 0.31728 | 0.11966 | 0.11979 | 0.0030634 | 0.041782 | true |
| 8 | Accept | 0.1339 | 16.21 | 0.11966 | 0.11971 | 997.63 | 0.80596 | true |
| 9 | Accept | 0.35897 | 0.14117 | 0.11966 | 0.11968 | 0.001005 | 5.8605 | false |
| 10 | Accept | 0.23932 | 20.371 | 0.11966 | 0.11976 | 84.975 | 0.00562 | true |
| 11 | Accept | 0.20513 | 22.994 | 0.11966 | 0.11978 | 24.412 | 0.001408 | false |
| 12 | Accept | 0.35897 | 0.22789 | 0.11966 | 0.11968 | 0.0031461 | 6.6654 | true |
| 13 | Accept | 0.1339 | 5.4409 | 0.11966 | 0.1197 | 0.022631 | 0.012497 | true |
| 14 | Accept | 0.1396 | 0.28444 | 0.11966 | 0.11971 | 991.42 | 136.85 | false |
| 15 | Accept | 0.1339 | 0.9462 | 0.11966 | 0.11972 | 0.0030154 | 0.012778 | true |
| 16 | Accept | 0.12821 | 1.6934 | 0.11966 | 0.11972 | 0.49783 | 0.12412 | true |
| 17 | Accept | 0.35897 | 0.266 | 0.11966 | 0.11967 | 932.16 | 968.59 | false |
| 18 | Accept | 0.1339 | 0.1117 | 0.11966 | 0.11967 | 982.66 | 33.78 | false |
| 19 | Accept | 0.20798 | 22.185 | 0.11966 | 0.11967 | 882.21 | 0.19197 | true |
| 20 | Accept | 0.13675 | 12.213 | 0.11966 | 0.11967 | 963.39 | 0.7896 | false |
|====================================================================================================================|
| Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Standardize |
| | result | | runtime | (observed) | (estim.) | | | |
|====================================================================================================================|
| 21 | Accept | 0.21652 | 20.631 | 0.11966 | 0.11967 | 965.01 | 0.028437 | false |
| 22 | Accept | 0.1339 | 4.9151 | 0.11966 | 0.11967 | 952.24 | 3.3726 | true |
| 23 | Accept | 0.12536 | 0.56033 | 0.11966 | 0.1197 | 0.03224 | 0.067737 | true |
| 24 | Accept | 0.13105 | 1.4903 | 0.11966 | 0.1197 | 23.948 | 0.95371 | true |
| 25 | Best | 0.11681 | 0.13521 | 0.11681 | 0.11682 | 0.0012463 | 0.12747 | true |
| 26 | Accept | 0.13105 | 0.50869 | 0.11681 | 0.11682 | 0.038136 | 0.059607 | false |
| 27 | Accept | 0.1396 | 0.54162 | 0.11681 | 0.11682 | 0.0010048 | 0.0068725 | false |
| 28 | Accept | 0.1339 | 1.2472 | 0.11681 | 0.11682 | 3.5757 | 0.20235 | false |
| 29 | Accept | 0.1339 | 14.259 | 0.11681 | 0.11682 | 0.0011575 | 0.0010168 | false |
| 30 | Accept | 0.11966 | 0.23554 | 0.11681 | 0.11682 | 0.074799 | 0.26374 | true |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 215.6514 seconds
Total objective function evaluation time: 192.9423
Best observed feasible point:
BoxConstraint KernelScale Standardize
_____________ ___________ ___________
0.0012463 0.12747 true
Observed objective function value = 0.11681
Estimated objective function value = 0.11682
Function evaluation time = 0.13521
Best estimated feasible point (according to models):
BoxConstraint KernelScale Standardize
_____________ ___________ ___________
0.0012463 0.12747 true
Estimated objective function value = 0.11682
Estimated function evaluation time = 0.12878
Mdl =
ClassificationSVM
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'b' 'g'}
ScoreTransform: 'none'
NumObservations: 351
HyperparameterOptimizationResults: [1x1 BayesianOptimization]
Alpha: [115x1 double]
Bias: 0.2530
KernelParameters: [1x1 struct]
Mu: [0.8917 0 0.6413 0.0444 0.6011 0.1159 0.5501 0.1194 0.5118 0.1813 0.4762 0.1550 0.4008 0.0934 0.3442 0.0711 0.3819 -0.0036 0.3594 -0.0240 0.3367 0.0083 0.3625 -0.0574 0.3961 -0.0712 0.5416 -0.0695 ... ] (1x34 double)
Sigma: [0.3112 0 0.4977 0.4414 0.5199 0.4608 0.4927 0.5207 0.5071 0.4839 0.5635 0.4948 0.6222 0.4949 0.6528 0.4584 0.6180 0.4968 0.6263 0.5191 0.6098 0.5182 0.6038 0.5275 0.5785 0.5085 0.5162 0.5500 ... ] (1x34 double)
BoxConstraints: [351x1 double]
ConvergenceInfo: [1x1 struct]
IsSupportVector: [351x1 logical]
Solver: 'SMO'
입력 인수
출력 인수
제한 사항
fitcsvm은 단일 클래스 학습 응용 사례와 2-클래스 학습 응용 사례에 대해 SVM 분류기를 훈련시킵니다. 세 개 이상의 클래스를 갖는 데이터를 사용하여 SVM 분류기를 훈련시키려면fitcecoc를 사용하십시오.fitcsvm은 저차원 및 중간 차원의 데이터 세트를 지원합니다. 고차원 데이터 세트에 대해서는fitclinear를 대신 사용하십시오.
세부 정보
팁
데이터 세트가 크지 않다면 항상 예측 변수를 표준화하도록 하십시오(
Standardize참조). 표준화를 수행하면 예측 변수가 측정되는 척도에 영향을 받지 않게 됩니다.KFold이름-값 쌍의 인수를 사용하여 교차 검증을 수행하는 것이 좋습니다. 교차 검증 결과를 통해 SVM 분류기가 얼마나 잘 일반화되는지 확인할 수 있습니다.단일 클래스 학습의 경우:
서포트 벡터의 희소성은 SVM 분류기에 있어서는 이상적인 속성입니다. 서포트 벡터의 개수를 줄이려면
BoxConstraint를 큰 값으로 설정하십시오. 단, 이 동작을 수행하면 훈련 시간이 증가합니다.최적의 훈련 시간을 위해
CacheSize를 컴퓨터의 메모리 제한이 허용하는 한 최대한 높게 설정하십시오.훈련 세트에서 서포트 벡터의 개수가 관측값보다 훨씬 적을 거라 예상되는 경우, 이름-값 쌍의 인수
'ShrinkagePeriod'를 사용하여 활성 세트를 축소함으로써 수렴되는 속도를 상당히 높일 수 있습니다.'ShrinkagePeriod',1000을 지정하는 것이 좋습니다.결정 경계에서 멀리 떨어진 중복된 관측값은 수렴에 영향을 미치지 않습니다. 그러나, 결정 경계 가까이에 있는 중복된 관측값은 몇 개만 있더라도 수렴되는 속도가 상당히 느려질 수 있습니다. 다음과 같은 경우
'RemoveDuplicates',true를 지정하여 수렴되는 속도를 높이십시오.데이터 세트에 중복된 관측값이 많이 있는 경우.
몇 개의 중복된 관측값이 결정 경계 가까이에 있다고 의심되는 경우.
훈련 중에 원래 데이터 세트를 유지하기 위해
fitcsvm함수는 원래 데이터 세트와 중복된 관측값을 제거한 두 개의 데이터 세트를 일시적으로 별도로 저장해야 합니다. 따라서, 몇몇 중복된 관측값을 포함하는 데이터 세트에 대해true를 지정할 경우fitcsvm함수는 원래 데이터 메모리의 두 배에 가까운 메모리를 사용합니다.모델을 훈련시킨 후에는 새 데이터에 대한 레이블을 예측하는 C/C++ 코드를 생성할 수 있습니다. C/C++ 코드를 생성하려면 MATLAB Coder™가 필요합니다. 자세한 내용은 Introduction to Code Generation 항목을 참조하십시오.
알고리즘
SVM 이진 분류 알고리즘의 수학적 공식은 이진 분류를 위한 서포트 벡터 머신 항목과 서포트 벡터 머신 이해하기 항목을 참조하십시오.
NaN,<undefined>, 빈 문자형 벡터(''), 빈 string형(""),<missing>값은 누락값을 나타냅니다.fitcsvm은 누락값인 응답 변수에 대응되는 데이터의 전체 행을 제거합니다. 총 가중치를 계산할 때(다음 글머리 기호 항목 참조),fitcsvm은 누락값인 예측 변수를 하나라도 갖는 관측값에 대응되는 가중치를 모두 무시합니다. 이 동작은 균형 클래스 문제에서 불균형 사전 확률을 초래할 수 있습니다. 따라서, 관측값 상자 제약 조건은BoxConstraint와 일치하지 않을 수 있습니다.Cost,Prior및Weights이름-값 인수를 지정할 경우 출력 모델 객체는 지정된 값을 각각Cost,Prior및W속성에 저장합니다.Cost속성이 사용자가 지정한 비용 행렬(C)을 수정 없이 저장합니다.Prior속성과W속성은 각각 정규화한 후의 사전 확률 및 관측값 가중치를 저장합니다. 모델 훈련 시, 소프트웨어는 비용 행렬에 있는 벌점을 통합하도록 사전 확률과 관측값 가중치를 업데이트합니다. 자세한 내용은 오분류 비용 행렬, 사전 확률 및 관측값 가중치 항목을 참조하십시오.Cost및Prior이름-값 인수는 2-클래스 학습에 사용됩니다. 단일 클래스 학습의 경우Cost및Prior속성은 각각0과1을 저장합니다.2-클래스 학습의 경우,
fitcsvm은 상자 제약 조건을 훈련 데이터의 각 관측값에 할당합니다. 관측값 j의 상자 제약 조건에 대한 공식은 다음과 같습니다.여기서 C0은 초기 상자 제약 조건이고(
BoxConstraint이름-값 인수 참조), wj*는 관측값 j에 대해Cost및Prior에 의해 조정된 관측값 가중치입니다. 관측값 가중치에 대한 자세한 내용은 오분류 비용 행렬에 대한 사전 확률 및 관측값 가중치 조정하기 항목을 참조하십시오.Standardize를true로 지정하고Cost,Prior또는Weights이름-값 인수를 설정하면fitcsvm이 대응되는 가중 평균과 가중 표준편차를 사용하여 예측 변수를 표준화합니다. 즉,fitcsvm은 다음을 사용하여 예측 변수 j(xj)를 표준화합니다.여기서 xjk는 예측 변수 j(열)의 관측값 k(행)이며 다음이 성립됩니다.
p가 훈련 데이터에서 사용자가 예상하는 이상값 비율이고'OutlierFraction',p를 설정한다고 가정합니다.단일 클래스 학습의 경우, 소프트웨어가 훈련 데이터에 포함된 관측값의 100
p%가 음의 점수를 가지도록 편향 항을 훈련시킵니다.2-클래스 학습의 경우 소프트웨어가 로버스트 학습을 구현합니다. 다시 말해, 최적화 알고리즘이 수렴될 때 소프트웨어가 관측값의 100
p%를 제거한다는 의미입니다. 제거되는 관측값은 크기가 큰 기울기에 해당합니다.
예측 변수 데이터에 범주형 변수가 포함된 경우 소프트웨어가 일반적으로 이러한 변수에 대해 전체 가변수 인코딩을 사용합니다. 소프트웨어는 각 범주형 변수의 각 수준마다 하나의 가변수를 생성합니다.
PredictorNames속성은 원래 예측 변수 이름마다 하나의 요소를 저장합니다. 예를 들어, 세 개의 예측 변수가 있고, 그중 하나가 세 개 수준을 갖는 범주형 변수라고 가정해 보겠습니다. 그러면PredictorNames는 예측 변수의 원래 이름을 포함하는 문자형 벡터로 구성된 1×3 셀형 배열이 됩니다.ExpandedPredictorNames속성은 가변수를 포함하여 예측 변수마다 하나의 요소를 저장합니다. 예를 들어, 세 개의 예측 변수가 있고, 그중 하나가 세 개 수준을 갖는 범주형 변수라고 가정해 보겠습니다. 그러면ExpandedPredictorNames는 예측 변수 이름 및 새 가변수의 이름을 포함하는 문자형 벡터로 구성된 1×5 셀형 배열이 됩니다.마찬가지로,
Beta속성은 가변수를 포함하여 예측 변수마다 하나의 베타 계수를 저장합니다.SupportVectors속성은 가변수를 포함하여 서포트 벡터에 대한 예측 변수 값을 저장합니다. 예를 들어, m개의 서포트 벡터와 세 개의 예측 변수가 있고, 그중 하나가 세 개의 수준을 갖는 범주형 변수라고 가정해 보겠습니다. 그러면SupportVectors는 n×5 행렬이 됩니다.X속성은 훈련 데이터를 원래 입력된 대로 저장하고 가변수는 포함하지 않습니다. 입력값이 테이블인 경우,X는 예측 변수로 사용된 열만 포함합니다.
테이블에 지정된 예측 변수에 대해 변수 중 하나가 순서가 지정된(순서형) 범주를 포함하는 경우 소프트웨어는 이러한 변수에 대해 순서형 인코딩(Ordinal Encoding)을 사용합니다.
순서가 지정된 k개의 수준을 갖는 변수에 대해 소프트웨어는 k – 1개의 가변수를 생성합니다. j번째 가변수는 j 수준까지는 –1이 되고, j + 1에서 k까지의 수준에서는 +1이 됩니다.
ExpandedPredictorNames속성에 저장된 가변수의 이름은 값 +1을 갖는 첫 번째 수준을 나타냅니다. 소프트웨어는 수준 2, 3, ..., k의 이름을 포함하여 가변수에 대해 k – 1개의 추가 예측 변수 이름을 저장합니다.
모든 솔버는 L1 소프트 마진(Soft-Margin) 최소화를 구현합니다.
단일 클래스 학습의 경우, 소프트웨어는 다음을 만족하는 라그랑주 승수 α1,...,αn을 추정합니다.
대체 기능
ocsvm 함수를 사용하여 이상 감지를 위한 단일 클래스 SVM 모델을 훈련시킬 수도 있습니다.
ocsvm함수는fitcsvm함수보다 간단하고 선호되는 이상 감지 워크플로를 제공합니다.ocsvm함수는OneClassSVM객체, 이상 표시자, 이상 점수를 반환합니다. 출력값을 사용하여 훈련 데이터의 이상을 식별할 수 있습니다.OneClassSVM의isanomaly객체 함수를 사용하여 새 데이터에서 이상을 찾을 수 있습니다.isanomaly함수는 새 데이터에 대한 이상 표시자와 점수를 반환합니다.fitcsvm함수는 단일 클래스 및 이진 분류를 모두 지원합니다. 클래스 레이블 변수에 클래스가 한 개만 포함된 경우(예: 1로 구성된 벡터)fitcsvm은 단일 클래스 분류에 대해 모델을 훈련시키고ClassificationSVM객체를 반환합니다. 이상을 식별하려면 먼저ClassificationSVM의resubPredict또는predict객체 함수를 사용하여 이상 점수를 계산한 다음 음수 점수를 갖는 관측값을 찾아 이상을 식별해야 합니다.큰 양의 이상 점수는
ocsvm의 이상을 나타내고, 음의 점수는ClassificationSVM의predict의 이상을 나타냅니다.
ocsvm함수는 SVM의 원문제 식을 기반으로 결정 경계를 찾는 반면fitcsvm함수는 SVM의 쌍대 문제 식을 기반으로 결정 경계를 찾습니다.ocsvm의 솔버는 대규모 데이터 세트(대규모 n)에 대해fitcsvm의 솔버보다 계산 비용이 저렴합니다.fitcsvm의 솔버는 n×n 그람 행렬의 계산을 필요로 하지만,ocsvm의 솔버는 n×m 크기의 행렬만 형성하면 됩니다. 여기서 m은 확장된 공간의 차원 수이며 일반적으로 빅데이터의 경우 n보다 훨씬 작습니다.
참고 문헌
[1] Christianini, N., and J. C. Shawe-Taylor. An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods. Cambridge, UK: Cambridge University Press, 2000.
[2] Fan, R.-E., P.-H. Chen, and C.-J. Lin. “Working set selection using second order information for training support vector machines.” Journal of Machine Learning Research, Vol. 6, 2005, pp. 1889–1918.
[3] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, Second Edition. NY: Springer, 2008.
[4] Kecman V., T. -M. Huang, and M. Vogt. “Iterative Single Data Algorithm for Training Kernel Machines from Huge Data Sets: Theory and Performance.” Support Vector Machines: Theory and Applications. Edited by Lipo Wang, 255–274. Berlin: Springer-Verlag, 2005.
[5] Scholkopf, B., J. C. Platt, J. C. Shawe-Taylor, A. J. Smola, and R. C. Williamson. “Estimating the Support of a High-Dimensional Distribution.” Neural Comput., Vol. 13, Number 7, 2001, pp. 1443–1471.
[6] Scholkopf, B., and A. Smola. Learning with Kernels: Support Vector Machines, Regularization, Optimization and Beyond, Adaptive Computation and Machine Learning. Cambridge, MA: The MIT Press, 2002.
확장 기능
버전 내역
R2014a에 개발됨참고 항목
ClassificationSVM | CompactClassificationSVM | ClassificationPartitionedModel | predict | fitSVMPosterior | rng | quadprog (Optimization Toolbox) | fitcecoc | fitclinear | ocsvm
You can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)