이 페이지의 최신 내용은 아직 번역되지 않았습니다. 최신 내용은 영문으로 볼 수 있습니다.

fitcsvm

이진 서포트 벡터 머신(SVM) 분류기 훈련

fitcsvm은 저차원이나 중간 차원의 예측 변수 데이터 세트에 대한 2-클래스(이진) 분류에 대해 서포트 벡터 머신(SVM) 모델을 훈련시키거나 교차 검증합니다. fitcsvm은 커널 함수를 사용하여 예측 변수 데이터를 매핑하는 것을 지원하고, 순차적 최소규모 최적화(SMO), 반복 단일 데이터 알고리즘(ISDA)도 지원하며, 목적 함수 최소화를 위한 2차 계획법을 사용하는 L1 소프트 마진(Soft Margin) 최소화를 지원합니다.

고차원 데이터 세트, 즉 많은 예측 변수를 포함하는 데이터 세트에 대한 이진 분류를 수행할 선형 SVM 모델을 훈련시키려면 fitclinear를 대신 사용하십시오.

이진 SVM 모델을 결합하는 다중클래스 학습에 대해서는 오류 수정 출력 코드(ECOC)를 사용하십시오. 자세한 내용은 fitcecoc를 참조하십시오.

SVM 회귀 모델을 훈련시키려면 저차원 및 중간 차원의 예측 변수 데이터 세트의 경우 fitrsvm을 참조하고 고차원 데이터 세트의 경우 fitrlinear를 참조하십시오.

구문

Mdl = fitcsvm(Tbl,ResponseVarName)

Mdl = fitcsvm(Tbl,formula)

Mdl = fitcsvm(Tbl,Y)

Mdl = fitcsvm(X,Y)

Mdl = fitcsvm(___,Name,Value)

설명

Mdl = fitcsvm(Tbl,ResponseVarName)은 테이블 Tbl에 포함된 표본 데이터를 사용하여 훈련된 서포트 벡터 머신(SVM) 분류기 Mdl을 반환합니다. ResponseVarName은 Tbl에서 단일 클래스 또는 2-클래스 분류에 대한 클래스 레이블을 포함하는 변수의 이름입니다.

Mdl = fitcsvm(Tbl,formula)는 테이블 Tbl에 포함된 표본 데이터를 사용하여 훈련된 SVM 분류기를 반환합니다. formula는 Mdl을 피팅하는 데 사용되는 Tbl의 응답 변수와 예측 변수의 부분 집합에 대한 설명 모델입니다.

Mdl = fitcsvm(Tbl,Y)는 테이블 Tbl에 포함된 예측 변수와 벡터 Y의 클래스 레이블을 사용하여 훈련된 SVM 분류기를 반환합니다.

Mdl = fitcsvm(X,Y)는 단일 클래스 분류 또는 2-클래스 분류에 대해 행렬 X에 포함된 예측 변수와 벡터 Y의 클래스 레이블을 사용하여 훈련된 SVM 분류기를 반환합니다.

Mdl = fitcsvm(___,Name,Value)는 위에 열거된 구문에 나와 있는 입력 인수와 함께 하나 이상의 이름-값 쌍의 인수를 사용하여 옵션을 지정합니다. 예를 들어, 교차 검증 유형, 오분류 비용 그리고 점수 변환 함수 유형을 지정할 수 있습니다.

예제

SVM 분류기 훈련시키기

피셔(Fisher)의 붓꽃 데이터 세트를 불러옵니다. 꽃받침 길이와 너비, 그리고 관측된 모든 부채붓꽃(Setosa Iris)을 제거합니다.

load fisheriris
inds = ~strcmp(species,'setosa');
X = meas(inds,3:4);
y = species(inds);

처리된 데이터 세트를 사용하여 SVM 분류기를 훈련시킵니다.

SVMModel = fitcsvm(X,y)

SVMModel = 
  ClassificationSVM
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'versicolor'  'virginica'}
           ScoreTransform: 'none'
          NumObservations: 100
                    Alpha: [24x1 double]
                     Bias: -14.4149
         KernelParameters: [1x1 struct]
           BoxConstraints: [100x1 double]
          ConvergenceInfo: [1x1 struct]
          IsSupportVector: [100x1 logical]
                   Solver: 'SMO'


  Properties, Methods

SVMModel은 훈련된 ClassificationSVM 분류기입니다. SVMModel의 속성을 표시합니다. 예를 들어, 클래스 순서를 확인하려면 점 표기법을 사용하십시오.

classOrder = SVMModel.ClassNames

classOrder = 2x1 cell array
    {'versicolor'}
    {'virginica' }

첫 번째 클래스('versicolor')는 음성 클래스이고, 두 번째 클래스('virginica')는 양성 클래스입니다. 'ClassNames' 이름-값 쌍의 인수를 사용하여 훈련 중에 클래스 순서를 변경할 수 있습니다.

데이터의 산점도 도식을 플로팅하고 서포트 벡터를 원으로 표시합니다.

sv = SVMModel.SupportVectors;
figure
gscatter(X(:,1),X(:,2),y)
hold on
plot(sv(:,1),sv(:,2),'ko','MarkerSize',10)
legend('versicolor','virginica','Support Vector')
hold off

서포트 벡터는 추정된 클래스 경계 또는 그 너머에 있는 관측값입니다.

'BoxConstraint' 이름-값 쌍의 인수를 사용하여 훈련 중에 상자 제약 조건을 설정하여 경계(즉, 서포트 벡터 개수)를 조정할 수 있습니다.

SVM 분류기를 훈련시키고 교차 검증하기

ionosphere 데이터 세트를 불러옵니다.

load ionosphere
rng(1); % For reproducibility

방사 기저 커널을 사용하여 SVM 분류기를 훈련시킵니다. 소프트웨어가 커널 함수의 스케일 값을 구하도록 합니다. 예측 변수를 표준화합니다.

SVMModel = fitcsvm(X,Y,'Standardize',true,'KernelFunction','RBF',...
    'KernelScale','auto');

SVMModel은 훈련된 ClassificationSVM 분류기입니다.

SVM 분류기를 교차 검증합니다. 기본적으로, 소프트웨어는 10겹 교차 검증을 사용합니다.

CVSVMModel = crossval(SVMModel);

CVSVMModel은 ClassificationPartitionedModel 교차 검증된 분류기입니다.

표본외 오분류율을 추정합니다.

classLoss = kfoldLoss(CVSVMModel)

classLoss = 0.0484

일반화율은 약 5%입니다.

SVM과 단일 클래스 학습을 사용하여 이상값 감지하기

모든 붓꽃을 동일한 클래스에 할당하여 피셔(Fisher)의 붓꽃 데이터 세트를 수정합니다. 수정된 데이터 세트에서 이상값을 감지하고 관측값 중 이상값 비율이 예상대로인지 확인합니다.

피셔(Fisher)의 붓꽃 데이터 세트를 불러옵니다. 꽃잎 길이와 너비를 제거합니다. 모든 붓꽃을 같은 클래스에서 온 것으로 처리합니다.

load fisheriris
X = meas(:,1:2);
y = ones(size(X,1),1);

수정된 데이터 세트를 사용하여 SVM 분류기를 훈련시킵니다. 관측값의 5%가 이상값이라고 가정합니다. 예측 변수를 표준화합니다.

rng(1);
SVMModel = fitcsvm(X,y,'KernelScale','auto','Standardize',true,...
    'OutlierFraction',0.05);

SVMModel은 훈련된 ClassificationSVM 분류기입니다. 기본적으로, 소프트웨어는 단일 클래스 학습에 가우스 커널을 사용합니다.

관측값과 결정 경계를 플로팅합니다. 서포트 벡터와 잠재적인 이상값에 플래그를 지정합니다.

svInd = SVMModel.IsSupportVector;
h = 0.02; % Mesh grid step size
[X1,X2] = meshgrid(min(X(:,1)):h:max(X(:,1)),...
    min(X(:,2)):h:max(X(:,2)));
[~,score] = predict(SVMModel,[X1(:),X2(:)]);
scoreGrid = reshape(score,size(X1,1),size(X2,2));

figure
plot(X(:,1),X(:,2),'k.')
hold on
plot(X(svInd,1),X(svInd,2),'ro','MarkerSize',10)
contour(X1,X2,scoreGrid)
colorbar;
title('{\bf Iris Outlier Detection via One-Class SVM}')
xlabel('Sepal Length (cm)')
ylabel('Sepal Width (cm)')
legend('Observation','Support Vector')
hold off

이상값을 나머지 데이터와 분리하는 경계는 등고선 값이 0인 위치에서 나타납니다.

교차 검증된 데이터에서 음의 점수를 갖는 관측값의 비율이 5%에 가까운지 확인합니다.

CVSVMModel = crossval(SVMModel);
[~,scorePred] = kfoldPredict(CVSVMModel);
outlierRate = mean(scorePred<0)

outlierRate = 0.0467

이진 SVM을 사용하여 여러 클래스 경계 찾기

fisheriris 데이터 세트에 대한 산점도 플롯을 생성합니다. 플롯 내 그리드 좌표를 데이터 세트 분포의 새 관측값으로 처리하고 데이터 세트의 좌표 값을 세 클래스 중 하나에 할당하여 클래스 경계를 찾습니다.

피셔(Fisher)의 붓꽃 데이터 세트를 불러옵니다. 꽃잎 길이와 너비를 예측 변수로 사용합니다.

load fisheriris
X = meas(:,3:4);
Y = species;

데이터에 대한 산점도 플롯을 검토합니다.

figure
gscatter(X(:,1),X(:,2),Y);
h = gca;
lims = [h.XLim h.YLim]; % Extract the x and y axis limits
title('{\bf Scatter Diagram of Iris Measurements}');
xlabel('Petal Length (cm)');
ylabel('Petal Width (cm)');
legend('Location','Northwest');

데이터에는 세 개의 클래스가 있는데, 이 중 한 클래스는 나머지 두 클래스로부터 선형 분리될 수 있습니다.

각 클래스에 대해 다음 작업을 수행합니다.

1. 관측값이 그 클래스의 멤버인지 여부를 나타내는 논리형 벡터(indx)를 생성합니다.

2. 예측 변수 데이터와 indx를 사용하여 SVM 분류기를 훈련시킵니다.

3. 셀형 배열의 셀로 분류기를 저장합니다.

클래스 순서를 정의합니다.

SVMModels = cell(3,1);
classes = unique(Y);
rng(1); % For reproducibility

for j = 1:numel(classes)
    indx = strcmp(Y,classes(j)); % Create binary classes for each classifier
    SVMModels{j} = fitcsvm(X,indx,'ClassNames',[false true],'Standardize',true,...
        'KernelFunction','rbf','BoxConstraint',1);
end

SVMModels는 각 셀이 ClassificationSVM 분류기를 포함하는 3x1 셀형 배열입니다. 각 셀에 대해 양성 클래스는 각각 setosa, versicolor, virginica입니다.

플롯 내에 조밀한 그리드를 정의하고, 좌표를 훈련 데이터의 분포에서 새 관측값으로 처리합니다. 각 분류기를 사용하여 새 관측값의 점수를 추정합니다.

d = 0.02;
[x1Grid,x2Grid] = meshgrid(min(X(:,1)):d:max(X(:,1)),...
    min(X(:,2)):d:max(X(:,2)));
xGrid = [x1Grid(:),x2Grid(:)];
N = size(xGrid,1);
Scores = zeros(N,numel(classes));

for j = 1:numel(classes)
    [~,score] = predict(SVMModels{j},xGrid);
    Scores(:,j) = score(:,2); % Second column contains positive-class scores
end

Scores의 각 행에는 3개의 점수가 있습니다. 최대 점수를 갖는 요소의 인덱스는 새 클래스 관측값이 속할 가능성이 가장 높은 클래스의 인덱스입니다.

각각의 새 관측값을 최대 점수를 내는 분류기와 연결합니다.

[~,maxScore] = max(Scores,[],2);

대응되는 새 관측값이 속하는 클래스를 기준으로 플롯의 영역을 색으로 구분합니다.

figure
h(1:3) = gscatter(xGrid(:,1),xGrid(:,2),maxScore,...
    [0.1 0.5 0.5; 0.5 0.1 0.5; 0.5 0.5 0.1]);
hold on
h(4:6) = gscatter(X(:,1),X(:,2),Y);
title('{\bf Iris Classification Regions}');
xlabel('Petal Length (cm)');
ylabel('Petal Width (cm)');
legend(h,{'setosa region','versicolor region','virginica region',...
    'observed setosa','observed versicolor','observed virginica'},...
    'Location','Northwest');
axis tight
hold off

SVM 분류기 최적화하기

fitcsvm을 사용하여 초모수를 자동으로 최적화합니다.

ionosphere 데이터 세트를 불러옵니다.

load ionosphere

자동 초모수 최적화를 사용하여 5겹 교차 검증 손실을 최소화하는 초모수를 구합니다. 재현이 가능하도록 난수 시드값을 설정하고 'expected-improvement-plus' 수집 함수를 사용합니다.

rng default
Mdl = fitcsvm(X,Y,'OptimizeHyperparameters','auto',...
    'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName',...
    'expected-improvement-plus'))

|=====================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstrain-|  KernelScale |
|      | result |             | runtime     | (observed)  | (estim.)    | t            |              |
|=====================================================================================================|
|    1 | Best   |     0.21652 |      18.493 |     0.21652 |     0.21652 |       64.836 |    0.0015729 |
|    2 | Accept |     0.35897 |     0.16509 |     0.21652 |     0.22539 |     0.036335 |       5.5755 |
|    3 | Best   |     0.13105 |       7.131 |     0.13105 |     0.14152 |    0.0022147 |    0.0023957 |
|    4 | Accept |     0.35897 |     0.10991 |     0.13105 |     0.13108 |       5.1259 |        98.62 |
|    5 | Accept |      0.1339 |      14.513 |     0.13105 |     0.13111 |    0.0011599 |    0.0010098 |
|    6 | Accept |     0.13105 |      3.3991 |     0.13105 |     0.13106 |    0.0010151 |    0.0045756 |
|    7 | Best   |     0.12821 |      9.0972 |     0.12821 |     0.12819 |    0.0010563 |    0.0022307 |
|    8 | Accept |      0.1339 |      11.601 |     0.12821 |     0.13013 |    0.0010113 |    0.0026572 |
|    9 | Accept |     0.12821 |      6.4781 |     0.12821 |     0.12976 |    0.0010934 |    0.0022461 |
|   10 | Accept |     0.12821 |      3.8203 |     0.12821 |     0.12933 |    0.0010315 |    0.0023551 |
|   11 | Accept |      0.1396 |       17.31 |     0.12821 |     0.12954 |       994.04 |      0.20756 |
|   12 | Accept |     0.13105 |      16.182 |     0.12821 |     0.12945 |       20.145 |     0.044584 |
|   13 | Accept |     0.21368 |      18.317 |     0.12821 |     0.12787 |       903.79 |     0.056122 |
|   14 | Accept |      0.1339 |     0.26202 |     0.12821 |     0.12939 |     0.018688 |     0.038639 |
|   15 | Accept |     0.12821 |      2.8504 |     0.12821 |      0.1295 |       5.6464 |      0.15938 |
|   16 | Accept |     0.13675 |      9.4282 |     0.12821 |     0.12798 |       0.5485 |     0.020716 |
|   17 | Accept |     0.12821 |      6.5178 |     0.12821 |     0.12955 |       1.2899 |     0.063233 |
|   18 | Accept |      0.1339 |      9.3664 |     0.12821 |     0.12957 |       869.51 |      0.94889 |
|   19 | Accept |     0.13675 |       9.368 |     0.12821 |     0.12957 |       112.89 |      0.31231 |
|   20 | Accept |     0.13105 |     0.12209 |     0.12821 |     0.12958 |    0.0010803 |      0.03695 |
|=====================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | BoxConstrain-|  KernelScale |
|      | result |             | runtime     | (observed)  | (estim.)    | t            |              |
|=====================================================================================================|
|   21 | Accept |     0.13675 |      9.5117 |     0.12821 |      0.1299 |       7.7299 |     0.076169 |
|   22 | Best   |     0.12536 |     0.17058 |     0.12536 |     0.13007 |    0.0010485 |     0.013248 |
|   23 | Accept |     0.20228 |      18.202 |     0.12536 |     0.12548 |     0.060212 |    0.0010323 |
|   24 | Accept |      0.1339 |     0.24592 |     0.12536 |     0.12556 |      0.30698 |      0.16097 |
|   25 | Accept |      0.1339 |      15.142 |     0.12536 |     0.12923 |       963.05 |       0.5183 |
|   26 | Accept |     0.13675 |     0.27628 |     0.12536 |     0.12888 |    0.0039748 |     0.015475 |
|   27 | Accept |      0.1339 |      1.5718 |     0.12536 |     0.12889 |      0.33582 |     0.066787 |
|   28 | Accept |      0.1339 |      15.411 |     0.12536 |     0.12884 |       4.2069 |     0.032774 |
|   29 | Best   |     0.12536 |     0.13208 |     0.12536 |     0.12658 |    0.0010233 |     0.017839 |
|   30 | Accept |     0.12536 |     0.13041 |     0.12536 |     0.12579 |    0.0010316 |     0.019592 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 249.4758 seconds.
Total objective function evaluation time: 225.3244

Best observed feasible point:
    BoxConstraint    KernelScale
    _____________    ___________

      0.0010233       0.017839  

Observed objective function value = 0.12536
Estimated objective function value = 0.12579
Function evaluation time = 0.13208

Best estimated feasible point (according to models):
    BoxConstraint    KernelScale
    _____________    ___________

      0.0010233       0.017839  

Estimated objective function value = 0.12579
Estimated function evaluation time = 0.1535

Mdl = 
  ClassificationSVM
                         ResponseName: 'Y'
                CategoricalPredictors: []
                           ClassNames: {'b'  'g'}
                       ScoreTransform: 'none'
                      NumObservations: 351
    HyperparameterOptimizationResults: [1×1 BayesianOptimization]
                                Alpha: [91×1 double]
                                 Bias: -5.6976
                     KernelParameters: [1×1 struct]
                       BoxConstraints: [351×1 double]
                      ConvergenceInfo: [1×1 struct]
                      IsSupportVector: [351×1 logical]
                               Solver: 'SMO'


  Properties, Methods

입력 인수

Tbl — 표본 데이터

테이블

모델을 훈련시키는 데 사용되는 표본 데이터로, 테이블로 지정됩니다. Tbl의 각 행은 하나의 관측값에 대응되고, 각 열은 하나의 예측 변수에 대응됩니다. 선택적으로, Tbl은 응답 변수에 대해 하나의 추가 열을 포함할 수 있습니다. 문자형 벡터로 구성된 셀형 배열 이외의 셀형 배열과 다중 열 변수는 허용되지 않습니다.

Tbl이 응답 변수를 포함하며 Tbl의 나머지 모든 변수를 예측 변수로 사용하려는 경우 ResponseVarName을 사용하여 응답 변수를 지정하십시오.

Tbl이 응답 변수를 포함하며 Tbl의 나머지 변수 중 일부만 예측 변수로 사용하려는 경우 formula를 사용하여 공식을 지정하십시오.

Tbl이 응답 변수를 포함하지 않는 경우 Y를 사용하여 응답 변수를 지정하십시오. 응답 변수의 길이와 Tbl의 행 개수는 동일해야 합니다.

데이터형: table

ResponseVarName — 응답 변수 이름

Tbl에 포함된 변수 이름

응답 변수 이름으로, Tbl의 변수 이름으로 지정됩니다.

ResponseVarName은 문자형 벡터나 string형 스칼라로 지정해야 합니다. 예를 들어, 응답 변수 Y가 Tbl.Y로 저장된 경우 이를 'Y'로 지정하십시오. 그렇지 않은 경우, 소프트웨어는 모델을 훈련시킬 때 Y를 포함한 Tbl의 모든 열을 예측 변수로 처리합니다.

응답 변수는 categorical형 배열, 문자형 배열, string형 배열, 논리형 벡터 또는 숫자형 벡터, 문자형 벡터로 구성된 셀형 배열이어야 합니다. Y가 문자형 배열인 경우, 응답 변수의 각 요소는 배열의 각 행에 대응되어야 합니다.

ClassNames 이름-값 쌍의 인수를 사용하여 클래스의 순서를 지정하는 것이 좋습니다.

데이터형: char | string

formula — 응답 변수와 예측 변수의 부분 집합에 대한 설명 모델

문자형 벡터 | string형 스칼라

응답 변수, 그리고 예측 변수의 부분 집합에 대한 설명 모델로, 'Y~X1+X2+X3' 형식의 문자형 벡터나 string형 스칼라로 지정됩니다. 이 형식에서 Y는 응답 변수를 나타내고, X1, X2, X3은 예측 변수를 나타냅니다. 변수는 Tbl의 변수 이름(Tbl.Properties.VariableNames)이어야 합니다.

Tbl의 일부 변수를 모델 훈련에 사용할 예측 변수로 지정하려면 공식을 사용하십시오. 공식을 지정하면 소프트웨어가 formula에 표시되지 않는 Tbl의 변수를 사용하지 않습니다.

데이터형: char | string

Y — 클래스 레이블

categorical형 배열 | 문자형 배열 | string형 배열 | 논리형 벡터 | 숫자형 벡터 | 문자형 벡터로 구성된 셀형 배열

SVM 모델이 훈련되는 클래스 레이블로, categorical형 배열, 문자형 배열, string형 배열, 논리형 벡터 또는 숫자형 벡터, 문자형 벡터로 구성된 셀형 배열로 지정됩니다.

• Y는 최대 두 개의 서로 다른 클래스를 포함해야 합니다. 다중클래스 학습에 대해서는 fitcecoc를 참조하십시오.

• Y가 문자형 배열인 경우, 클래스 레이블의 각 요소는 배열의 각 행에 대응되어야 합니다.

• Y의 길이와 Tbl 또는 X의 행 개수는 동일해야 합니다.

• ClassNames 이름-값 쌍의 인수를 사용하여 클래스 순서를 지정하는 것이 좋습니다.

데이터형: categorical | char | string | logical | single | double | cell

X — 예측 변수 데이터

숫자형 값으로 구성된 행렬

SVM 분류기가 훈련되는 예측 변수 데이터로, 숫자형 값으로 구성된 행렬로 지정됩니다.

X의 각 행은 하나의 관측값(발생 건 또는 예라고도 함)에 대응되고, 각 열은 하나의 예측 변수(특징이라고도 함)에 대응됩니다.

Y의 길이와 X의 행 개수는 동일해야 합니다.

X에 표시된 순서로 예측 변수의 이름을 지정하려면 'PredictorNames' 이름-값 쌍의 인수를 사용하십시오.

데이터형: double | single

이름-값 쌍의 인수

선택적으로 Name,Value 인수가 쉼표로 구분되어 지정할 수 있습니다. 여기서 Name은 인수 이름이고 Value는 이에 대응하는 값입니다. Name은 따옴표로 묶어야 합니다. Name1,Value1,...,NameN,ValueN과 같이 여러 개의 이름-값 쌍의 인수를 원하는 순서로 지정할 수 있습니다.

예: fitcsvm(X,Y,'KFold',10,'Cost',[0 2;1 0],'ScoreTransform','sign')은 10겹 교차 검증을 수행하고, 거짓 음성에 비해 거짓 양성에 대한 벌점을 두 배로 적용하고, 부호 함수를 사용하여 점수를 변환합니다.

SVM 옵션

'BoxConstraint' — 상자 제약 조건

1 (디폴트 값) | 양의 스칼라

상자 제약 조건으로, 'BoxConstraint'와 함께 양의 스칼라가 쉼표로 구분되어 지정됩니다.

단일 클래스 학습의 경우, 상자 제약 조건은 항상 1로 설정됩니다.

BoxConstraint, Cost, Prior, Standardize, Weights의 관계와 알고리즘 동작에 대한 자세한 내용은 알고리즘 항목을 참조하십시오.

예: 'BoxConstraint',100

데이터형: double | single

'KernelFunction' — 커널 함수

'linear' (디폴트 값) | 'gaussian' | 'rbf' | 'polynomial' | 함수 이름

그람 행렬의 요소를 계산하는 데 사용되는 커널 함수로, 'KernelFunction'과 함께 커널 함수 이름이 쉼표로 구분되어 지정됩니다. G(x_j,x_k)가 그람 행렬의 요소(j,k)라고 가정합니다. 여기서 x_j와 x_k는 X의 관측값 j와 k를 나타내는 p차원 벡터입니다. 다음 표에는 지원되는 커널 함수 이름과 해당 함수 형식이 나와 있습니다.

커널 함수 이름	설명	공식
'gaussian' 또는 'rbf'	가우스 커널 또는 방사 기저 함수(RBF) 커널로, 단일 클래스 학습에 대한 디폴트 값임	$$G\left(x_j,x_k\right)=\exp \left(-{\Vert x_j-x_k\Vert }^2\right)$$
'linear'	선형 커널로, 2-클래스 학습에 대한 디폴트 값임	$$G(x_j,x_k)=x_j\prime x_k$$
'polynomial'	다항식 커널. 'PolynomialOrder',q를 사용하여 차수가 q인 다항식 커널을 지정합니다.	$$G(x_j,x_k)={(1+x_j\prime x_k)}^q$$

'KernelFunction','kernel'을 설정하여 자신만의 고유한 커널 함수(예: kernel)를 설정할 수 있습니다. kernel의 형식은 다음과 같아야 합니다.

function G = kernel(U,V)

여기서

• U는 mxp 행렬입니다. 열은 예측 변수에 대응되고 행은 관측값에 대응됩니다.

• V는 nxp 행렬입니다. 열은 예측 변수에 대응되고 행은 관측값에 대응됩니다.

• G는 U와 V의 행으로 구성된 mxn 그람 행렬입니다.

kernel.m은 MATLAB^® 경로에 있어야 합니다.

커널 함수에 일반적인 이름을 사용하지 않는 것이 좋습니다. 예를 들어, 시그모이드 커널 함수는 'sigmoid' 대신 'mysigmoid'로 명명하십시오.

예: 'KernelFunction','gaussian'

데이터형: char | string

'KernelScale' — 커널 스케일 모수

1 (디폴트 값) | 'auto' | 양의 스칼라

커널 스케일 모수로, 'KernelScale'과 함께 'auto' 또는 양의 스칼라가 쉼표로 구분되어 지정됩니다. 소프트웨어는 예측 변수 행렬 X의 모든 요소를 KernelScale의 값으로 나눕니다. 그런 다음, 적합한 커널 노름(Norm)을 적용하여 그람 행렬을 계산합니다.

• 'auto'를 지정하면 소프트웨어가 발견적 절차(heuristic procedure)를 사용하여 적합한 스케일링 인자를 선택합니다. 이 발견적 절차는 부표본추출을 사용하므로, 추정값이 호출마다 다를 수 있습니다. 따라서 동일한 결과를 재현하기 위해 분류기를 훈련시키기 전에 rng를 사용하여 난수 시드값을 설정합니다.

• KernelScale과 자신만의 고유한 커널 함수(예: 'KernelFunction','kernel')를 지정하는 경우, 오류가 발생합니다. kernel 내에서 스케일링을 적용해야 합니다.

예: 'KernelScale','auto'

데이터형: double | single | char | string

'PolynomialOrder' — 다항식 커널 함수 차수

3 (디폴트 값) | 양의 정수

다항식 커널 함수 차수로, 'PolynomialOrder'와 함께 양의 정수가 쉼표로 구분되어 지정됩니다.

'PolynomialOrder'를 설정했는데 KernelFunction이 'polynomial'이 아닌 경우, 오류가 발생합니다.

예: 'PolynomialOrder',2

데이터형: double | single

'KernelOffset' — 커널 오프셋 파라미터

음이 아닌 스칼라

커널 오프셋 파라미터로, 'KernelOffset'과 함께 음이 아닌 스칼라가 쉼표로 구분되어 지정됩니다.

KernelOffset이 그람 행렬의 각 요소에 추가됩니다.

디폴트 값은 다음과 같습니다.

• 솔버가 SMO인 경우(즉, 'Solver','SMO'를 설정하는 경우) 0

• 솔버가 ISDA인 경우(즉, 'Solver','ISDA'를 설정하는 경우) 0.1

예: 'KernelOffset',0

데이터형: double | single

'Standardize' — 예측 변수 데이터를 표준화하는 플래그

false (디폴트 값) | true

예측 변수 데이터를 표준화하는 플래그로, 'Standardize'와 함께 true(1) 또는 false(0)이 쉼표로 구분되어 지정됩니다.

'Standardize',true를 설정할 경우 다음이 수행됩니다.

• 각 예측 변수(X 또는 Tbl)는 대응되는 가중 열 평균과 표준편차를 기준으로 정규화됩니다. 가중 표준화에 대한 자세한 내용은 알고리즘 항목을 참조하십시오. MATLAB은 범주형 예측 변수에 대해 생성된 가변수 열에 포함된 데이터를 표준화하지 않습니다.

• 소프트웨어는 표준화된 예측 변수를 사용하여 분류기를 훈련시키지만, 표준화되지 않은 예측 변수를 분류기 속성 X에 행렬 또는 테이블로 저장합니다.

예: 'Standardize',true

데이터형: logical

'Solver' — 최적화 루틴

'ISDA' | 'L1QP' | 'SMO'

최적화 루틴으로, 'Solver'와 함께 다음 표에 나와 있는 값이 쉼표로 구분되어 지정됩니다.

값	설명
'ISDA'	반복 단일 데이터 알고리즘([30] 항목 참조)
'L1QP'	quadprog를 사용하여 2차 계획법을 통해 L1 소프트 마진 최소화를 구현합니다. 이 옵션을 사용하려면 Optimization Toolbox™ 라이선스가 필요합니다. 자세한 내용은 2차 계획법 정의 (Optimization Toolbox) 항목을 참조하십시오.
'SMO'	순차적 최소규모 최적화([17] 항목 참조)

디폴트 값은 2-클래스 학습인 경우, 또는 'OutlierFraction'을 양수 값으로 설정하는 경우 'ISDA'이고, 그렇지 않은 경우 'SMO'입니다.

예: 'Solver','ISDA'

'Alpha' — 알파 계수의 초기 추정값

음이 아닌 값으로 구성된 숫자형 벡터

알파 계수의 초기 추정값으로, 'Alpha'와 함께 음이 아닌 값으로 구성된 숫자형 벡터가 쉼표로 구분되어 지정됩니다. Alpha의 길이는 X의 행 개수와 같아야 합니다.

• 'Alpha'의 각 요소는 X의 관측값에 대응됩니다.

• 'Alpha'는 NaN을 포함할 수 없습니다.

• 'Alpha'와 교차 검증 이름-값 쌍의 인수('CrossVal', 'CVPartition', 'Holdout', 'KFold' 또는 'Leaveout') 중 하나를 지정하는 경우, 소프트웨어가 오류를 반환합니다.

Y가 결측값을 포함하는 경우, 결측값에 대응되는 Y, X, 'Alpha'의 모든 행을 제거하십시오. 즉, 다음을 입력합니다.

idx = ~isundefined(categorical(Y));
Y = Y(idx,:);
X = X(idx,:);
alpha = alpha(idx);

그런 다음, Y, X, alpha를 각각 응답 변수, 예측 변수, 초기 알파 추정값으로 전달합니다.

디폴트 값은 다음과 같습니다.

• 단일 클래스 학습의 경우 0.5*ones(size(X,1),1)

• 2-클래스 학습의 경우 zeros(size(X,1),1)

예: 'Alpha',0.1*ones(size(X,1),1)

데이터형: double | single

'CacheSize' — 캐시 크기

1000 (디폴트 값) | 'maximal' | 양의 스칼라

캐시 크기로, 'CacheSize'와 함께 'maximal' 또는 양의 스칼라가 쉼표로 구분되어 지정됩니다.

CacheSize가 'maximal'인 경우, 소프트웨어는 전체 nxn 그람 행렬을 유지하는 데 충분한 메모리를 예약합니다.

CacheSize가 양의 스칼라인 경우, 소프트웨어는 모델 훈련에 사용하기 위해 CacheSize(단위: 메가바이트) 크기의 메모리를 예약합니다.

예: 'CacheSize','maximal'

데이터형: double | single | char | string

'ClipAlphas' — 알파 계수 자르기 여부를 표시하는 플래그

true (디폴트 값) | false

알파 계수 자르기 여부를 표시하는 플래그로, 'ClipAlphas'와 함께 true나 false가 쉼표로 구분되어 지정됩니다.

관측값 j에 대한 알파 계수가 α_j이고 관측값 j의 상자 제약 조건이 C_j인 경우, j = 1,...,n입니다. 여기서 n은 훈련 표본 크기입니다.

값	설명
true	각 반복마다 αj가 0에 가깝거나 Cj에 가까운 경우, MATLAB이 αj를 각각 0 또는 Cj로 설정합니다.
false	MATLAB이 최적화 과정 중에 알파 계수를 변경하지 않습니다.

MATLAB은 훈련된 SVM 모델 객체의 Alpha 속성에 α의 최종 값을 저장합니다.

ClipAlphas는 SMO 및 ISDA 수렴에 영향을 미칠 수 있습니다.

예: 'ClipAlphas',false

데이터형: logical

'Nu' — 단일 클래스 학습에 대한 ν 파라미터

0.5 (디폴트 값) | 양의 스칼라

단일 클래스 학습에 대한 ν 모수로, 'Nu'와 함께 양의 스칼라가 쉼표로 구분되어 지정됩니다. Nu는 0보다 크고 최대 1이어야 합니다.

Nu를 설정하여 대부분의 훈련 예가 양성 클래스에 있도록 하는 것과 점수 함수의 가중치를 최소화하는 것 간의 장단점을 절충합니다.

예: 'Nu',0.25

데이터형: double | single

'NumPrint' — 최적화 진단 메시지 출력 간 반복 횟수

1000 (디폴트 값) | 음이 아닌 정수

최적화 진단 메시지 출력 간 반복 횟수로, 'NumPrint'와 함께 음이 아닌 정수가 쉼표로 구분되어 지정됩니다.

'Verbose',1 및 'NumPrint',numprint를 지정하는 경우, 소프트웨어가 명령 창에서 매 numprint회의 반복마다 SMO 및 ISDA의 모든 최적화 진단 메시지를 표시합니다.

예: 'NumPrint',500

데이터형: double | single

'OutlierFraction' — 훈련 데이터의 이상값 예상 비율

0 (디폴트 값) | 구간 [0,1) 내 숫자형 스칼라

훈련 데이터의 이상값 예상 비율로, 'OutlierFraction'과 함께 구간 [0,1) 내 숫자형 스칼라가 쉼표로 구분되어 지정됩니다.

outlierfraction을 0보다 큰 값으로 하여 'OutlierFraction',outlierfraction을 설정했다고 가정해 보겠습니다.

• 2-클래스 학습의 경우, 로버스트 학습을 구현합니다. 다시 말해, 최적화 알고리즘이 수렴될 때 소프트웨어가 관측값의 100*outlierfraction%를 제거한다는 의미입니다. 제거되는 관측값은 크기가 큰 기울기에 해당합니다.

• 단일 클래스 학습의 경우, 훈련 세트에서 관측값의 outlierfraction이 음의 점수를 갖도록 하는 적합한 편향 항을 찾게 됩니다.

예: 'OutlierFraction',0.01

데이터형: double | single

'RemoveDuplicates' — 중복된 관측값을 단일 관측값으로 교체하는지 여부를 나타내는 플래그

false (디폴트 값) | true

훈련 데이터에서 중복된 관측값을 단일 관측값으로 교체하는 플래그로, 'RemoveDuplicates'와 함께 true나 false가 쉼표로 구분되어 지정됩니다.

RemoveDuplicates가 true인 경우, fitcsvm은 훈련 데이터에서 중복된 관측값을 동일한 값을 가지는 단일 관측값으로 바꿉니다. 단일 관측값의 가중치는 제거된 중복 항목의 가중치를 모두 더한 합과 일치합니다(Weights 참조).

팁

데이터 세트에 중복된 관측값이 많이 포함된 경우 'RemoveDuplicates',true를 지정하면 수렴 시간을 상당히 단축시킬 수 있습니다.

데이터형: logical

'Verbose' — 세부 정보 표시 수준

0 (디폴트 값) | 1 | 2

세부 정보 표시 수준으로, 'Verbose'와 함께 0, 1 또는 2가 쉼표로 구분되어 지정됩니다. Verbose의 값은 소프트웨어가 명령 창에 표시하는 최적화 정보의 양을 제어하고 이 정보를 Mdl.ConvergenceInfo.History에 구조체로 저장합니다.

다음 표에는 사용 가능한 세부 정보 표시 수준 옵션이 요약되어 있습니다.

값	설명
0	소프트웨어가 수렴 정보를 표시하거나 저장하지 않습니다.
1	소프트웨어가 매 numprint회의 반복마다 진단 메시지를 표시하고 수렴 조건을 저장합니다. 여기서 numprint는 이름-값 쌍 인수 'NumPrint'의 값입니다.
2	소프트웨어가 매 반복마다 진단 메시지를 표시하고 수렴 조건을 저장합니다.

예: 'Verbose',1

데이터형: double | single

기타 분류 옵션

'CategoricalPredictors' — 범주형 예측 변수 목록

양의 정수로 구성된 벡터 | 논리형 벡터 | 문자형 행렬 | string형 배열 | 문자형 벡터로 구성된 셀형 배열 | 'all'

범주형 예측 변수 목록으로, 'CategoricalPredictors'와 함께 다음 표에 나와 있는 값 중 하나가 쉼표로 구분되어 지정됩니다.

값	설명
양의 정수로 구성된 벡터	벡터의 요소는 범주형 변수를 포함하는 예측 변수 데이터의 열(X 또는 Tbl)에 대응되는 인덱스 값입니다.
논리형 벡터	요소의 값이 true이면 대응되는 예측 변수 데이터의 열(X 또는 Tbl)이 범주형 변수임을 의미합니다.
문자형 행렬	행렬의 각 행은 예측 변수의 이름입니다. 이름은 PredictorNames의 요소와 일치해야 합니다. 문자형 행렬의 각 행의 길이가 같게 되도록 이름 뒤에 추가로 공백을 채웁니다.
string형 배열 또는 문자형 벡터로 구성된 셀형 배열	배열의 각 요소는 예측 변수의 이름입니다. 이름은 PredictorNames의 요소와 일치해야 합니다.
'all'	모든 예측 변수가 범주형 변수입니다.

기본적으로 예측 변수 데이터가 테이블(Tbl) 내에 있는 경우, fitcsvm는 논리값, categorical형 값, string형 배열 또는 문자형 벡터로 구성된 셀형 배열을 포함하는 변수를 범주형 변수라고 가정합니다. 예측 변수 데이터가 행렬(X)이면 fitcsvm는 모든 예측 변수를 연속형 변수라고 가정합니다. 데이터가 행렬인 경우 범주형 예측 변수를 식별하려면 'CategoricalPredictors' 이름-값 쌍의 인수를 사용하십시오.

예: 'CategoricalPredictors','all'

데이터형: single | double | logical | char | string | cell

'ClassNames' — 훈련에 사용할 클래스의 이름

categorical형 배열 | 문자형 배열 | string형 배열 | 논리형 벡터 | 숫자형 벡터 | 문자형 벡터로 구성된 셀형 배열

훈련에 사용할 클래스의 이름으로, 'ClassNames'와 함께 categorical형 배열, 문자형 배열, string형 배열, 논리형 벡터 또는 숫자형 벡터, 문자형 벡터로 구성된 셀형 배열이 쉼표로 구분되어 지정됩니다. ClassNames는 Y와 같은 데이터형이어야 합니다.

ClassNames가 문자형 배열인 경우, 각 요소는 배열의 각 행에 대응되어야 합니다.

ClassNames를 사용하여 다음을 수행할 수 있습니다.

• 훈련 중에 클래스를 정렬합니다.

• 입력 인수 차원 또는 출력 인수 차원의 순서를 지정합니다. 이 순서는 클래스 순서와 일치합니다. 예를 들어, ClassNames를 사용하여 Cost 차원의 순서나 predict로 반환되는 분류 점수의 열 순서를 지정할 수 있습니다.

• 훈련에 사용할 클래스의 일부를 선택합니다. 예를 들어, Y에 포함된 모든 고유한 클래스 이름의 집합이 {'a','b','c'}라고 가정해 보겠습니다. 클래스 'a'와 'c'의 관측값만 사용하여 모델을 훈련시키려면 'ClassNames',{'a','c'}를 지정하십시오.

ClassNames의 디폴트 값은 Y에 포함된 모든 고유한 클래스 이름의 집합입니다.

예: 'ClassNames',{'b','g'}

데이터형: categorical | char | string | logical | single | double | cell

'Cost' — 오분류 비용

정사각 행렬 | 구조체형 배열

오분류 비용으로, 'Cost'와 함께 정사각 행렬 또는 구조체형 배열이 쉼표로 구분되어 지정됩니다.

• 정사각 행렬 Cost를 지정하고 관측값의 실제 클래스가 i이면 Cost(i,j)는 한 점을 클래스 j로 분류하는데 드는 비용입니다. 즉, 행은 실제 클래스에 대응되고, 열은 예상된 클래스에 대응됩니다. Cost의 대응 행과 대응 열에 대한 클래스 순서를 지정하려면 ClassNames 이름-값 쌍의 인수도 지정하십시오.

• 구조체 S를 지정하는 경우, 이 구조체는 다음과 같은 두 개의 필드를 가져야 합니다.

  • 클래스 이름을 Y와 같은 데이터형의 변수로 포함하는 S.ClassNames

  • S.ClassNames에서와 같은 순서로 행과 열을 갖는 비용 행렬을 포함하는 S.ClassificationCosts

2-클래스 학습의 경우, 비용 행렬을 지정하면 소프트웨어가 비용 행렬에 설명된 벌점을 통합하여 사전 확률을 업데이트합니다. 따라서, 비용 행렬이 디폴트 값으로 재설정됩니다. BoxConstraint, Cost, Prior, Standardize, Weights의 관계와 알고리즘 동작에 대한 자세한 내용은 알고리즘 항목을 참조하십시오.

디폴트 값은 다음과 같습니다.

• 단일 클래스 학습의 경우 Cost = 0

• 2-클래스 학습의 경우, i ~= j이면 Cost(i,j) = 1이고, i = j이면 Cost(i,j) = 0

예: 'Cost',[0,1;2,0]

데이터형: double | single | struct

'PredictorNames' — 예측 변수 이름

고유한 이름으로 구성된 string형 배열 | 고유한 문자형 벡터로 구성된 셀형 배열

예측 변수 이름으로, 'PredictorNames'와 함께 고유한 이름으로 구성된 string형 배열 또는 고유한 문자형 벡터로 구성된 셀형 배열이 쉼표로 구분되어 지정됩니다. 'PredictorNames'의 기능은 훈련 데이터를 어떤 방식으로 제공하느냐에 따라 달라집니다.

• X와 Y를 제공하는 경우, 'PredictorNames'를 사용하여 X 이름에 예측 변수를 제공할 수 있습니다.

  • PredictorNames의 이름의 순서는 X의 열 순서와 일치해야 합니다. 즉, PredictorNames{1}은 X(:,1)의 이름이고, PredictorNames{2}는 X(:,2)의 이름이 되는 식입니다. 또한, size(X,2)와 numel(PredictorNames)는 같아야 합니다.

  • 기본적으로 PredictorNames는 {'x1','x2',...}입니다.

• Tbl을 제공하는 경우, 'PredictorNames'를 사용하여 훈련에 사용할 예측 변수를 선택할 수 있습니다. 즉, fitcsvm는 PredictorNames의 예측 변수와 이에 대한 응답 변수만을 훈련에 사용합니다.

  • PredictorNames는 Tbl.Properties.VariableNames의 부분 집합이어야 하므로 응답 변수의 이름은 포함할 수 없습니다.

  • 기본적으로, PredictorNames는 모든 예측 변수의 이름을 포함합니다.

  • 'PredictorNames' 또는 formula만 사용하여 훈련에 사용할 예측 변수를 지정하는 것이 좋습니다.

예: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}

데이터형: string | cell

'Prior' — 사전 확률

'empirical' (디폴트 값) | 'uniform' | 숫자형 벡터 | 구조체형 배열

각 클래스의 사전 확률로, 'Prior'와 함께 다음 표에 나와 있는 값이 쉼표로 구분되어 지정됩니다.

값	설명
'empirical'	클래스 사전 확률은 Y의 클래스 상대 빈도입니다.
'uniform'	모든 클래스 사전 확률은 1/K와 같습니다. 여기서 K는 클래스 개수입니다.
숫자형 벡터	벡터의 각 요소는 클래스 사전 확률입니다. Mdl.ClassNames에 따라 요소의 순서를 지정하거나 ClassNames 이름-값 쌍의 인수를 사용하여 순서를 지정합니다. 소프트웨어는 합이 1이 되도록 요소를 정규화합니다.
구조체	다음과 같은 두 개의 필드를 갖는 구조체 S입니다. S.ClassNames는 클래스 이름을 Y와 같은 유형의 변수로 포함합니다. S.ClassProbs는 대응되는 사전 확률로 구성된 벡터를 포함합니다. 소프트웨어는 합이 1이 되도록 벡터의 요소를 정규화합니다.

2-클래스 학습의 경우, 비용 행렬을 지정하면 소프트웨어가 비용 행렬에 설명된 벌점을 통합하여 사전 확률을 업데이트합니다. BoxConstraint, Cost, Prior, Standardize, Weights의 관계와 알고리즘 동작에 대한 자세한 내용은 알고리즘 항목을 참조하십시오.

예: struct('ClassNames',{{'setosa','versicolor','virginica'}},'ClassProbs',1:3)

데이터형: char | string | double | single | struct

'ResponseName' — 응답 변수 이름

'Y' (디폴트 값) | 문자형 벡터 | string형 스칼라

응답 변수 이름으로, 'ResponseName'과 함께 문자형 벡터 또는 string형 스칼라가 쉼표로 구분되어 지정됩니다.

• Y를 제공하는 경우, 'ResponseName'을 사용하여 응답 변수의 이름을 지정할 수 있습니다.

• ResponseVarName 또는 formula를 제공하는 경우에는 'ResponseName'을 사용할 수 없습니다.

예: 'ResponseName','response'

데이터형: char | string

'ScoreTransform' — 점수 변환 방식

'none' (디폴트 값) | 'doublelogit' | 'invlogit' | 'ismax' | 'logit' | 함수 핸들 | ...

점수 변환 방식으로, 'ScoreTransform'과 함께 문자형 벡터, string형 스칼라 또는 함수 핸들이 쉼표로 구분되어 지정됩니다.

다음 표에는 사용 가능한 문자형 벡터와 string형 스칼라가 요약되어 있습니다.

값	설명
'doublelogit'	1/(1 + e–2x)
'invlogit'	log(x / (1–x))
'ismax'	최대 점수를 갖는 클래스의 점수를 1로 설정하고, 다른 모든 클래스의 점수를 0으로 설정합니다.
'logit'	1/(1 + e–x)
'none' 또는 'identity'	x(변환 없음)
'sign'	x < 0의 경우 –1 x = 0의 경우 0 x > 0의 경우 1
'symmetric'	2x – 1
'symmetricismax'	최대 점수를 갖는 클래스의 점수를 1로 설정하고, 다른 모든 클래스의 점수를 –1로 설정합니다.
'symmetriclogit'	2/(1 + e–x) – 1

MATLAB 함수나 사용자가 직접 정의하는 함수의 경우, 이에 대한 함수 핸들을 점수 변환에 사용하십시오. 함수 핸들은 행렬(원래 점수)을 받아 동일한 크기의 행렬(변환된 점수)을 반환합니다.

예: 'ScoreTransform','logit'

데이터형: char | string | function_handle

'Weights' — 관측값 가중치

숫자형 벡터 | Tbl에 포함된 변수 이름

관측값 가중치로, 'Weights'와 함께 양수 값으로 구성된 숫자형 벡터나 Tbl에 포함된 변수의 이름이 쉼표로 구분되어 지정됩니다. 소프트웨어는 X 또는 Tbl의 각 행에 있는 관측값에 이에 대응하는 Weights의 값을 함께 사용하여 가중치를 적용합니다. Weights의 크기는 X 또는 Tbl의 행 개수와 일치해야 합니다.

입력 데이터를 테이블 Tbl로 지정하는 경우, Weights는 Tbl에서 숫자형 벡터를 포함하는 변수의 이름일 수 있습니다. 이 경우, Weights를 문자형 벡터 또는 string형 스칼라로 지정해야 합니다. 예를 들어, 가중 벡터 W가 Tbl.W로 저장된 경우, 이를 'W'로 지정하십시오. 그렇지 않은 경우, 소프트웨어는 모델을 훈련시킬 때 W를 포함한 Tbl의 모든 열을 예측 변수 또는 응답 변수로 처리합니다.

기본적으로, Weights는 ones(n,1)입니다. 여기서 n은 X 또는 Tbl에 포함된 관측값 개수입니다.

소프트웨어는 Weights의 총합이 각 클래스의 사전 확률의 값이 되도록 정규화합니다. BoxConstraint, Cost, Prior, Standardize, Weights의 관계와 알고리즘 동작에 대한 자세한 내용은 알고리즘 항목을 참조하십시오.

데이터형: double | single | char | string

참고

교차 검증 이름-값 쌍의 인수는 'OptimizeHyperparameters' 이름-값 쌍의 인수와 함께 사용할 수 없습니다. 'OptimizeHyperparameters'에 대한 교차 검증을 수정하려면 'HyperparameterOptimizationOptions' 이름-값 쌍의 인수를 사용해야만 합니다.

교차 검증 옵션

'CrossVal' — 교차 검증된 분류기를 훈련시키는 플래그

'off' (디폴트 값) | 'on'

교차 검증된 분류기를 훈련시키는 플래그로, 'Crossval'과 함께 'on' 또는 'off'가 쉼표로 구분되어 지정됩니다.

'on'으로 지정하면 소프트웨어가 10겹 교차 검증된 분류기를 훈련시킵니다.

사용자는 CVPartition, Holdout, KFold 또는 Leaveout 이름-값 쌍의 인수 중 하나를 사용하여 이 교차 검증 설정을 재정의할 수 있습니다. 한 번에 하나의 교차 검증 이름-값 쌍의 인수만 사용하여 교차 검증된 모델을 생성할 수 있습니다.

또는, Mdl을 crossval로 전달하여 나중에 교차 검증을 수행할 수 있습니다.

예: 'Crossval','on'

'CVPartition' — 교차 검증 분할

[] (디폴트 값) | cvpartition 분할 객체

교차 검증 분할로, 'CVPartition'과 함께 cvpartition으로 생성된 cvpartition 분할 객체가 쉼표로 구분되어 지정됩니다. 분할 객체는 교차 검증의 유형을 지정하며 훈련 세트와 검증 세트의 인덱싱도 지정합니다.

교차 검증된 모델을 생성하려면 다음 4개의 이름-값 쌍의 인수 중 하나를 사용하십시오. 'CVPartition', 'Holdout', 'KFold' 또는 'Leaveout'.

예: cvp = cvpartition(500,'KFold',5)를 사용하여 500개 관측값에 대한 5겹 교차 검증에 사용할 임의 분할을 생성한다고 가정하겠습니다. 그런 다음, 'CVPartition',cvp를 사용하여 교차 검증된 모델을 지정할 수 있습니다.

'Holdout' — 홀드아웃 검증에 사용할 데이터의 비율

(0,1) 범위의 스칼라 값

홀드아웃 검증에 사용할 데이터의 비율로, 'Holdout'과 함께 범위 (0,1) 내 스칼라 값이 쉼표로 구분되어 지정됩니다. 'Holdout',p를 지정하는 경우 소프트웨어는 다음 단계를 완료합니다.

1. 데이터의 p*100%를 검증 데이터로 무작위 선택하여 예약하고 나머지 데이터를 사용하여 모델을 훈련시킵니다.

2. 교차 검증된 모델의 Trained 속성에 훈련된 간소 모델을 저장합니다.

교차 검증된 모델을 생성하려면 다음 4개의 이름-값 쌍의 인수 중 하나를 사용하십시오. CVPartition, Holdout, KFold 또는 Leaveout.

예: 'Holdout',0.1

데이터형: double | single

'KFold' — 겹의 개수

10 (디폴트 값) | 1보다 큰 양의 정수 값

교차 검증된 모델에 사용할 겹의 개수로, 'KFold'와 함께 1보다 큰 양의 정수 값이 쉼표로 구분되어 지정됩니다. 'KFold',k를 지정하는 경우 소프트웨어는 다음 단계를 완료합니다.

1. 데이터를 k개 세트로 임의로 분할합니다.

2. 각 세트마다 해당 세트를 검증 데이터로 예약하고 나머지 k – 1개의 세트를 사용하여 모델을 훈련시킵니다.

3. 교차 검증된 모델의 Trained 속성에 kx1 셀형 벡터의 셀로 k개의 훈련된 간소 모델을 저장합니다.

교차 검증된 모델을 생성하려면 다음 4개의 이름-값 쌍의 인수 중 하나를 사용하십시오. CVPartition, Holdout, KFold 또는 Leaveout.

예: 'KFold',5

데이터형: single | double

'Leaveout' — 리브-원-아웃(Leave-One-Out) 교차 검증 플래그

'off' (디폴트 값) | 'on'

리브-원-아웃 교차 검증 플래그로, 'Leaveout'과 함께 'on'이나 'off'가 쉼표로 구분되어 지정됩니다. 'Leaveout','on'을 지정하는 경우, n개(여기서 n은 모델의 NumObservations 속성에 지정된 관측값 중 누락된 관측값을 제외한 개수임)의 관측값 각각에 대해 소프트웨어가 다음 단계를 완료합니다.

1. 관측값을 검증 데이터로 예약하고 이외의 n – 1개 관측값을 사용하여 모델을 훈련시킵니다.

2. 교차 검증된 모델의 Trained 속성에 nx1 셀형 벡터의 셀로 n개의 훈련된 간소 모델을 저장합니다.

교차 검증된 모델을 생성하려면 다음 4개의 이름-값 쌍의 인수 중 하나를 사용하십시오. CVPartition, Holdout, KFold 또는 Leaveout.

예: 'Leaveout','on'

수렴 제어 옵션

'DeltaGradientTolerance' — 기울기 차이에 대한 허용오차

음이 아닌 스칼라

순차적 최소규모 최적화(SMO) 또는 반복 단일 데이터 알고리즘(ISDA)으로 구한 상한 이탈값과 하한 이탈값 간의 기울기 차이에 대한 허용오차로, 'DeltaGradientTolerance'와 함께 음이 아닌 스칼라가 쉼표로 구분되어 지정됩니다.

DeltaGradientTolerance가 0인 경우, 소프트웨어는 기울기 차이에 대한 허용오차를 사용하여 최적화 수렴을 확인하지 않습니다.

디폴트 값은 다음과 같습니다.

• 솔버가 SMO인 경우(예를 들어, 'Solver','SMO'를 설정한 경우) 1e-3

• 솔버가 ISDA인 경우(예를 들어, 'Solver','ISDA'를 설정한 경우) 0

예: 'DeltaGradientTolerance',1e-2

데이터형: double | single

'GapTolerance' — 실현가능성 격차 허용오차

0 (디폴트 값) | 음이 아닌 스칼라

SMO 또는 ISDA로 구한 실현가능성 격차 허용오차로, 'GapTolerance'와 함께 음이 아닌 스칼라가 쉼표로 구분되어 지정됩니다.

GapTolerance가 0인 경우, 소프트웨어는 실현가능성 격차 허용오차를 사용하여 최적화 수렴을 확인하지 않습니다.

예: 'GapTolerance',1e-2

데이터형: double | single

'IterationLimit' — 수치 최적화 반복의 최대 횟수

1e6 (디폴트 값) | 양의 정수

수치 최적화 반복의 최대 횟수로, 'IterationLimit'와 함께 양의 정수가 쉼표로 구분되어 지정됩니다.

최적화 루틴이 성공적으로 수렴되는지 여부에 상관없이 소프트웨어가 훈련된 모델을 반환합니다. Mdl.ConvergenceInfo는 수렴 정보를 포함합니다.

예: 'IterationLimit',1e8

데이터형: double | single

'KKTTolerance' — 카루쉬-쿤-터커(Karush-Kuhn-Tucker) 상보성 조건 위반 허용오차

음이 아닌 스칼라

카루쉬-쿤-터커(KKT) 상보성 조건 위반 허용오차로, 'KKTTolerance'와 함께 음이 아닌 스칼라가 쉼표로 구분되어 지정됩니다.

KKTTolerance가 0인 경우, 소프트웨어는 KKT 상보성 조건 위반 허용오차를 사용하여 최적화 수렴을 확인하지 않습니다.

디폴트 값은 다음과 같습니다.

• 솔버가 SMO인 경우(예를 들어, 'Solver','SMO'를 설정한 경우) 0

• 솔버가 ISDA인 경우(예를 들어, 'Solver','ISDA'를 설정한 경우) 1e-3

예: 'KKTTolerance',1e-2

데이터형: double | single

'ShrinkagePeriod' — 활성 세트 감소 간의 반복 횟수

0 (디폴트 값) | 음이 아닌 정수

활성 세트 감소 간의 반복 횟수로, 'ShrinkagePeriod'와 함께 음이 아닌 정수가 쉼표로 구분되어 지정됩니다.

'ShrinkagePeriod',0을 설정하는 경우, 소프트웨어는 활성 세트를 축소하지 않습니다.

예: 'ShrinkagePeriod',1000

데이터형: double | single

초모수 최적화 옵션

'OptimizeHyperparameters' — 최적화할 모수

'none' (디폴트 값) | 'auto' | 'all' | 적합한 모수 이름으로 구성된 string형 배열 또는 셀형 배열 | optimizableVariable 객체로 구성된 벡터

최적화할 모수로, 'OptimizeHyperparameters'와 함께 다음 값 중 하나가 쉼표로 구분되어 지정됩니다.

• 'none' — 최적화하지 않습니다.

• 'auto' — {'BoxConstraint','KernelScale'}을 사용합니다.

• 'all' — 모든 적합한 모수를 최적화합니다.

• 적합한 모수 이름으로 구성된 string형 배열 또는 셀형 배열.

• optimizableVariable 객체로 구성된 벡터. 일반적으로 hyperparameters의 출력값입니다.

최적화는 모수를 변경하여 fitcsvm에 대한 교차 검증 손실(오차)을 최소화하려고 합니다. 교차 검증 손실에 대한 자세한 내용은 Classification Loss 항목을 참조하십시오. 교차 검증 유형과 최적화의 기타 측면을 제어하려면 HyperparameterOptimizationOptions 이름-값 쌍의 인수를 사용하십시오.

참고

'OptimizeHyperparameters' 값은 다른 이름-값 쌍의 인수를 사용하여 설정하는 모든 값을 재정의합니다. 예를 들어, 'OptimizeHyperparameters'를 'auto'로 설정하면 'auto' 값이 적용됩니다.

fitcsvm에 대한 적합한 모수는 다음과 같습니다.

• BoxConstraint — fitcsvm이 기본적으로 범위 [1e-3,1e3]에서 로그 스케일링된 양수 값 중에서 탐색을 수행합니다.

• KernelScale — fitcsvm이 기본적으로 범위 [1e-3,1e3]에서 로그 스케일링된 양수 값 중에서 탐색을 수행합니다.

• KernelFunction — fitcsvm이 'gaussian', 'linear', 'polynomial' 중에서 탐색을 수행합니다.

• PolynomialOrder — fitcsvm이 범위 [2,4] 내 정수 중에서 탐색을 수행합니다.

• Standardize — fitcsvm이 'true' 및 'false' 중에서 탐색을 수행합니다.

디폴트가 아닌 값을 가지는 optimizableVariable 객체로 구성된 벡터를 전달하여 디폴트가 아닌 모수를 설정합니다. 예를 들면 다음과 같습니다.

load fisheriris
params = hyperparameters('fitcsvm',meas,species);
params(1).Range = [1e-4,1e6];

params를 OptimizeHyperparameters의 값으로 전달합니다.

기본적으로, 반복 표시가 명령줄에 표시되고, 최적화에 지정된 초모수 개수에 따라 플롯이 표시됩니다. 최적화와 플롯에 대해 목적 함수는 회귀의 경우 log(1 + cross-validation loss)이고, 분류의 경우 오분류율입니다. 반복 표시를 제어하려면 'HyperparameterOptimizationOptions' 이름-값 쌍의 인수에 대한 Verbose 필드를 설정하십시오. 플롯을 제어하려면 'HyperparameterOptimizationOptions' 이름-값 쌍의 인수에 대한 ShowPlots 필드를 설정하십시오.

예제는 SVM 분류기 최적화하기 항목을 참조하십시오.

예: 'auto'

'HyperparameterOptimizationOptions' — 최적화에 사용할 옵션

구조체

최적화에 사용할 옵션으로, 'HyperparameterOptimizationOptions'와 함께 구조체가 쉼표로 구분되어 지정됩니다. 이 인수는 OptimizeHyperparameters 이름-값 쌍의 인수의 효과를 수정합니다. 이 구조체에 포함된 모든 필드는 선택 사항입니다.

필드 이름	값	디폴트 값
Optimizer	'bayesopt' — 베이즈 최적화를 사용합니다. 내부적으로 이 설정은 bayesopt를 호출합니다. 'gridsearch' — 차원당 NumGridDivisions개 값으로 그리드 탐색을 수행합니다. 'randomsearch' — MaxObjectiveEvaluations개 점 중에서 무작위로 탐색합니다. 'gridsearch'는 그리드에서 균등한 비복원추출을 사용하여 무작위 순서로 탐색을 수행합니다. 최적화를 수행한 후, 명령 sortrows(Mdl.HyperparameterOptimizationResults)를 사용하여 그리드순으로 정렬된 테이블을 얻을 수 있습니다.	'bayesopt'
AcquisitionFunctionName	'expected-improvement-per-second-plus' 'expected-improvement' 'expected-improvement-plus' 'expected-improvement-per-second' 'lower-confidence-bound' 'probability-of-improvement' 자세한 내용은 bayesopt 의 AcquisitionFunctionName 이름-값 쌍의 인수 또는 Acquisition Function Types 항목을 참조하십시오.	'expected-improvement-per-second-plus'
MaxObjectiveEvaluations	목적 함수 실행의 최대 횟수입니다.	'bayesopt' 또는 'randomsearch'의 경우 30이고, 'gridsearch'의 경우 그리드 전체입니다.
MaxTime	시간 제한으로, 양의 실수로 지정됩니다. 시간 제한은 초 단위이며, tic과 toc으로 측정됩니다. MaxTime은 함수 계산을 중단시키지 않으므로 실행 시간은 MaxTime을 초과할 수 있습니다.	Inf
NumGridDivisions	'gridsearch'의 경우, 각 차원의 값 개수입니다. 이 값은 각 차원에 대한 값의 개수를 제공하는 양의 정수로 구성된 벡터 또는 모든 차원에 적용되는 스칼라일 수 있습니다. 이 필드는 범주형 변수의 경우 무시됩니다.	10
ShowPlots	플롯 표시 여부를 나타내는 논리값입니다. true인 경우, 이 필드는 반복 횟수에 대해 가장 적합한 목적 함수 값을 플로팅합니다. 하나 또는 두 개의 최적화 모수가 있고 Optimizer가 'bayesopt'인 경우, ShowPlots는 이 모수에 대해서도 목적 함수의 모델을 플로팅합니다.	true
SaveIntermediateResults	Optimizer가 'bayesopt'인 경우 결과를 저장할지 여부를 나타내는 논리값입니다. true인 경우, 이 필드는 각 반복마다 'BayesoptResults'라는 이름의 작업 공간 변수를 덮어씁니다. 변수는 BayesianOptimization 객체입니다.	false
Verbose	명령줄에 대한 표시입니다. 0 — 반복 표시 안 함 1 — 반복 표시 2 — 추가 정보와 함께 반복 표시 자세한 내용은 bayesopt의 Verbose 이름-값 쌍의 인수를 참조하십시오.	1
UseParallel	베이즈 최적화를 병렬로 실행할지 여부를 나타내는 논리값으로, Parallel Computing Toolbox™가 필요합니다. 자세한 내용은 Parallel Bayesian Optimization 항목을 참조하십시오.	false
Repartition	매 반복 시 교차 검증을 다시 분할할지 여부를 나타내는 논리값입니다. false인 경우, 최적화 함수는 최적화에 단일 분할을 사용합니다. true인 경우, 분할 잡음이 고려되므로 일반적으로 가장 견고한 결과가 제공됩니다. 그러나, true에서 좋은 결과를 생성하려면 적어도 두 배 더 많은 횟수의 함수 실행이 필요합니다.	false
다음과 같은 3개 필드 이름 중 하나만 사용합니다.
CVPartition	cvpartition으로 생성되는 cvpartition 객체입니다.	교차 검증 필드를 지정하지 않을 경우 'Kfold',5
Holdout	홀드아웃 비율을 나타내는 범위 (0,1) 내 스칼라입니다.
Kfold	1보다 큰 정수입니다.

예: 'HyperparameterOptimizationOptions',struct('MaxObjectiveEvaluations',60)

데이터형: struct

출력 인수

Mdl — 훈련된 SVM 분류 모델

ClassificationSVM 모델 객체 | ClassificationPartitionedModel 교차 검증된 모델 객체

훈련된 SVM 분류 모델로, ClassificationSVM 모델 객체 또는 ClassificationPartitionedModel 교차 검증된 모델 객체로 반환됩니다.

이름-값 쌍의 인수 KFold, Holdout, Leaveout, CrossVal 또는 CVPartition 중 하나를 설정하는 경우, Mdl은 ClassificationPartitionedModel 교차 검증된 분류기입니다. 그렇지 않은 경우, Mdl은 ClassificationSVM 분류기입니다.

Mdl의 속성을 참조하려면 점 표기법을 사용하십시오. 예를 들어, 명령 창에 Mdl.Alpha를 입력하여 훈련된 라그랑주 승수를 표시할 수 있습니다.

제한 사항

• fitcsvm은 단일 클래스 학습 응용 사례와 2-클래스 학습 응용 사례에 대해 SVM 분류기를 훈련시킵니다. 세 개 이상의 클래스를 갖는 데이터를 사용하여 SVM 분류기를 훈련시키려면 fitcecoc를 사용하십시오.

• fitcsvm은 저차원 및 중간 차원의 데이터 세트를 지원합니다. 고차원 데이터 세트에 대해서는 fitclinear를 대신 사용하십시오.

세부 정보

상자 제약 조건

상자 제약 조건은 마진을 위반하는 관측값에 적용되는 최대 벌점을 제어하고 과적합을 방지(정규화)하는 데 도움이 되는 모수입니다.

상자 제약 조건을 늘리면 SVM 분류기가 더 적은 서포트 벡터를 할당합니다. 그러나, 상자 제약 조건을 늘리면 훈련 시간이 더 길어질 수 있습니다.

그람 행렬(Gram matrix)

n개 벡터의 집합으로 구성된 그람 행렬 {x₁,..,x_n; x_j ∊ R^p}는 커널 함수 ϕ를 사용하여 변환된 예측 변수의 내적인 G(x_j,x_k) = <ϕ(x_j),ϕ(x_k)>로 정의된 요소 (j,k)를 갖는 nxn 행렬입니다.

비선형 SVM의 경우, 이 알고리즘은 예측 변수 데이터 X의 행을 사용하여 그람 행렬을 형성합니다. 쌍대 문제 형식화는 X에 포함된 관측값의 내적을 결과로 생성되는 그람 행렬의 대응 요소로 바꿉니다(“커널 트릭(Kernel trick)”이라고 함). 그 결과, 비선형 SVM은 변환된 예측 변수 공간에서 동작하여 분리 초평면을 찾습니다.

카루쉬-쿤-터커(KKT) 상보성 조건

카루쉬-쿤-터커(KKT) 상보성 조건은 최적의 비선형 계획법 해에 요구되는 최적화 제약 조건입니다.

SVM에서 KKT 상보성 조건은 다음과 같습니다.

$$\{\begin{array}{l}{\alpha }_j\left[y_{j}f\left(x_j\right)-1+{\xi }_j\right]=0\\ {\xi }_j\left(C-{\alpha }_j\right)=0\end{array}$$

이는 모든 j = 1,...,n에 대해 적용됩니다. 여기서 $$f\left(x_j\right)=\varphi \left(x_j\right)\prime \beta +b,$$ ϕ는 커널 함수(그람 행렬 참조)이고, ξ_j는 여유 변수입니다. 클래스가 완벽하게 분리 가능한 경우, 모든 j = 1,...,n에 대해 ξ_j = 0입니다.

단일 클래스 학습

단일 클래스 학습, 즉 비지도 SVM은 고차원 예측 변수 공간(원래 예측 변수 공간이 아님)의 원점에서 데이터를 분리하는 것이 목적이며, 이상값 감지에 사용되는 알고리즘입니다.

이 알고리즘은 이진 분류를 위한 SVM의 알고리즘과 비슷합니다. 목적은 다음과 같은 쌍대 문제 표현식의 크기를 최소화하는 것입니다.

$$0.5{\displaystyle \sum _{jk}{\alpha }_j}{\alpha }_{k}G(x_j,x_k)$$

여기에서 $${\alpha }_1,\mathrm{...},{\alpha }_n$$은 다음의 값입니다.

$${\displaystyle \sum {\alpha }_j}=n\nu$$

또한, 모든 j = 1,...,n에 대해 $$0\le {\alpha }_j\le 1$$입니다. G(x_j,x_k)의 값은 그람 행렬의 요소 (j,k)에 있습니다.

ν의 값이 작을 경우 서포트 벡터의 수가 더 적어지고, 이에 따라 매끄럽고 엄격한 결정 경계가 생성됩니다. ν의 값이 클 경우 서포트 벡터의 수가 더 많아지고, 이에 따라 굴곡이 많은 유연한 결정 경계가 생성됩니다. ν의 최적 값은 데이터 복잡성을 담을 수 있을 정도로 크고 과잉훈련을 피할 수 있을 정도로 작아야 합니다. 또한, 0 < ν ≤ 1입니다.

자세한 내용은 [5] 항목을 참조하십시오.

서포트 벡터

서포트 벡터는 순양수 추정값 α₁,...,α_n에 대응되는 관측값입니다.

주어진 훈련 세트에 대해 더 적은 수의 서포트 벡터를 생성하는 SVM 분류기가 더 좋습니다.

이진 분류를 위한 서포트 벡터 머신

SVM 이진 분류 알고리즘은 두 클래스로 데이터를 분리하는 최적의 초평면을 탐색합니다. 분리 가능한 클래스에 대해 최적의 초평면은 양성 클래스와 음성 클래스에 대한 경계를 생성하는, 이를 둘러싸는 마진(관측값을 포함하지 않는 공간)을 극대화합니다. 분리가 불가능한 클래스에 대해서도 목적은 같지만, 이 알고리즘은 클래스 경계의 잘못된 변에 있는 모든 관측값에 대한 마진의 길이에 벌점을 적용합니다.

선형 SVM 점수 함수는 다음과 같습니다.

$$f(x)=x\prime \beta +b,$$

여기서는 다음을 조건으로 합니다.

• x는 (X의 행에 대응하는)관측값입니다.

• 벡터 β는 초평면에 대한 직교 벡터를 정의하는 계수(Mdl.Beta에 대응)를 포함합니다. 분리 가능한 데이터에 대해 최적의 마진 길이는 $$2/\Vert \beta \Vert .$$입니다.

• b는 (Mdl.Bias에 대응하는) 편향 항입니다.

특정 계수에 대한 f(x)의 근은 초평면을 정의합니다. 특정 초평면에 대해 f(z)는 점 z에서 초평면까지의 거리입니다.

이 알고리즘은 양성 클래스(y = 1)와 음성 클래스(y = –1)의 관측값을 분리된 상태로 유지하면서 최대 마진 길이를 탐색합니다.

• 분리 가능한 클래스인 경우, 모든 j = 1,..,n에 대해 y_jf(x_j) ≥ 1을 만족하는 β 및 b에 대해 $$\Vert \beta \Vert$$를 최소화하는 것이 목적입니다. 이것은 분리 가능한 클래스에 대한 원문제(Primal) 형식화입니다.

• 분리가 불가능한 클래스에 대해 이 알고리즘은 여유 변수(ξ_j)를 사용하여 해당 클래스의 마진 경계를 교차하는 관측값의 목적 함수에 벌점을 적용합니다. 해당 클래스의 마진 경계를 교차하지 않는 관측값에 대해서는 ξ_j = 0이고, 그렇지 않은 경우 ξ_j ≥ 0입니다.

  모든 j = 1,..,n에 대해, 그리고 양의 스칼라 상자 제약 조건 C에 대해 $$y_{j}f(x_j)\ge 1-{\xi }_j$$ 및 $${\xi }_j\ge 0$$을 만족하는 β, b, ξ_j에 대해 $$0.5{\Vert \beta \Vert }^2+C{\displaystyle \sum {\xi }_j}$$를 최소화하는 것이 목적입니다. 이것은 분리가 불가능한 클래스에 대한 원문제(Primal) 형식화입니다.

이 알고리즘은 목적 함수를 최적화하기 위해 라그랑주 승수 방법을 사용합니다. 여기에는 n개의 계수 α₁,...,α_n(Mdl.Alpha에 대응)이 사용됩니다. 선형 SVM의 쌍대 문제 형식화는 다음과 같습니다.

• 분리 가능한 클래스에 대해 다음을 최소화합니다.

  $$0.5{\displaystyle \sum _{j=1}^n{\displaystyle \sum }_{k=1}^n}{\alpha }_j{\alpha }_k{y}_j{y}_k{x}_j\prime x_k-{\displaystyle \sum }_{j=1}^n{\alpha }_j$$

  이는 α₁,...,α_n에 대해 수행되고 $${\displaystyle \sum {\alpha }_j}{y}_j=0$$, 모든 j = 1,...,n에 대해 α_j ≥ 0, 그리고 카루쉬-쿤-터커(KKT) 상보성 조건이 적용됩니다.

• 분리가 불가능한 클래스에 대해 목적은 분리 가능한 클래스에 대한 목적과 동일하되, 모든 j = 1,..,n에 대해 $$0\le {\alpha }_j\le C$$이라는 추가 조건이 적용됩니다.

결과로 생성되는 점수 함수는 다음과 같습니다.

$$\widehat{f}(x)={\displaystyle \sum _{j=1}^n{\widehat{\alpha }}_j}{y}_{j}x\prime x_j+\widehat{b}.$$

$$\widehat{b}$$는 편향에 대한 추정값이고 $${\widehat{\alpha }}_j$$는 벡터 $$\widehat{\alpha }$$, j = 1,...,n에 대한 j번째 추정값입니다. 이렇게 작성된 점수 함수는 원문제 형식화의 결과로 β의 추정값을 생성하지 않습니다.

SVM 알고리즘은 $$\text{sign}\left(\widehat{f}\left(z\right)\right).$$를 사용하여 새 관측값 z를 분류합니다.

비선형 경계가 클래스를 분리하는 경우가 있습니다. 비선형 SVM은 변환된 예측 변수 공간에서 동작하여 최적의 분리 초평면을 찾습니다.

비선형 SVM의 쌍대 문제 형식화는 다음과 같습니다.

$$0.5{\displaystyle \sum _{j=1}^n{\displaystyle \sum _{k=1}^n{\alpha }_j}}{\alpha }_k{y}_j{y}_{k}G(x_j,x_k)-{\displaystyle \sum _{j=1}^n{\alpha }_j}$$

이는 α₁,...,α_n에 대해 수행되고 $${\displaystyle \sum {\alpha }_j}{y}_j=0$$, 모든 j = 1,..,n에 대해 $$0\le {\alpha }_j\le C$$, 그리고 KKT 상보성 조건이 적용됩니다.G(x_k,x_j)는 그람 행렬(Gram matrix)의 요소입니다. 결과로 나타나는 점수 함수는 다음과 같습니다.

$$\widehat{f}(x)={\displaystyle \sum _{j=1}^n{\widehat{\alpha }}_j}{y}_{j}G(x,x_j)+\widehat{b}.$$

자세한 내용은 서포트 벡터 머신 이해하기, [1] 항목 및 [3] 항목을 참조하십시오.

팁

• 데이터 세트가 크지 않다면 항상 예측 변수를 표준화하도록 하십시오(Standardize 참조). 표준화를 수행하면 예측 변수가 측정되는 척도에 영향을 받지 않게 됩니다.

• KFold 이름-값 쌍의 인수를 사용하여 교차 검증을 수행하는 것이 좋습니다. 교차 검증 결과를 통해 SVM 분류기가 얼마나 잘 일반화되는지 확인할 수 있습니다.

• 단일 클래스 학습의 경우:

  • 이름-값 쌍 인수 Alpha의 디폴트 설정을 사용하는 경우 훈련 시간이 길어질 수 있습니다. 훈련 속도를 높이려면 Alpha를 대부분 0으로 구성된 벡터로 설정하십시오.

  • 더 적은 서포트 벡터가 생성되도록 이름-값 쌍의 인수 Nu를 0에 더 가까운 값으로 설정하십시오. 그러면 더 매끄럽지만 엄격한 결정 경계가 생성됩니다.

• 서포트 벡터의 희소성은 SVM 분류기에 있어서는 이상적인 속성입니다. 서포트 벡터의 개수를 줄이려면 BoxConstraint를 큰 값으로 설정하십시오. 단, 이 동작을 수행하면 훈련 시간이 증가합니다.

• 최적의 훈련 시간을 위해 CacheSize를 컴퓨터의 메모리 제한이 허용하는 한 최대한 높게 설정하십시오.

• 훈련 세트에서 서포트 벡터의 개수가 관측값보다 훨씬 적을 거라 예상되는 경우, 이름-값 쌍의 인수 'ShrinkagePeriod'를 사용하여 활성 세트를 축소함으로써 수렴되는 속도를 상당히 높일 수 있습니다. 'ShrinkagePeriod',1000을 지정하는 것이 좋습니다.

• 결정 경계에서 멀리 떨어진 중복된 관측값은 수렴에 영향을 미치지 않습니다. 그러나, 결정 경계 가까이에 있는 중복된 관측값은 몇 개만 있더라도 수렴되는 속도가 상당히 느려질 수 있습니다. 다음과 같은 경우 'RemoveDuplicates',true를 지정하여 수렴되는 속도를 높이십시오.

  • 데이터 세트에 중복된 관측값이 많이 있는 경우.

  • 몇 개의 중복된 관측값이 결정 경계 가까이에 있다고 의심되는 경우.

  훈련 중에 원래 데이터 세트를 유지하기 위해 fitcsvm은 원래 데이터 세트와 중복된 관측값을 제거한 두 개의 데이터 세트를 일시적으로 별도로 저장해야 합니다. 따라서, 몇몇 중복된 관측값을 포함하는 데이터 세트에 대해 true를 지정할 경우 fitcsvm은 원래 데이터 메모리의 두 배에 가까운 메모리를 사용합니다.

• 모델을 훈련시킨 후에는 새 데이터에 대한 레이블을 예측하는 C/C++ 코드를 생성할 수 있습니다. C/C++ 코드를 생성하려면 MATLAB Coder™가 필요합니다. 자세한 내용은 Introduction to Code Generation 항목을 참조하십시오.

알고리즘

• SVM 이진 분류 알고리즘의 수학적 공식은 이진 분류를 위한 서포트 벡터 머신 항목과 서포트 벡터 머신 이해하기 항목을 참조하십시오.

• NaN, <undefined>, 빈 문자형 벡터(''), 빈 string형(""), <missing> 값은 결측값을 나타냅니다. fitcsvm은 결측 응답 변수에 대응되는 데이터의 전체 행을 제거합니다. 총 가중치를 계산할 때(다음 글머리 기호 항목 참조), fitcsvm은 최소 한 개의 결측 예측 변수를 갖는 관측값에 대응되는 가중치를 모두 무시합니다. 이 동작은 균형 클래스 문제에서 불균형 사전 확률을 초래할 수 있습니다. 따라서, 관측값 상자 제약 조건은 BoxConstraint와 일치하지 않을 수 있습니다.

• fitcsvm은 가중치 또는 사전 확률이 0인 관측값을 제거합니다.

• 2-클래스 학습의 경우, 비용 행렬 $$\mathcal{C}$$(Cost 참조)를 지정하면 소프트웨어가 $$\mathcal{C}$$에 설명되어 있는 벌점을 적용하는 방식으로 클래스 사전 확률 p(Prior 참조)를 p_c로 업데이트합니다.

  구체적으로, fitcsvm은 다음 단계를 완료합니다.

  1. $$p_c^{\ast }=p\prime \mathcal{C}.$$를 계산합니다.

  2. 업데이트된 사전 확률의 합이 1이 되도록 p_c^*를 정규화합니다.

     $$p_c=\frac{1}{{\displaystyle \sum _{j=1}^K{p}_{c,j}^{\ast }}}{p}_c^{\ast }.$$

     K는 클래스 개수입니다.

  3. 비용 행렬을 다음과 같이 디폴트 값으로 재설정합니다.

     $$\mathcal{C}=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right].$$

  4. 훈련 데이터에서 사전 확률이 0인 클래스에 대응되는 관측값을 제거합니다.

• 2-클래스 학습의 경우, fitcsvm은 모든 관측값 가중치(Weights 참조)의 합이 1이 되도록 정규화합니다. 그런 다음, 정규화된 가중치를 합이 관측값이 속하는 클래스의 업데이트된 사전 확률이 되도록 다시 정규화합니다. 즉, k 클래스의 관측값 j에 대한 총 가중치는 다음과 같습니다.

  $$w_j^{\ast }=\frac{w_j}{{\displaystyle \sum _{\forall j\in \text{Class }k}{w}_j}}{p}_{c,k}.$$

  w_j는 관측값 j에 대한 정규화된 가중치이고, p_c,k는 k 클래스의 업데이트된 사전 확률입니다(앞에 나와 있는 글머리 기호 항목 참조).

• 2-클래스 학습의 경우, fitcsvm은 상자 제약 조건을 훈련 데이터의 각 관측값에 할당합니다. 관측값 j의 상자 제약 조건에 대한 공식은 다음과 같습니다.

  $$C_j=n{C}_0{w}_j^{\ast }.$$

  n은 훈련 표본 크기이고, C₀은 초기 상자 제약 조건이며('BoxConstraint' 이름-값 쌍의 인수 참조), $$w_j^{\ast }$$는 관측값 j의 총 가중치입니다(앞에 나와 있는 글머리 기호 목록 참조).

• 'Standardize',true를 설정하고 'Cost', 'Prior' 또는 'Weights' 이름-값 쌍의 인수를 설정하면 fitcsvm이 대응되는 가중 평균과 가중 표준편차를 사용하여 예측 변수를 표준화합니다. 즉, fitcsvm은 다음을 사용하여 예측 변수 j를 표준화합니다(x_j).

  $$x_j^{\ast }=\frac{x_j-{\mu }_j^{\ast }}{{\sigma }_j^{\ast }}.$$

  $${\mu }_j^{\ast }=\frac{1}{{\displaystyle \sum _k{w}_k^{\ast }}}{\displaystyle \sum _k{w}_k^{\ast }{x}_{jk}}.$$

  x_jk는 예측 변수 j(열)의 관측값 k(행)입니다.

  $${\left({\sigma }_j^{\ast }\right)}^2=\frac{v_1}{v_1^2-v_2}{\displaystyle \sum _k{w}_k^{\ast }{\left(x_{jk}-{\mu }_j^{\ast }\right)}^2}.$$

  $$v_1={\displaystyle \sum _j{w}_j^{\ast }}.$$

  $$v_2={\displaystyle \sum _j{\left(w_j^{\ast }\right)}^2}.$$

• p가 훈련 데이터에서 사용자가 예상하는 이상값 비율이고 'OutlierFraction',p를 설정한다고 가정합니다.

  • 단일 클래스 학습의 경우, 소프트웨어가 훈련 데이터에 포함된 관측값의 100p%가 음의 점수를 가지도록 편향 항을 훈련시킵니다.

  • 2-클래스 학습의 경우 소프트웨어가 로버스트 학습을 구현합니다. 다시 말해, 최적화 알고리즘이 수렴될 때 소프트웨어가 관측값의 100p%를 제거한다는 의미입니다. 제거되는 관측값은 크기가 큰 기울기에 해당합니다.

• 예측 변수 데이터에 범주형 변수가 포함된 경우 소프트웨어가 일반적으로 이러한 변수에 대해 전체 가변수 인코딩을 사용합니다. 소프트웨어는 각 범주형 변수의 각 수준마다 하나의 가변수를 생성합니다.

  • PredictorNames 속성은 원래 예측 변수 이름마다 하나의 요소를 저장합니다. 예를 들어, 세 개의 예측 변수가 있고, 그중 하나가 세 개 수준을 갖는 범주형 변수라고 가정해 보겠습니다. 그러면 PredictorNames는 예측 변수의 원래 이름을 포함하는 문자형 벡터로 구성된 1x3 셀형 배열이 됩니다.

  • ExpandedPredictorNames 속성은 가변수를 포함하여 예측 변수마다 하나의 요소를 저장합니다. 예를 들어, 세 개의 예측 변수가 있고, 그중 하나가 세 개 수준을 갖는 범주형 변수라고 가정해 보겠습니다. 그러면 ExpandedPredictorNames는 예측 변수 이름 및 새 가변수의 이름을 포함하는 문자형 벡터로 구성된 1x5 셀형 배열이 됩니다.

  • 마찬가지로, Beta 속성은 가변수를 포함하여 예측 변수마다 하나의 베타 계수를 저장합니다.

  • SupportVectors 속성은 가변수를 포함하여 서포트 벡터에 대한 예측 변수 값을 저장합니다. 예를 들어, m개의 서포트 벡터와 세 개의 예측 변수가 있고, 그중 하나가 세 개의 수준을 갖는 범주형 변수라고 가정해 보겠습니다. 그러면 SupportVectors는 nx5 행렬이 됩니다.

  • X 속성은 훈련 데이터를 원래 입력된 대로 저장하고 가변수는 포함하지 않습니다. 입력값이 테이블인 경우, X는 예측 변수로 사용된 열만 포함합니다.

• 테이블에 지정된 예측 변수에 대해 변수 중 하나가 순서가 지정된(순서형) 범주를 포함하는 경우 소프트웨어는 이러한 변수에 대해 순서형 인코딩(Ordinal Encoding)을 사용합니다.

  • 순서가 지정된 k개의 수준을 갖는 변수에 대해 소프트웨어는 k – 1개의 가변수를 생성합니다. j번째 가변수는 수준이 j일 때까지는 –1이 되고, 수준이 j + 1과 k 사이인 경우 +1이 됩니다.

  • ExpandedPredictorNames 속성에 저장된 가변수의 이름은 값 +1을 갖는 첫 번째 수준을 나타냅니다. 소프트웨어는 수준 2, 3, ..., k의 이름을 포함하여 가변수에 대해 k – 1개의 추가 예측 변수 이름을 저장합니다.

• 모든 솔버는 L1 소프트 마진(Soft-Margin) 최소화를 구현합니다.

• 단일 클래스 학습의 경우, 소프트웨어는 다음을 만족하는 라그랑주 승수 α₁,...,α_n을 추정합니다.

  $${\displaystyle \sum _{j=1}^n{\alpha }_j}=n\nu .$$

참고 문헌

[1] Christianini, N., and J. C. Shawe-Taylor. An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods. Cambridge, UK: Cambridge University Press, 2000.

[2] Fan, R.-E., P.-H. Chen, and C.-J. Lin. “Working set selection using second order information for training support vector machines.” Journal of Machine Learning Research, Vol. 6, 2005, pp. 1889–1918.

[3] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, Second Edition. NY: Springer, 2008.

[4] Kecman V., T. -M. Huang, and M. Vogt. “Iterative Single Data Algorithm for Training Kernel Machines from Huge Data Sets: Theory and Performance.” Support Vector Machines: Theory and Applications. Edited by Lipo Wang, 255–274. Berlin: Springer-Verlag, 2005.

[5] Scholkopf, B., J. C. Platt, J. C. Shawe-Taylor, A. J. Smola, and R. C. Williamson. “Estimating the Support of a High-Dimensional Distribution.” Neural Comput., Vol. 13, Number 7, 2001, pp. 1443–1471.

[6] Scholkopf, B., and A. Smola. Learning with Kernels: Support Vector Machines, Regularization, Optimization and Beyond, Adaptive Computation and Machine Learning. Cambridge, MA: The MIT Press, 2002.

확장 기능

자동 병렬 지원

Parallel Computing Toolbox™를 사용해 자동 병렬 계산을 실행하여 코드 실행 속도를 높일 수 있습니다.

병렬로 실행하려면 'UseParallel' 옵션을 true로 설정하십시오.

병렬 초모수 최적화를 수행하려면 이 함수에 대한 호출에 'HyperparameterOptions', struct('UseParallel',true) 이름-값 쌍의 인수를 사용하십시오.

병렬 초모수 최적화에 대한 자세한 내용은 Parallel Bayesian Optimization 항목을 참조하십시오.

GPU 배열

Parallel Computing Toolbox™를 사용해 GPU(그래픽스 처리 장치)에서 실행하여 코드 실행 속도를 높일 수 있습니다.

사용법 관련 참고 및 제한 사항:

• 'KernelFunction' 옵션은 사용자 지정 커널을 지정하지 않아야 합니다.

• 'Solver' 옵션은 'SMO'로만 설정할 수 있습니다.

• 'OutlierFraction' 옵션은 지원되지 않습니다.

• 'Alpha' 옵션은 실현가능 시작점을 지정해야 합니다.

• 'OptimizeHyperparameters' 옵션은 지원되지 않습니다.

• 단일 클래스 분류는 지원되지 않습니다. 레이블은 2개의 서로 다른 클래스를 포함해야 합니다.

자세한 내용은 Run MATLAB Functions on a GPU (Parallel Computing Toolbox) 항목을 참조하십시오.

참고 항목

ClassificationPartitionedModel | ClassificationSVM | CompactClassificationSVM | fitSVMPosterior | fitcecoc | fitclinear | predict | quadprog | rng

도움말 항목

• 가우스 커널을 사용하여 SVM 분류기를 훈련시키기
• 사용자 지정 커널을 사용하여 SVM 분류기 훈련시키기
• Optimize a Cross-Validated SVM Classifier Using bayesopt
• Optimize an SVM Classifier Fit Using Bayesian Optimization
• 서포트 벡터 머신 이해하기

R2014a에 개발됨