TreeBagger
배깅 결정 트리의 앙상블
설명
TreeBagger 객체는 분류 또는 회귀를 위한 배깅 결정 트리의 앙상블입니다. 개별 결정 트리는 과적합되는 경향이 있습니다. 배깅(Bagging)은 부트스트랩 집계(bootstrap aggregation)의 약어로 과적합의 영향을 줄이고 일반화를 향상시키는 앙상블 방법입니다.
생성
TreeBagger 함수는 입력 데이터의 부트스트랩 표본을 사용하여 TreeBagger 앙상블 모델의 모든 트리를 성장시킵니다. 표본에 포함되지 않은 관측값은 해당 트리에 대해 "Out-of-bag"으로 간주됩니다. 이 함수는 랜덤 포레스트 알고리즘 [1]을 사용하여 각 결정 분할에 사용할 예측 변수의 일부를 임의로 선택합니다.
구문
설명
팁
기본적으로, TreeBagger 함수는 분류 결정 트리를 성장시킵니다. 회귀 결정 트리를 성장시키려면 이름-값 인수 Method를 "regression"으로 지정합니다.
Mdl = TreeBagger(NumTrees,Tbl,ResponseVarName)Tbl에 포함된 예측 변수와 변수 Tbl.ResponseVarName의 클래스 레이블로 훈련된 NumTrees 배깅 분류 트리의 앙상블 객체(Mdl)를 반환합니다.
Mdl = TreeBagger(NumTrees,Tbl,formula)Tbl에 포함된 예측 변수로 훈련된 Mdl을 반환합니다. 입력 formula는 Mdl을 피팅하는 데 사용된 Tbl에 포함된 응답 변수와 예측 변수의 부분 집합에 대한 설명 모델입니다. Wilkinson Notation을 사용하여 formula를 지정합니다.
Mdl = TreeBagger(___,Name=Value)Mdl을 반환합니다. 예를 들어, 이름-값 인수 PredictorSelection을 사용하여 범주형 예측 변수에 대한 최상의 분할을 찾는 데 사용되는 알고리즘을 지정할 수 있습니다.
입력 인수
출력 인수
속성
객체 함수
예제
배깅 분류 트리의 앙상블 훈련시키기
피셔(Fisher)의 붓꽃 데이터 세트에 대해 배깅 분류 트리의 앙상블을 만듭니다. 그런 다음, 첫 번째 성장된 트리를 확인하고, Out-of-bag 분류 오차를 플로팅하고, Out-of-bag 관측값에 대한 레이블을 예측합니다.
fisheriris 데이터 세트를 불러옵니다. X를 150개 붓꽃에 대한 4개의 꽃잎 측정값을 포함하는 숫자형 행렬로 생성합니다. Y를 이에 대응되는 붓꽃 종을 포함하는 문자형 벡터로 구성된 셀형 배열로 생성합니다.
load fisheriris
X = meas;
Y = species;재현이 가능하도록 난수 생성기를 default로 설정합니다.
rng("default")전체 데이터 세트를 사용하여 배깅 분류 트리의 앙상블을 훈련시킵니다. 50개의 약한 학습기를 지정합니다. 각 트리에 대한 Out-of-bag 관측값을 저장합니다. 기본적으로, TreeBagger는 깊은 트리를 성장시킵니다.
Mdl = TreeBagger(50,X,Y,... Method="classification",... OOBPrediction="on")
Mdl =
TreeBagger
Ensemble with 50 bagged decision trees:
Training X: [150x4]
Training Y: [150x1]
Method: classification
NumPredictors: 4
NumPredictorsToSample: 2
MinLeafSize: 1
InBagFraction: 1
SampleWithReplacement: 1
ComputeOOBPrediction: 1
ComputeOOBPredictorImportance: 0
Proximity: []
ClassNames: 'setosa' 'versicolor' 'virginica'
Properties, Methods
분류 트리의 경우 Mdl은 TreeBagger의 앙상블입니다.
Mdl.Trees 속성은 앙상블에 대해 훈련된 분류 트리를 포함하는 50×1 셀형 벡터입니다. 각 트리는 CompactClassificationTree 객체입니다. 첫 번째 훈련된 분류 트리의 그래픽 표시를 확인합니다.
view(Mdl.Trees{1},Mode="graph")![{"String":"Figure Classification tree viewer contains an axes object and other objects of type uimenu, uicontrol. The axes object contains 27 objects of type line, text.","Tex":[],"LaTex":[]}](trainensembleofbaggedclassificationtreesexample_01_ko_KR.png)
성장된 분류 트리의 개수에 대한 Out-of-bag 분류 오차를 플로팅합니다.
plot(oobError(Mdl)) xlabel("Number of Grown Trees") ylabel("Out-of-Bag Classification Error")
Out-of-bag 오차는 성장된 트리 개수가 증가함에 따라 감소합니다.
Out-of-bag 관측값에 대한 레이블을 예측합니다. 임의의 10개 관측값으로 구성된 집합에 대한 결과를 표시합니다.
oobLabels = oobPredict(Mdl); ind = randsample(length(oobLabels),10); table(Y(ind),oobLabels(ind),... VariableNames=["TrueLabel" "PredictedLabel"])
ans=10×2 table
TrueLabel PredictedLabel
______________ ______________
{'setosa' } {'setosa' }
{'virginica' } {'virginica' }
{'setosa' } {'setosa' }
{'virginica' } {'virginica' }
{'setosa' } {'setosa' }
{'virginica' } {'virginica' }
{'setosa' } {'setosa' }
{'versicolor'} {'versicolor'}
{'versicolor'} {'virginica' }
{'virginica' } {'virginica' }
배깅 회귀 트리의 앙상블 훈련시키기
carsmall 데이터 세트에 대해 배깅 회귀 트리의 앙상블을 만듭니다. 그런 다음, 조건부 평균 응답 변수와 조건부 분위수를 예측합니다.
carsmall 데이터 세트를 불러옵니다. X를 자동차 엔진 배기량 값을 포함하는 숫자형 벡터로 만듭니다. Y를 대응되는 갤런당 마일 주행거리를 포함하는 숫자형 벡터로 만듭니다.
load carsmall
X = Displacement;
Y = MPG;재현이 가능하도록 난수 생성기를 default로 설정합니다.
rng("default")전체 데이터 세트를 사용하여 배깅 회귀 트리의 앙상블을 훈련시킵니다. 100개의 약한 학습기를 지정합니다.
Mdl = TreeBagger(100,X,Y,... Method="regression")
Mdl =
TreeBagger
Ensemble with 100 bagged decision trees:
Training X: [94x1]
Training Y: [94x1]
Method: regression
NumPredictors: 1
NumPredictorsToSample: 1
MinLeafSize: 5
InBagFraction: 1
SampleWithReplacement: 1
ComputeOOBPrediction: 0
ComputeOOBPredictorImportance: 0
Proximity: []
Properties, Methods
회귀 트리의 경우 Mdl은 TreeBagger의 앙상블입니다.
최소 표본내 변위와 최대 표본내 변위 사이에 있는 균일한 간격의 엔진 배기량 10개에 대해 조건부 평균 응답 변수(YMean)와 조건부 분위수(YQuartiles)를 예측합니다.
predX = linspace(min(X),max(X),10)';
YMean = predict(Mdl,predX);
YQuartiles = quantilePredict(Mdl,predX,...
Quantile=[0.25,0.5,0.75]);관측값, 추정된 평균 응답 변수, 그리고 추정된 분위수를 플로팅합니다.
hold on plot(X,Y,"o"); plot(predX,YMean) plot(predX,YQuartiles) hold off ylabel("Fuel Economy") xlabel("Engine Displacement") legend("Data","Mean Response",... "First Quartile","Median",..., "Third Quartile")
배깅 회귀 트리에 대한 무편향 예측 변수 중요도 추정값
두 개의 배깅 회귀 트리 앙상블을 생성합니다. 하나는 예측 변수 분할을 위한 표준 CART 알고리즘을 사용하고 다른 하나는 예측 변수 분할을 위한 곡률 검정을 사용합니다. 그런 다음, 두 앙상블의 예측 변수 중요도 추정값을 비교합니다.
carsmall 데이터 세트를 불러오고 변수 Cylinders, Mfg, Model_Year를 범주형 변수로 변환합니다. 그런 다음, 범주형 변수로 표현된 범주의 개수를 표시합니다.
load carsmall
Cylinders = categorical(Cylinders);
Mfg = categorical(cellstr(Mfg));
Model_Year = categorical(Model_Year);
numel(categories(Cylinders))ans = 3
numel(categories(Mfg))
ans = 28
numel(categories(Model_Year))
ans = 3
8개의 자동차 메트릭을 포함하는 테이블을 생성합니다.
Tbl = table(Acceleration,Cylinders,Displacement,...
Horsepower,Mfg,Model_Year,Weight,MPG);재현이 가능하도록 난수 생성기를 default로 설정합니다.
rng("default")전체 데이터 세트를 사용하여 200개 배깅 회귀 트리의 앙상블을 훈련시킵니다. 데이터에 누락값이 있으므로 대리 분할을 사용하도록 지정합니다. 예측 변수 중요도 추정에 대한 Out-of-bag 정보를 저장합니다.
기본적으로 TreeBagger는 예측 변수 분할을 위한 알고리즘인 표준 CART를 사용합니다. 변수 Cylinders 및 Model_Year에는 각각 3개 범주만 있기 때문에 표준 CART가 이 두 변수를 사용하는 대신 연속형 예측 변수를 분할하려 합니다.
MdlCART = TreeBagger(200,Tbl,"MPG",... Method="regression",Surrogate="on",... OOBPredictorImportance="on");
TreeBagger는 속성 OOBPermutedPredictorDeltaError에 예측 변수 중요도 추정값을 저장합니다.
impCART = MdlCART.OOBPermutedPredictorDeltaError;
전체 데이터 세트를 사용하여 200개 회귀 트리로 구성된 랜덤 포레스트를 훈련시킵니다. 무편향 트리를 성장시키려면 예측 변수 분할에 곡률 검정을 사용하도록 지정하십시오.
MdlUnbiased = TreeBagger(200,Tbl,"MPG",... Method="regression",Surrogate="on",... PredictorSelection="curvature",... OOBPredictorImportance="on"); impUnbiased = MdlUnbiased.OOBPermutedPredictorDeltaError;
막대 그래프를 만들어 두 앙상블에 대한 예측 변수 중요도 추정값 impCART 및 impUnbiased를 비교합니다.
tiledlayout(1,2,Padding="compact"); nexttile bar(impCART) title("Standard CART") ylabel("Predictor Importance Estimates") xlabel("Predictors") h = gca; h.XTickLabel = MdlCART.PredictorNames; h.XTickLabelRotation = 45; h.TickLabelInterpreter = "none"; nexttile bar(impUnbiased); title("Curvature Test") ylabel("Predictor Importance Estimates") xlabel("Predictors") h = gca; h.XTickLabel = MdlUnbiased.PredictorNames; h.XTickLabelRotation = 45; h.TickLabelInterpreter = "none";
CART 모델의 경우 연속형 예측 변수 Weight는 두 번째로 중요한 예측 변수입니다. 무편향 모델의 경우 값과 순위에서 Weight의 예측 변수 중요도는 더 낮습니다.
tall형 배열에 대해 배깅 분류 트리의 앙상블 훈련시키기
tall형 배열의 관측값에 대해 전체 배깅 분류 트리의 앙상블을 훈련시키고, 가중 관측값에 대해 모델에 있는 각 트리의 오분류 확률을 구합니다. 이 예제에서는 항공편 데이터로 구성된 테이블 형식 파일을 포함하는 대규모 데이터 세트인 airlinesmall.csv를 사용합니다.
tall형 배열에 대한 계산을 수행할 때 MATLAB®은 병렬 풀(Parallel Computing Toolbox™를 사용할 경우 디폴트 값) 또는 로컬 MATLAB 세션을 사용합니다. Parallel Computing Toolbox가 있는 상태에서 로컬 MATLAB 세션을 사용하여 예제를 실행하려면 mapreducer 함수를 사용하여 전역 실행 환경을 변경하십시오.
mapreducer(0)
데이터 세트가 있는 폴더의 위치를 참조하는 데이터저장소를 생성합니다. 사용할 변수의 부분 집합을 선택하고, datastore 함수에서 "NA" 값을 누락된 데이터로 처리하여 이를 NaN 값으로 바꿀 수 있도록 합니다. 데이터저장소에 있는 데이터를 포함할 tall형 테이블 tt를 생성합니다.
ds = datastore("airlinesmall.csv"); ds.SelectedVariableNames = ["Month" "DayofMonth" "DayOfWeek",... "DepTime" "ArrDelay" "Distance" "DepDelay"]; ds.TreatAsMissing = "NA"; tt = tall(ds)
tt =
Mx7 tall table
Month DayofMonth DayOfWeek DepTime ArrDelay Distance DepDelay
_____ __________ _________ _______ ________ ________ ________
10 21 3 642 8 308 12
10 26 1 1021 8 296 1
10 23 5 2055 21 480 20
10 23 5 1332 13 296 12
10 22 4 629 4 373 -1
10 28 3 1446 59 308 63
10 8 4 928 3 447 -2
10 10 6 859 11 954 -1
: : : : : : :
: : : : : : :
늦은 항공편에 대해 true인 논리형 변수를 정의하여 10분 이상 늦은 항공편을 확인합니다. 이 변수는 클래스 레이블 Y를 포함합니다. 이 변수의 미리보기에는 처음 몇 개 행만 포함됩니다.
Y = tt.DepDelay > 10
Y = Mx1 tall logical array 1 0 1 1 0 1 0 0 : :
예측 변수 데이터에 대한 tall형 배열 X를 생성합니다.
X = tt{:,1:end-1}X =
Mx6 tall double matrix
10 21 3 642 8 308
10 26 1 1021 8 296
10 23 5 2055 21 480
10 23 5 1332 13 296
10 22 4 629 4 373
10 28 3 1446 59 308
10 8 4 928 3 447
10 10 6 859 11 954
: : : : : :
: : : : : :
클래스 1에 있는 관측값에 임의로 두 배의 가중치를 할당하여 관측값 가중치에 대한 tall형 배열 W를 생성합니다.
W = Y+1;
X, Y, W에서 누락된 데이터를 포함하는 행을 제거합니다.
R = rmmissing([X Y W]); X = R(:,1:end-2); Y = R(:,end-1); W = R(:,end);
전체 데이터 세트를 사용하여 20개 배깅 분류 트리의 앙상블을 훈련시킵니다. 가중 벡터와 균등 사전 확률을 지정합니다. 재현이 가능하도록 rng 및 tallrng를 사용하여 난수 생성기의 시드값을 설정합니다. 결과는 워커의 개수 및 tall형 배열의 실행 환경에 따라 다를 수 있습니다. 자세한 내용은 Control Where Your Code Runs 항목을 참조하십시오.
rng("default") tallrng("default") tMdl = TreeBagger(20,X,Y,... Weights=W,Prior="uniform")
Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.98 sec Evaluation completed in 1.2 sec Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 1.5 sec Evaluation completed in 1.7 sec Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 6.5 sec Evaluation completed in 6.5 sec
tMdl =
CompactTreeBagger
Ensemble with 20 bagged decision trees:
Method: classification
NumPredictors: 6
ClassNames: '0' '1'
Properties, Methods
tMdl은 20개의 배깅 결정 트리를 갖는 CompactTreeBagger의 앙상블입니다. tall형 데이터의 경우 TreeBagger 함수는 CompactTreeBagger 객체를 반환합니다.
모델에 있는 각 트리의 오분류 확률을 계산합니다. Weights 이름-값 인수를 사용하여, 벡터 W에 포함된 가중치를 각 관측값에 지정합니다.
terr = error(tMdl,X,Y,Weights=W)
Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 5.1 sec Evaluation completed in 5.1 sec
terr = 20×1
0.1420
0.1214
0.1115
0.1078
0.1037
0.1027
0.1005
0.0997
0.0981
0.0983
⋮
결정 트리 앙상블에 대한 평균 오분류 확률을 구합니다.
avg_terr = mean(terr)
avg_terr = 0.1022
세부 정보
팁
TreeBagger모델Mdl의 경우Trees속성은Mdl.NumTreesCompactClassificationTree또는CompactRegressionTree객체로 구성된 셀형 벡터를 포함합니다. 다음을 입력하여 성장된 트리t의 그래픽 표시를 확인합니다.view(Mdl.Trees{t})회귀 문제의 경우
TreeBagger는 평균 및 분위수 회귀(즉, 분위수 회귀 포레스트 [5])를 지원합니다.데이터를 지정하여 평균 응답 변수를 예측하거나 평균 제곱 오차를 추정하려면
TreeBagger모델 객체와 데이터를 각각predict또는error에 전달합니다. Out-of-bag 관측값에 대해 유사한 작업을 수행하려면oobPredict또는oobError를 사용합니다.데이터를 지정하여 응답 변수 분포의 분위수 또는 분위수 오차를 추정하려면
TreeBagger모델 객체와 데이터를 각각quantilePredict또는quantileError에 전달합니다. Out-of-bag 관측값에 대해 유사한 작업을 수행하려면oobQuantilePredict또는oobQuantileError를 사용합니다.
표준 CART는 적은 고유 값을 포함하는 분할 예측 변수(예: 범주형 변수)보다 많은 고유 값을 포함하는 분할 예측 변수(예: 연속형 변수)를 선택하는 경향이 있습니다 [4]. 다음 중 하나에 해당하는 경우 곡률 검정이나 상호 작용 검정을 지정해 보십시오.
데이터에는 다른 예측 변수보다 상대적으로 더 적은 수의 고유 값을 갖는 예측 변수가 있습니다(예를 들어, 예측 변수 데이터 세트가 이종임).
목표는 예측 변수 중요도를 분석하는 것입니다.
TreeBagger는OOBPermutedPredictorDeltaError속성에 예측 변수 중요도 추정값을 저장합니다.
예측 변수 선택에 대한 자세한 내용은 분류 트리의 경우 이름-값 인수
PredictorSelection을, 회귀 트리의 경우 이름-값 인수PredictorSelection을 참조하십시오.
알고리즘
Cost,Prior및Weights이름-값 인수를 지정할 경우 출력 모델 객체는 지정된 값을 각각Cost,Prior및W속성에 저장합니다.Cost속성이 사용자가 지정한 비용 행렬(C)을 수정 없이 저장합니다.Prior속성과W속성은 각각 정규화한 후의 사전 확률 및 관측값 가중치를 저장합니다. 모델 훈련 시, 소프트웨어는 비용 행렬에 있는 벌점을 통합하도록 사전 확률과 관측값 가중치를 업데이트합니다. 자세한 내용은 오분류 비용 행렬, 사전 확률 및 관측값 가중치 항목을 참조하십시오.TreeBagger함수는 오분류 비용이 큰 클래스를 과다추출하고 오분류 비용이 작은 클래스를 과소추출하여 In-bag 표본을 생성합니다. 따라서, Out-of-bag 표본은 오분류 비용이 큰 클래스의 관측값을 더 적게 가지고 오분류 비용이 작은 클래스의 관측값을 더 많이 가집니다. 작은 데이터 세트와 많이 편중된 비용 행렬을 사용하여 분류 앙상블을 훈련하는 경우 클래스당 Out-of-bag 관측값 개수가 매우 낮을 수 있습니다. 그러므로 추정된 Out-of-bag 오차가 큰 분산을 가질 수 있으며 해석이 어렵습니다. 큰 사전 확률을 갖는 클래스의 경우 동일한 현상이 발생할 수 있습니다.TreeBagger함수가 분할 예측 변수를 선택하는 방법과 이 함수가 결정 트리를 성장시킬 때의 노드 분할 알고리즘에 대한 자세한 내용은 분류 트리의 경우 알고리즘 항목을, 회귀 트리의 경우 Algorithms 항목을 참조하십시오.
대체 기능
Statistics and Machine Learning Toolbox™는 배깅 및 랜덤 포레스트를 위한 세 가지 객체를 제공합니다.
분류를 위해
fitcensemble함수로 생성된ClassificationBaggedEnsemble객체회귀를 위해
fitrensemble함수로 생성된RegressionBaggedEnsemble객체분류와 회귀를 위해
TreeBagger함수로 생성된TreeBagger객체
TreeBagger와 배깅 앙상블(ClassificationBaggedEnsemble 및 RegressionBaggedEnsemble) 사이의 차이에 대한 자세한 내용은 Comparison of TreeBagger and Bagged Ensembles 항목을 참조하십시오.
참고 문헌
[1] Breiman, Leo. "Random Forests." Machine Learning 45 (2001): 5–32. https://doi.org/10.1023/A:1010933404324.
[2] Breiman, Leo, Jerome Friedman, Charles J. Stone, and R. A. Olshen. Classification and Regression Trees. Boca Raton, FL: CRC Press, 1984.
[3] Loh, Wei-Yin. "Regression Trees with Unbiased Variable Selection and Interaction Detection." Statistica Sinica 12, no. 2 (2002): 361–386. https://www.jstor.org/stable/24306967.
[4] Loh, Wei-Yin, and Yu-Shan Shih. "Split Selection for Classification Trees." Statistica Sinica 7, no. 4 (1997): 815–840. https://www.jstor.org/stable/24306157.
[5] Meinshausen, Nicolai. "Quantile Regression Forests." Journal of Machine Learning Research 7, no. 35 (2006): 983–999. https://jmlr.org/papers/v7/meinshausen06a.html.
[6] Genuer, Robin, Jean-Michel Poggi, Christine Tuleau-Malot, and Nathalie Villa-Vialanei. "Random Forests for Big Data." Big Data Research 9 (2017): 28–46. https://doi.org/10.1016/j.bdr.2017.07.003.
확장 기능
버전 내역
R2009a에 개발됨참고 항목
객체
함수
You can also select a web site from the following list:
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)