Lasso 및 신축망

Lasso 및 신축망이란?

Lasso는 정규화 기법입니다. lasso를 사용하여 다음을 수행할 수 있습니다.

회귀 모델에서 예측 변수의 개수를 줄입니다.
중요한 예측 변수를 식별합니다.
불필요한 예측 변수 중에서 선택합니다.
보통최소제곱보다 예측 오차가 잠재적으로 낮은 축소 추정량을 생성합니다.

신축망(elastic net)이 연관된 기법입니다. 상관관계가 높은 변수가 여러 개 있는 경우 신축망을 사용하십시오. Alpha 이름-값 쌍을 0과 1 사이의 숫자로 엄밀하게 설정하면 lasso가 신축망 정규화를 적용합니다.

Lasso 및 신축망 세부 정보 항목을 참조하십시오.

회귀 앙상블의 Lasso 정규화에 대해서는 regularize를 참조하십시오.

Lasso 및 신축망 세부 정보

Lasso 및 신축망 개요

Lasso는 선형 회귀를 수행하기 위한 정규화 기법입니다. Lasso은 추정된 계수의 크기를 제한하는 벌점 항을 포함합니다. 그러므로 이는 능형 회귀(ridge regression)와 유사합니다. Lasso는 축소 추정량이며, 이는 계수 추정값이 작아지도록 편향된 값을 생성합니다. 그럼에도 불구하고 Lasso 추정량이 새 데이터에 적용될 때는 평균제곱오차가 보통최소제곱 추정값보다 더 작을 수 있습니다.

능형 회귀와 달리, 벌점 항이 증가함에 따라 Lasso는 더 많은 계수를 0으로 설정합니다. 즉, Lasso 추정량은 더 적은 개수의 예측 변수를 가진 더 작은 모델입니다. 이러한 이유로 Lasso는 단계적 회귀 및 기타 모델 선택과 차원 축소 기법의 대안입니다.

신축망(elastic net)이 연관된 기법입니다. 신축망은 능형 회귀와 Lasso 정규화의 혼합입니다. Lasso와 마찬가지로 신축망은 0 값 계수를 생성하여 축소 모델을 만들 수 있습니다. 경험적 연구에 따르면 신축망은 상관관계가 높은 예측 변수가 있는 데이터에서 Lasso보다 성능이 뛰어날 수 있습니다.

Lasso의 정의

Lasso 기법을 사용하면 정규화 문제를 풀 수 있습니다. 음이 아닌 주어진 모수 값 λ에 대해 lasso는 다음과 같은 문제를 풉니다.

$\min_{β_{0}, β} (\frac{1}{2 N} \sum_{i = 1}^{N} {(y_{i} - β_{0} - x_{i}^{T} β)}^{2} + λ \sum_{j = 1}^{p} | β_{j} |) .$

N은 관측값 개수입니다.
y_i는 관측값 i에서의 응답 변수입니다.
x_i는 데이터로, 관측값 i에서의 p 값의 벡터입니다.
λ는 Lambda 값 하나에 대응되는 양의 정규화 모수입니다.
모수 β₀과 β는 각각 스칼라 및 p-벡터입니다.

λ가 증가할수록 β의 0이 아닌 성분의 개수가 줄어듭니다.

Lasso 문제는 신축망 알고리즘과 달리 β의 L¹ 노름을 포함합니다.

신축망의 정의

신축망 기법을 사용하면 정규화 문제를 풀 수 있습니다. 엄밀히 0에서 1 사이에 있는 α와 음이 아닌 λ에 대해 신축망으로 다음과 같은 문제를 풀 수 있습니다.

$\min_{β_{0}, β} (\frac{1}{2 N} \sum_{i = 1}^{N} {(y_{i} - β_{0} - x_{i}^{T} β)}^{2} + λ P_{α} (β)),$

여기서

$P_{α} (β) = \frac{(1 - α)}{2} {‖ β ‖}_{2}^{2} + α {‖ β ‖}_{1} = \sum_{j = 1}^{p} (\frac{(1 - α)}{2} β_{j}^{2} + α | β_{j} |) .$

α = 1인 경우 신축망과 Lasso가 같습니다. α가 0쪽으로 줄어들수록 신축망 알고리즘은 ridge 회귀로 접근합니다. α의 다른 값에 대해서는 벌점 항 P_α(β)가 β의 L¹ 노름과 β의 L² 노름 제곱 사이를 보간합니다.

참고 문헌

[1] Tibshirani, R. "Regression shrinkage and selection via the lasso." Journal of the Royal Statistical Society, Series B, Vol 58, No. 1, pp. 267–288, 1996.

[2] Zou, H. and T. Hastie. "Regularization and variable selection via the elastic net." Journal of the Royal Statistical Society, Series B, Vol. 67, No. 2, pp. 301–320, 2005.

[3] Friedman, J., R. Tibshirani, and T. Hastie. "Regularization paths for generalized linear models via coordinate descent." Journal of Statistical Software, Vol 33, No. 1, 2010. https://www.jstatsoft.org/v33/i01

[4] Hastie, T., R. Tibshirani, and J. Friedman. The Elements of Statistical Learning, 2nd edition. Springer, New York, 2008.

참고 항목

lasso | lassoglm | fitrlinear | lassoPlot | ridge