trainAutoencoder

R2026b

(제거될 예정임) 오토인코더 훈련

trainAutoencoder 함수는 향후 릴리스에서 제거될 예정입니다. 자세한 내용은 레거시 신경망 코드를 dlnetwork 워크플로로 전환하기 항목을 참조하십시오.

코드 업데이트에 대한 자세한 지침은 버전 내역 항목을 참조하십시오.

구문

autoenc = trainAutoencoder(X)

autoenc = trainAutoencoder(X,hiddenSize)

autoenc = trainAutoencoder(___,Name=Value)

설명

autoenc = trainAutoencoder(X)는 X의 훈련 데이터를 사용하여 훈련된 오토인코더 autoenc를 반환합니다.

autoenc = trainAutoencoder(X,hiddenSize)는 은닉 표현 크기가 hiddenSize인 오토인코더 autoenc를 반환합니다.

autoenc = trainAutoencoder(___,Name=Value)는 위에 열거된 구문에 나와 있는 입력 인수 외에, 하나 이상의 이름-값 인수를 사용하여 옵션을 지정합니다. 예를 들어, GPU에서 훈련시키려면 UseGPU를 "on"으로 설정하십시오.

예제

희소 오토인코더 훈련시키기

샘플 데이터를 불러옵니다.

X = abalone_dataset;

X는 전복 껍데기 4,177개의 8가지 특성, 즉 성별(M, F, I(미숙 객체)), 길이, 지름, 높이, 전체 중량, 속살 중량, 내장 중량, 껍데기 중량을 정의하는 8×4,177 행렬입니다. 이 데이터셋에 대한 자세한 내용을 보려면 명령줄에 help abalone_dataset을 입력하십시오.

디폴트 설정으로 희소 오토인코더를 훈련시킵니다.

autoenc = trainAutoencoder(X);

훈련된 오토인코더를 사용하여 전복 껍데기 나이테 데이터를 다시 생성합니다.

XReconstructed = predict(autoenc,X);

이 재구성에 대한 평균제곱오차를 계산합니다.

mseError = mse(X-XReconstructed)

mseError = 
0.0167

입력 인수

X — 훈련 데이터

행렬 | 영상 데이터로 구성된 셀형 배열

훈련 데이터로, 훈련 샘플로 구성된 행렬 또는 영상 데이터로 구성된 셀형 배열로 지정됩니다. X가 행렬인 경우, 각 열에는 하나의 샘플이 있습니다. X가 영상 데이터로 구성된 셀형 배열인 경우, 각 셀의 데이터는 차원 수가 같아야 합니다. 영상 데이터는 회색조 영상의 픽셀 명암 값일 수 있으며, 이 경우 각 셀에는 하나의 m×n 행렬이 있습니다. 영상 데이터는 RGB 데이터일 수도 있으며, 이 경우 각 셀에는 하나의 m×n×3 행렬이 있습니다.

데이터형: single | double | cell

hiddenSize — 오토인코더의 은닉 표현 크기

10 (디폴트 값) | 양의 정수 값

오토인코더의 은닉 표현 크기로, 양의 정수 값으로 지정됩니다. 이 수치는 은닉 계층에 있는 뉴런의 개수입니다.

데이터형: single | double

이름-값 인수

선택적 인수 쌍을 Name1=Value1,...,NameN=ValueN으로 지정합니다. 여기서 Name은 인수 이름이고 Value는 대응값입니다. 이름-값 인수는 다른 인수 뒤에 와야 하지만, 인수 쌍의 순서는 상관없습니다.

R2021a 이전 릴리스에서는 쉼표를 사용하여 각 이름과 값을 구분하고 Name을 따옴표로 묶으십시오.

예: EncoderTransferFunction="satlin",L2WeightRegularization=0.05는 인코더의 전달 함수를 양의 포화 선형 전달 함수로 지정하고 L2 가중치 정규화를 0.05로 지정합니다.

EncoderTransferFunction — 인코더의 전달 함수

"logsig" (디폴트 값) | "satlin"

인코더의 전달 함수로, 다음 표에 나열된 값 중 하나로 지정됩니다.

전달 함수 옵션	정의
"logsig"	로지스틱 시그모이드 함수 $$f\left(z\right)=\frac{1}{1+e^{-z}}$$
"satlin"	양의 포화 선형 전달 함수 $$f\left(z\right)=\{\begin{array}{cc}0,& \text{if }z\le 0\\ z\text{,}& \text{if }0<z<1\\ 1,& \text{if}z\ge 1\end{array}$$

이 인수는 출력 Autoencoder 객체의 EncoderTransferFunction 훈련 파라미터 속성을 문자형 벡터로 설정합니다.

예: EncoderTransferFunction="satlin"

DecoderTransferFunction — 디코더의 전달 함수

"logsig" (디폴트 값) | "satlin" | "purelin"

디코더의 전달 함수로, 다음 표에 나열된 값 중 하나로 지정됩니다.

전달 함수 옵션	정의
"logsig"	로지스틱 시그모이드 함수 $$f\left(z\right)=\frac{1}{1+e^{-z}}$$
"satlin"	양의 포화 선형 전달 함수 $$f\left(z\right)=\{\begin{array}{cc}0,& \text{if }z\le 0\\ z\text{,}& \text{if }0<z<1\\ 1,& \text{if}z\ge 1\end{array}$$
"purelin"	선형 전달 함수 $$f\left(z\right)=z$$

이 인수는 출력 Autoencoder 객체의 DecoderTransferFunction 훈련 파라미터 속성을 문자형 벡터로 설정합니다.

예: DecoderTransferFunction="purelin"

MaxEpochs — 최대 훈련 Epoch 횟수

1000 (디폴트 값) | 양의 정수 값

최대 훈련 Epoch 횟수 또는 반복 횟수로, 양의 정수 값으로 지정됩니다.

예: MaxEpochs=1200

L2WeightRegularization — L₂ 가중치 정규화 함수의 계수

0.001 (디폴트 값) | 양의 스칼라 값

비용 함수(LossFunction)에서 L₂ 가중치 정규화 함수의 계수로, 양의 스칼라 값으로 지정됩니다.

예: L2WeightRegularization=0.05

LossFunction — 훈련에 사용할 손실 함수

"msesparse" (디폴트 값)

훈련에 사용할 손실 함수로, "msesparse"로 지정됩니다. 다음과 같이 희소 오토인코더를 훈련시키기 위해 조정된 평균제곱오차 함수에 해당됩니다.

$$E=\underset{\text{mean squared error}}{\underbrace{\frac{1}{N}{\displaystyle \sum _{n=1}^N{\displaystyle \sum _{k=1}^K{\left(x_{kn}-{\widehat{x}}_{kn}\right)}^2}}}}+\lambda *\underset{\begin{array}{c}{L}_2\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{weights}}}+\beta *\underset{\begin{array}{c}\text{sparsity}\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{sparsity}}},$$

여기서 λ는 L₂ 정규화 항의 계수이고 β는 희소 정규화 항의 계수입니다. 오토인코더를 훈련시키는 중에 L2WeightRegularization과 SparsityRegularization 이름-값 인수를 사용하여 각각 λ와 β의 값을 지정할 수 있습니다.

이 인수는 출력 Autoencoder 객체의 LossFunction 훈련 파라미터 속성을 문자형 벡터로 설정합니다.

ShowProgressWindow — 훈련 창을 표시할지 여부 표시자

1 (true) (디폴트 값) | 0 (false)

훈련 창을 표시할지 여부 표시자로, 숫자형 또는 논리값 1(true) 또는 0(false)으로 지정됩니다.

예: ShowProgressWindow=false

SparsityProportion — 뉴런이 응답하도록 할 훈련 표본의 비율

0.05 (디폴트 값) | 범위 0과 1 사이의 양의 스칼라 값

뉴런이 응답하도록 할 훈련 표본의 비율로, 양의 스칼라 값으로 지정됩니다. 희소 비율은 희소 정규화 함수의 파라미터입니다. 은닉 계층의 출력값의 희소 정도를 제어합니다. 일반적으로 SparsityProportion의 값이 작으면 은닉 계층의 각 뉴런이 적은 수의 훈련 표본에 대해서만 높은 출력값을 부여함으로써 "특화"됩니다. 따라서 희소 비율이 낮으면 높은 희소성이 유발됩니다.

예: SparsityProportion=0.01은 은닉 계층의 각 뉴런이 훈련 표본에 대해 평균 출력값 0.1을 가져야 한다고 지정하는 것과 같습니다.

SparsityRegularization — 희소 정규화 함수의 영향력을 제어하는 계수

1 (디폴트 값) | 양의 스칼라 값

비용 함수에서 희소 정규화 함수의 영향력을 제어하는 계수로, 양의 스칼라 값으로 지정됩니다.

예: SparsityRegularization=1.6

TrainingAlgorithm — 오토인코더를 훈련시키는 데 사용할 알고리즘

"trainscg" (디폴트 값)

오토인코더를 훈련시키는 데 사용할 알고리즘으로, "trainscg"로 지정됩니다. scg는 스케일링된 켤레 경사하강법(scaled conjugate gradient descent) [1]을 나타냅니다.

이 인수는 출력 Autoencoder 객체의 TrainingAlgorithm 훈련 파라미터 속성을 문자형 벡터로 설정합니다.

ScaleData — 입력 데이터를 다시 스케일링할지 여부 표시자

1 (true) (디폴트 값) | 0 (false)

입력 데이터를 다시 스케일링할지 여부 표시자로, 숫자형 또는 논리값 1(true) 또는 0(false)으로 지정됩니다.

오토인코더는 출력값으로 입력값과 똑같은 값을 만들어내려는 시도를 합니다. 이것이 가능하려면 입력 데이터의 범위가 디코더에 대한 전달 함수의 범위와 일치해야 합니다. trainAutoencoder는 오토인코더를 훈련시킬 때 훈련 데이터를 자동으로 이 범위로 스케일링합니다. 오토인코더를 훈련시킬 때 데이터가 스케일링된 경우, predict, encode, decode 메서드도 데이터를 스케일링합니다.

예: ScaleData=false

UseGPU — 훈련에 GPU를 사용하기 위한 옵션

"off" (디폴트 값) | "on" | "auto"

훈련에 GPU를 사용하기 위한 옵션으로, 다음 값 중 하나로 지정됩니다.

• "off" — 로컬 CPU를 사용합니다.

• "on" — 로컬 GPU를 사용합니다.

• "auto" — 사용 가능한 로컬 GPU가 있으면 이를 사용합니다. 그렇지 않은 경우 로컬 CPU를 사용합니다.

MATLAB^®에서 계산을 가속화하기 위해 GPU를 사용하려면 Parallel Computing Toolbox™와 지원되는 GPU 장치가 필요합니다. 지원되는 장치에 대한 자세한 내용은 GPU 연산 요구 사항 (Parallel Computing Toolbox) 항목을 참조하십시오.

R2026a 이전: UseGPU 옵션을 숫자형 또는 논리값 0(false) 또는 1(true)로 지정합니다. 이는 각각 "off" 및 "auto"에 해당합니다.

예: UseGPU="on"

출력 인수

autoenc — 훈련된 오토인코더

Autoencoder 객체

훈련된 오토인코더로, Autoencoder 객체로 반환됩니다. 이 객체의 속성과 메서드에 대한 자세한 내용은 Autoencoder 클래스 페이지를 참조하십시오.

세부 정보

오토인코더

오토인코더는 출력값을 입력값과 동일하게 복제하도록 훈련된 신경망입니다. 오토인코더 훈련은 레이블이 지정된 데이터가 필요하지 않다는 점에서 비지도 학습입니다. 훈련 과정은 여전히 비용 함수의 최적화를 기반으로 합니다. 비용 함수는 입력값 x와 출력값 $$\widehat{x}$$에서 재생성된 값 간의 오차를 측정합니다.

오토인코더는 인코더와 디코더로 구성됩니다. 인코더와 디코더는 여러 개의 계층을 가질 수 있지만, 문제를 단순화하기 위해 각각 1개의 계층을 갖는다고 가정하겠습니다.

오토인코더에 대한 입력값이 벡터 $$x\in {ℝ}^{D_x}$$이면, 인코더는 다음과 같이 벡터 x를 또 다른 벡터 $$z\in {ℝ}^{D^{\left(1\right)}}$$로 매핑합니다.

$$z=h^{{}^{\left(1\right)}}\left(W^{\left(1\right)}x+b^{\left(1\right)}\right),$$

여기서 위 첨자 (1)은 첫 번째 계층을 나타냅니다. $$h^{\left(1\right)}:{ℝ}^{D^{\left(1\right)}}\to {ℝ}^{D^{\left(1\right)}}$$은 인코더에 대한 전달 함수이고, $$W^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}\times D_{{}^x}}$$는 가중치 행렬이고, $$b^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}}$$은 편향 벡터입니다. 그런 다음 디코더가 다음과 같이 인코딩된 표현 z를 원래 입력 벡터 x에 대한 추정값으로 다시 매핑합니다.

$$\widehat{x}=h^{{}^{\left(2\right)}}\left(W^{\left(2\right)}z+b^{\left(2\right)}\right),$$

여기서 위 첨자 (2)는 두 번째 계층을 나타냅니다. $$h^{\left(2\right)}:{ℝ}^{D_x}\to {ℝ}^{D_x}$$는 디코더에 대한 전달 함수이고, $$W^{\left(1\right)}\in {ℝ}^{D_{{}^x}\times D^{\left(1\right)}}$$은 가중치 행렬이고, $$b^{\left(2\right)}\in {ℝ}^{D_x}$$는 편향 벡터입니다.

희소 오토인코더

비용 함수에 정규화 함수를 추가하면 오토인코더의 희소성을 유발하는 것이 가능해집니다[2]. 이 정규화 함수는 뉴런의 평균 출력 활성화 값에 대한 함수입니다. 뉴런 i의 평균 출력 활성화 측정값은 다음과 같이 정의됩니다.

$${\widehat{\rho }}_i=\frac{1}{n}{\displaystyle \sum _{j=1}^n{z}_i^{\left(1\right)}\left(x_j\right)}=\frac{1}{n}{\displaystyle \sum _{j=1}^{n}h\left(w_i^{\left(1\right)T}{x}_j+b_i^{\left(1\right)}\right)},$$

여기서 n은 훈련 표본의 총 개수입니다. x_j는 j번째 훈련 표본이고, $$w_i^{\left(1\right)T}$$는 가중치 행렬 $$W^{\left(1\right)}$$의 i번째 행이고, $$b_i^{\left(1\right)}$$은 편향 벡터 $$b^{\left(1\right)}$$의 i번째 요소입니다. 출력 활성화 값이 매우 높으면 뉴런이 '발화'(활성)한다고 간주됩니다. 출력 활성화 값이 낮으면 은닉 계층의 뉴런이 적은 개수의 훈련 표본에 반응하여 발화함을 의미합니다. 비용 함수에 $${\widehat{\rho }}_i$$의 값이 낮도록 제약하는 항을 추가하면, 오토인코더는 은닉 계층에 있는 각 뉴런이 적은 개수의 훈련 표본에 반응하여 발화하는 표현을 학습하도록 유발됩니다. 즉, 각 뉴런은 훈련 표본 중 작은 일부에만 존재하는 특정 특징에 반응하도록 특화됩니다.

희소성 정규화

희소 정규화 함수는 은닉 계층에서의 출력값의 희소성에 제약 조건을 적용하려고 시도합니다. 뉴런 i의 평균 활성화 값 $${\widehat{\rho }}_i$$와 그에 대한 원하는 값 $$\rho$$가 비슷하지 않으면 큰 값을 갖는 정규화 항을 추가하여 희소성을 유발할 수 있습니다[2]. 이러한 희소 정규화 항의 예로 쿨백-라이블러(Kullback-Leibler) 발산을 들 수 있습니다.

$${\Omega }_{sparsity}={\displaystyle \sum _{i=1}^{D^{\left(1\right)}}KL\left(\rho \parallel {\widehat{\rho }}_i\right)}={\displaystyle \sum _{i=1}^{D^{\left(1\right)}}\rho \log \left(\frac{\rho }{{\widehat{\rho }}_i}\right)+\left(1-\rho \right)\log \left(\frac{1-\rho }{1-{\widehat{\rho }}_i}\right)}$$

쿨백-라이블러 발산은 두 분포가 얼마나 다른지 측정하는 함수입니다. 이 경우에 쿨백-라이블러 발산은 $$\rho$$와 $${\widehat{\rho }}_i$$가 서로 같으면 값이 0이 되고, 두 값이 서로 발산하면 값이 커집니다. 비용 함수를 최소화하면 이 항을 작게 만들 수 있고, 따라서 $$\rho$$와 $${\widehat{\rho }}_i$$가 비슷해지도록 할 수 있습니다. 오토인코더를 훈련시키는 중에 SparsityProportion 이름-값 쌍 인수를 사용하여 평균 활성화 값의 원하는 값을 정의할 수 있습니다.

L₂ 정규화

희소 오토인코더를 훈련시킬 때 가중치 w^(l)의 값을 더 크게 하고 z⁽¹⁾의 값을 더 작게 하여 희소 정규화기를 작게 만들 수 있습니다[2]. 비용 함수에 대한 가중치에 정규화 항을 추가하면 이런 일이 생기는 것을 막을 수 있습니다. L₂ 정규화 항이라고 부르는 이 항은 다음과 같이 정의됩니다.

$${\Omega }_{weights}=\frac{1}{2}{\displaystyle \sum _{l=1}^L{\displaystyle \sum _{j=1}^{n_l}{\displaystyle \sum _{i=1}^{k_l}{\left(w_{ji}^{(l)}\right)}^2}}},$$

여기서 L은 은닉 계층의 개수이고, n_l은 계층 l의 출력 크기, k_l은 계층 l의 입력 크기입니다. L₂ 정규화 항은 각 계층에 대한 가중치 행렬 요소의 제곱합입니다.

비용 함수

희소 오토인코더 훈련을 위한 비용 함수는 다음과 같이 조정된 평균제곱오차 함수입니다.

$$E=\underset{\text{mean squared error}}{\underbrace{\frac{1}{N}{\displaystyle \sum _{n=1}^N{\displaystyle \sum _{k=1}^K{\left(x_{kn}-{\widehat{x}}_{kn}\right)}^2}}}}+\lambda *\underset{\begin{array}{c}{L}_2\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{weights}}}+\beta *\underset{\begin{array}{c}\text{sparsity}\\ \text{regularization}\end{array}}{\underbrace{{\Omega }_{sparsity}}},$$

여기서 λ는 L₂ 정규화 항의 계수이고 β는 희소 정규화 항의 계수입니다. 오토인코더를 훈련시키는 중에 L2WeightRegularization과 SparsityRegularization 이름-값 쌍 인수를 사용하여 각각 λ와 β의 값을 지정할 수 있습니다.

참고 문헌

[1] Moller, M. F. “A Scaled Conjugate Gradient Algorithm for Fast Supervised Learning”, Neural Networks, Vol. 6, 1993, pp. 525–533.

[2] Olshausen, B. A. and D. J. Field. “Sparse Coding with an Overcomplete Basis Set: A Strategy Employed by V1.” Vision Research, Vol.37, 1997, pp.3311–3325.

버전 내역

R2015b에 개발됨

R2026a: trainAutoencoder 함수는 제거될 예정임

trainAutoencoder 함수는 향후 릴리스에서 제거될 예정입니다.

오토인코더 워크플로에 대해 자세히 알아보려면 다음 예제와 항목을 참조하십시오.

• 심층 신경망 디자이너를 사용하여 신경망 구축하기

• Time Series Anomaly Detection Using Deep Learning

• Detect Anomalies Using Wavelet Scattering with Autoencoders

• 변분 오토인코더(VAE)를 훈련시켜 영상 생성하기

• List of Deep Learning Layer Blocks and Subsystems

• 딥러닝 신경망을 위한 코드 생성

trainnet 함수 또는 사용자 지정 훈련 루프를 사용하여 오토인코더를 훈련시킵니다.

이러한 워크플로에 맞게 고유한 신경망을 설계하고 사용자 지정하려면 딥러닝 계층으로 구성된 배열이나 dlnetwork 객체를 사용하여 신경망을 만들면 됩니다. 신경망을 대화형 방식으로 생성 및 편집하고 코드를 생성하려면 심층 신경망 디자이너 앱을 사용하십시오. 계층 목록은 딥러닝 계층 목록 항목을 참조하십시오.

자세한 내용은 레거시 신경망 코드를 dlnetwork 워크플로로 전환하기 항목을 참조하십시오.

R2026a: UseGPU 옵션을 0(false) 또는 1(true)로 지정하는 것은 권장되지 않음

UseGPU 옵션을 숫자형 또는 논리값 0(false) 또는 1(true)로 지정하는 것은 권장되지 않습니다. 대신 UseGPU를 "off", "on" 또는 "auto"로 설정하십시오.

다음 표는 코드를 업데이트하는 방법을 보여줍니다.

권장되지 않음	권장됨
trainAutoencoder(X,UseGPU=false)(디폴트 값)	trainAutoencoder(X,UseGPU="off")(디폴트 값)
trainAutoencoder(X,UseGPU=true)	trainAutoencoder(X,UseGPU="auto")

숫자형 또는 논리값 0(false) 또는 1(true) 옵션을 제거할 계획은 없습니다.

참고 항목

trainnet | trainingOptions | dlnetwork

도움말 항목

• Training Neural Networks with Tabular Data
• Training Neural Networks with Time Series Data
• 레거시 신경망 코드를 dlnetwork 워크플로로 전환하기