연산

사용자 지정 딥러닝 함수 개발

대부분의 작업에서 내장 계층을 사용할 수 있습니다. 작업에 필요한 내장 계층이 없는 경우 자신만의 고유한 사용자 지정 계층을 정의할 수 있습니다. 학습 가능한 파라미터와 상태 파라미터를 포함하는 사용자 지정 계층을 정의할 수 있습니다. 사용자 지정 계층을 정의한 후에는 이 계층이 유효하고, GPU와 호환되며, 올바르게 정의된 기울기를 출력하는지 확인할 수 있습니다. 자세한 내용은 사용자 지정 딥러닝 계층 정의하기 항목을 참조하십시오. 지원되는 계층 목록은 딥러닝 계층 목록 항목을 참조하십시오.

trainingOptions 함수가 작업에 필요한 훈련 옵션을 제공하지 않거나 trainnet 함수가 지원하지 않는 손실 함수가 있는 경우에는 사용자 지정 훈련 루프를 정의할 수 있습니다. 계층 신경망으로 지정할 수 없는 모델의 경우 모델을 함수로 정의할 수 있습니다. 자세한 내용은 사용자 지정 훈련 루프, 손실 함수 및 신경망 정의 항목을 참조하십시오.

딥러닝 연산을 사용하여 사용자 지정 계층, 훈련 루프 및 모델 함수에 대한 MATLAB^® 코드를 개발합니다.

함수

모두 확장

자동 미분

`dlarray`	사용자 지정을 위한 딥러닝 배열 (R2019b 이후)
`dims`	`dlarray`의 차원 레이블 (R2019b 이후)
`finddim`	Find dimensions with specified label (R2019b 이후)
`stripdims`	Remove `dlarray` data format (R2019b 이후)
`extractdata`	`dlarray`에서 데이터 추출 (R2019b 이후)
`isdlarray`	Check if object is `dlarray` (R2020b 이후)

딥러닝 연산

`dlconv`	Deep learning convolution (R2019b 이후)
`dltranspconv`	Deep learning transposed convolution (R2019b 이후)
`lstm`	장단기 기억 (R2019b 이후)
`gru`	Gated recurrent unit (R2020a 이후)
`attention`	Dot-product attention (R2022b 이후)
`embed`	Embed discrete data (R2020b 이후)
`fullyconnect`	Sum all weighted input data and apply a bias (R2019b 이후)
`dlode45`	Deep learning solution of nonstiff ordinary differential equation (ODE) (R2021b 이후)
`batchnorm`	Normalize data across all observations for each channel independently (R2019b 이후)
`crosschannelnorm`	Cross channel square-normalize using local responses (R2020a 이후)
`groupnorm`	Normalize data across grouped subsets of channels for each observation independently (R2020b 이후)
`instancenorm`	Normalize across each channel for each observation independently (R2021a 이후)
`layernorm`	Normalize data across all channels for each observation independently (R2021a 이후)
`avgpool`	Pool data to average values over spatial dimensions (R2019b 이후)
`maxpool`	Pool data to maximum value (R2019b 이후)
`maxunpool`	Unpool the output of a maximum pooling operation (R2019b 이후)

활성화

`relu`	ReLU(Rectified Linear Unit) 활성화 적용 (R2019b 이후)
`leakyrelu`	Apply leaky rectified linear unit activation (R2019b 이후)
`gelu`	Apply Gaussian error linear unit (GELU) activation (R2022b 이후)
`softmax`	채널 차원에 소프트맥스 활성화 적용 (R2019b 이후)
`sigmoid`	시그모이드 활성화 적용 (R2019b 이후)

손실 연산

`crossentropy`	Cross-entropy loss for classification tasks (R2019b 이후)
`l1loss`	L₁ loss for regression tasks (R2021b 이후)
`l2loss`	L₂ loss for regression tasks (R2021b 이후)
`huber`	Huber loss for regression tasks (R2021a 이후)
`mse`	평균제곱오차의 절반 (R2019b 이후)
`ctc`	Connectionist temporal classification (CTC) loss for unaligned sequence classification (R2021a 이후)

함수 가속

`dlaccelerate`	Accelerate deep learning function for custom training loops (R2021a 이후)
`AcceleratedFunction`	Accelerated deep learning function (R2021a 이후)
`clearCache`	Clear accelerated deep learning function trace cache (R2021a 이후)

도움말 항목

자동 미분

List of Functions with dlarray Support
View the list of functions that support dlarray objects.
Automatic Differentiation Background
Learn how automatic differentiation works.
Use Automatic Differentiation In Deep Learning Toolbox
How to use automatic differentiation in deep learning.
Define Custom Deep Learning Operations
Learn how to define custom deep learning operation.
Specify Custom Operation Backward Function
This example shows how to define the SReLU operation as a differentiable function and specify a custom backward function.
Train Model Using Custom Backward Function
This example shows how to train a deep learning model that contains an operation with a custom backward function.

모델 함수

Train Network Using Model Function
This example shows how to create and train a deep learning network by using functions rather than a layer graph or a dlnetwork.
Update Batch Normalization Statistics Using Model Function
This example shows how to update the network state in a network defined as a function.
Make Predictions Using Model Function
This example shows how to make predictions using a model function by splitting data into mini-batches.
Initialize Learnable Parameters for Model Function
Learn how to initialize learnable parameters for custom training loops using a model function.

딥러닝 함수 가속

Deep Learning Function Acceleration for Custom Training Loops
Accelerate model functions and model loss functions for custom training loops by caching and reusing traces.
Accelerate Custom Training Loop Functions
This example shows how to accelerate deep learning custom training loop and prediction functions.
Check Accelerated Deep Learning Function Outputs
This example shows how to check that the outputs of accelerated functions match the outputs of the underlying function.
Evaluate Performance of Accelerated Deep Learning Function
This example shows how to evaluate the performance gains of using an accelerated function.