실험 관리자

실험을 계획 및 실행하며 딥러닝 신경망을 훈련시키고 비교합니다.

R2020a 이후

설명

실험 관리자 앱을 사용하여 다양한 훈련 조건하에서 신경망을 훈련시키는 딥러닝 실험을 만들고 결과를 비교할 수 있습니다. 예를 들어, 실험 관리자를 사용하여 다음을 수행할 수 있습니다.

• 일련의 하이퍼파라미터 값을 스윕하거나 베이즈 최적화를 사용하여 최적의 훈련 옵션을 찾습니다. 베이즈 최적화를 사용하려면 Statistics and Machine Learning Toolbox™가 필요합니다.

• 내장 함수 trainnet을 사용하거나 사용자 지정 훈련 함수를 정의합니다.

• 여러 데이터 세트를 사용한 결과를 비교하거나 여러 심층 신경망 아키텍처를 테스트합니다.

사전 구성된 템플릿으로 시작하면 실험을 빠르게 설정할 수 있습니다. 실험 템플릿은 영상 분류, 영상 회귀, 시퀀스 분류, 오디오 분류, 신호 처리, 의미론적 분할, 사용자 지정 훈련 루프를 포함한 다양한 워크플로를 지원합니다.

실험 브라우저 패널에는 프로젝트에 포함된 실험과 결과의 계층 구조가 표시됩니다. 실험 이름 옆에 있는 아이콘은 실험 유형을 나타냅니다.

• — trainnet 훈련 함수를 사용하는 기본 제공 훈련 실험

• — 사용자 지정 훈련 함수를 사용하는 사용자 지정 훈련 실험

• — 사용자가 작성한 실험 함수를 사용하는 범용 실험

이 페이지에는 Deep Learning Toolbox™에서 기본 제공되는 훈련 실험 및 사용자 지정 훈련 실험에 대한 정보가 포함되어 있습니다. 앱 사용에 대한 일반적인 내용은 실험 관리자 항목을 참조하십시오. 실험 관리자를 분류 학습기 및 회귀 학습기 앱과 함께 사용하는 방법에 대한 자세한 내용은 실험 관리자 (Statistics and Machine Learning Toolbox) 항목을 참조하십시오.

자세히

필요한 제품

• Deep Learning Toolbox - 딥러닝을 위한 기본 제공 훈련 실험 또는 사용자 지정 훈련 실험을 실행하고 이러한 실험에 대한 혼동행렬을 보려는 경우 사용합니다.

• Statistics and Machine Learning Toolbox - 머신러닝을 위한 사용자 지정 훈련 실험과 베이즈 최적화를 사용하는 실험을 실행하려는 경우 사용합니다.

• Parallel Computing Toolbox™ - 클러스터, 클라우드, 또는 복수의 GPU에서 여러 개의 시행을 실행하거나 하나의 시행만 실행하려는 경우 사용합니다. 자세한 내용은 Run Experiments in Parallel 항목을 참조하십시오.

• MATLAB^® Parallel Server™ - 실험을 원격 클러스터의 일괄 처리 작업으로 넘기려는 경우 사용합니다. 자세한 내용은 Offload Experiments as Batch Jobs to a Cluster 항목을 참조하십시오.

×

실험 관리자 앱 열기

• MATLAB 툴스트립: 앱 탭의 MATLAB에서 실험 관리자 아이콘을 클릭합니다.

• MATLAB 명령 프롬프트: experimentManager를 입력합니다.

앱 사용에 대한 일반적인 내용은 실험 관리자 항목을 참조하십시오.

예제

사전 구성된 템플릿을 사용하여 빠르게 실험 설정하기

사전 구성된 실험 템플릿을 사용하여 실험을 빠르게 설정할 수 있습니다.

실험 관리자 앱을 엽니다. 대화 상자에서 새 프로젝트를 만들거나 문서 예제를 열 수 있습니다. 새로 만들기에서 빈 프로젝트를 선택합니다.

다음 대화 상자에서 빈 실험 템플릿을 열거나 AI 워크플로를 지원하는 사전 구성된 실험 템플릿을 열 수 있습니다. 예를 들어 영상 분류 실험에서 사전 구성된 템플릿 하이퍼파라미터 스윕을 사용한 영상 분류를 선택합니다.

새 프로젝트의 이름과 위치를 지정합니다. 실험 관리자가 프로젝트에서 새 실험을 엽니다.

이 실험은 trainnet 훈련 함수를 사용하는 기본 제공 훈련 실험으로, 아이콘으로 표시됩니다.

실험 정의 탭에 실험을 정의하는 설명, 하이퍼파라미터, 설정 함수, 훈련 후 메트릭(사용자 지정), 지원 파일이 표시됩니다. 이들 파라미터를 수정하여 실험을 빠르게 설정한 다음 실험을 실행할 수 있습니다.

실험 파라미터를 구성한 후 실험을 실행하고 결과를 비교하는 방법에 대한 자세한 내용은 실험 관리자 항목을 참조하십시오.

trainnet을 사용하여 신경망을 훈련시킨 후 사용자 지정 메트릭 표시하기

trainnet 함수와 완전 하이퍼파라미터 스윕을 사용하여 훈련시키는 실험을 설정합니다. 기본 제공 훈련 실험은 영상, 시퀀스, 시계열 또는 특징 분류 및 회귀와 같은 워크플로를 지원합니다.

실험 관리자 앱을 엽니다. 대화 상자에서 새 프로젝트를 만들거나 문서 예제를 열 수 있습니다. 새로 만들기에서 빈 프로젝트를 선택합니다.

다음 대화 상자에서 빈 실험 템플릿을 열거나 AI 워크플로를 지원하는 사전 구성된 실험 템플릿을 열 수 있습니다. 빈 실험에서 빈 템플릿 기본 제공 훈련(trainnet)을 선택합니다.

이 실험은 trainnet 훈련 함수를 사용하는 기본 제공 훈련 실험으로, 아이콘으로 표시됩니다.

실험 정의 탭에 실험을 정의하는 설명, 하이퍼파라미터, 설정 함수, 훈련 후 메트릭(사용자 지정), 지원 파일이 표시됩니다. 빈 실험 템플릿으로 시작할 때는 이들 파라미터를 사용자가 직접 구성해야 합니다. 일부 파라미터가 사전 구성된 템플릿을 사용하고 싶으면 실험 관리자 대화 상자에서 사전 구성된 기본 제공 훈련 템플릿 중 하나를 선택하십시오.

실험 파라미터를 구성합니다.

• 설명 — 실험에 대한 설명을 입력합니다.

• 하이퍼파라미터 — 하이퍼파라미터 값의 모든 조합을 사용하려면 전략을 완전 스윕으로 지정합니다. 그런 다음 실험에 사용할 하이퍼파라미터를 정의합니다.

  예를 들어 Evaluate Deep Learning Experiments by Using Metric Functions의 경우 전략은 완전 스윕이고 하이퍼파라미터는 InitialLearnRate와 Momentum입니다.

  

• 설정 함수 — 설정 함수 시그니처 중 하나를 사용하여 훈련 데이터, 신경망 아키텍처, 손실 함수, 훈련 옵션을 구성합니다. 설정 함수 입력값은 하이퍼파라미터 테이블의 필드로 구성된 구조체입니다. 출력값은 trainnet 함수의 입력값과 일치해야 합니다.

  예를 들어 Evaluate Deep Learning Experiments by Using Metric Functions의 경우, 설정 함수는 하이퍼파라미터로 구성된 구조체에 액세스하여 훈련 함수에 입력값을 반환합니다. 설정 함수는 ClassificationExperiment_setup.mlx라는 파일에 정의되어 있습니다.

  

• 훈련 후 메트릭(사용자 지정) — 각 시행 후 메트릭을 계산하여 결과값 테이블에 표시합니다. 사용자 지정 메트릭 함수를 만들려면 훈련 후 메트릭(사용자 지정) 섹션에서 추가 버튼을 클릭합니다. 그런 다음 테이블에서 메트릭을 선택하고 편집을 클릭하여 MATLAB 편집기에서 함수를 열고 수정합니다. 실험에 가장 적합한 하이퍼파라미터 조합을 결정하려면 결과값 테이블에서 이 메트릭 값을 검사합니다.

  예를 들어 Evaluate Deep Learning Experiments by Using Metric Functions의 경우 훈련 후 메트릭(사용자 지정)은 OnesAsSevens 및 SevensAsOnes 함수에 의해 지정됩니다. 함수는 OnesAsSevens.mlx 및 SevensAsOnes.mlx라는 파일에 정의되어 있습니다. 결과값 테이블에 이 메트릭이 표시됩니다.

  

실험 파라미터를 구성한 후 실험을 실행하고 결과를 비교하는 방법에 대한 자세한 내용은 실험 관리자 항목을 참조하십시오.

trainnet 및 베이즈 최적화를 사용하여 훈련 최적화하기

trainnet 함수와 베이즈 최적화를 사용하여 훈련시키는 실험을 설정합니다. 기본 제공 훈련 실험은 영상, 시퀀스, 시계열 또는 특징 분류 및 회귀와 같은 워크플로를 지원합니다.

실험 관리자 앱을 엽니다. 대화 상자에서 새 프로젝트를 만들거나 문서 예제를 열 수 있습니다. 새로 만들기에서 빈 프로젝트를 선택합니다.

다음 대화 상자에서 빈 실험 템플릿을 열거나 AI 워크플로를 지원하는 사전 구성된 실험 템플릿을 열 수 있습니다. 빈 실험에서 빈 템플릿 기본 제공 훈련(trainnet)을 선택합니다.

이 실험은 trainnet 훈련 함수를 사용하는 기본 제공 훈련 실험으로, 아이콘으로 표시됩니다.

실험 정의 탭에 실험을 정의하는 설명, 하이퍼파라미터, 설정 함수, 훈련 후 메트릭(사용자 지정), 지원 파일이 표시됩니다. 빈 실험 템플릿으로 시작할 때는 이들 파라미터를 사용자가 직접 구성해야 합니다. 일부 파라미터가 사전 구성된 템플릿을 사용하고 싶으면 실험 관리자 대화 상자에서 사전 구성된 기본 제공 훈련 템플릿 중 하나를 선택하십시오.

실험 파라미터를 구성합니다.

• 설명 — 실험에 대한 설명을 입력합니다.

• 하이퍼파라미터 — 전략을 베이즈 최적화(Statistics and Machine Learning Toolbox)로 지정합니다. 하이퍼파라미터를 하한과 상한을 지정하는 요소를 2개 가진 벡터로 지정하거나, 가능한 하이퍼파라미터 값들을 나열하는 string형 배열 또는 문자형 벡터로 구성된 셀형 배열로 지정합니다. 실험은 지정된 메트릭을 최적화하고 실험에 가장 적합한 하이퍼파라미터 조합을 자동으로 결정합니다. 그런 다음 최대 시간, 최대 시행 횟수, 베이즈 최적화의 고급 옵션을 지정합니다.

  예를 들어 Tune Experiment Hyperparameters by Using Bayesian Optimization의 경우 전략은 베이즈 최적화입니다. 하이퍼파라미터 이름은 SectionDepth, InitialLearnRate, Momentum, L2Regularization입니다. 최대 시행 횟수는 30입니다.

  

• 설정 함수 — 설정 함수 시그니처 중 하나를 사용하여 훈련 데이터, 신경망 아키텍처, 손실 함수, 훈련 옵션을 구성합니다. 설정 함수 입력값은 하이퍼파라미터 테이블의 필드로 구성된 구조체입니다. 출력값은 trainnet 함수의 입력값과 일치해야 합니다.

  예를 들어 Tune Experiment Hyperparameters by Using Bayesian Optimization의 경우, 설정 함수는 하이퍼파라미터로 구성된 구조체에 액세스하여 훈련 함수에 입력값을 반환합니다. 설정 함수는 BayesOptExperiment_setup.mlx라는 파일에 정의되어 있습니다.

  

• 훈련 후 메트릭(사용자 지정) — 최적화 방향과 표준 훈련 또는 검증 메트릭(예: 정확도, RMSE 또는 손실)을 선택하거나 테이블에서 사용자 지정 메트릭을 선택합니다. 메트릭 함수의 출력값은 숫자형, 논리형 또는 string형 스칼라여야 합니다.

  예를 들어 Tune Experiment Hyperparameters by Using Bayesian Optimization의 경우 훈련 후 메트릭(사용자 지정)은 ErrorRate 함수에 의해 지정됩니다. 이 함수는 ErrorRate.mlx라는 파일에 정의되어 있습니다. 실험은 이 메트릭을 최소화합니다.

  

실험 파라미터를 구성한 후 실험을 실행하고 결과를 비교하는 방법에 대한 자세한 내용은 실험 관리자 항목을 참조하십시오.

사용자 지정 훈련 루프를 사용하여 신경망을 훈련시킨 후 시각화 표시하기

사용자 지정 훈련 함수를 사용하여 훈련시킨 후 사용자 지정 시각화를 만드는 실험을 설정합니다.

사용자 지정 훈련 실험은 trainnet 이외의 훈련 함수가 필요한 워크플로를 지원합니다. 그러한 워크플로에는 다음이 포함됩니다.

• 계층 그래프로 정의되지 않는 신경망의 훈련

• 사용자 지정 학습률 조정 계획을 사용하여 신경망 훈련

• 사용자 지정 함수를 사용하여 신경망의 학습 가능한 파라미터 업데이트

• 생성적 적대 신경망(GAN) 훈련

• 트윈 신경망 훈련

실험 관리자 앱을 엽니다. 대화 상자에서 새 프로젝트를 만들거나 문서 예제를 열 수 있습니다. 새로 만들기에서 빈 프로젝트를 선택합니다.

다음 대화 상자에서 빈 실험 템플릿을 열거나 AI 워크플로를 지원하는 사전 구성된 실험 템플릿을 열 수 있습니다. 빈 실험에서 빈 템플릿 사용자 지정 훈련을 선택합니다.

이 실험은 사용자 지정 훈련 함수를 사용하는 사용자 지정 훈련 실험으로, 아이콘으로 표시됩니다.

실험 정의 탭에 실험을 정의하는 설명, 하이퍼파라미터, 훈련 함수, 지원 파일이 표시됩니다. 빈 실험 템플릿으로 시작할 때는 이들 파라미터를 사용자가 직접 구성해야 합니다. 일부 파라미터가 사전 구성된 템플릿을 사용하고 싶으면 실험 관리자 대화 상자에서 사전 구성된 사용자 지정 훈련 템플릿 중 하나를 선택하십시오.

실험 파라미터를 구성합니다.

• 설명 — 실험에 대한 설명을 입력합니다.

• 하이퍼파라미터 — 전략을 완전 스윕 또는 베이즈 최적화(Statistics and Machine Learning Toolbox)로 지정한 다음 실험에 사용할 하이퍼파라미터를 정의합니다. 완전 스윕은 하이퍼파라미터 값의 모든 조합을 사용하는 반면, 베이즈 최적화는 지정된 메트릭을 최적화하고 실험에 가장 적합한 하이퍼파라미터 조합을 자동으로 결정합니다.

  예를 들어 Run a Custom Training Experiment for Image Comparison의 경우 전략은 완전 스윕이고 하이퍼파라미터는 WeightsInitializer와 BiasInitializer입니다.

  

• 훈련 함수 — 훈련 데이터, 신경망 아키텍처, 훈련 절차 및 사용자 지정 시각화를 구성합니다. 실험 관리자가 이 함수의 출력값을 저장하기 때문에, 훈련이 끝나면 사용자는 이를 MATLAB 작업 공간으로 내보낼 수 있습니다. 훈련 함수 입력값은 하이퍼파라미터 테이블의 필드로 구성된 구조체와 experiments.Monitor 객체입니다. 이 객체를 사용하여 훈련 진행 상황을 추적하고, 결과값 테이블의 정보 필드를 업데이트하며, 훈련에 사용된 메트릭의 값을 기록하고, 플롯을 생성할 수 있습니다.

  예를 들어 Run a Custom Training Experiment for Image Comparison의 경우, 훈련 함수는 하이퍼파라미터로 구성된 구조체에 액세스하여 훈련된 신경망을 포함하는 구조체를 반환합니다. 훈련 함수는 사용자 지정 훈련 루프를 구현하여 트윈 신경망을 훈련시킵니다. 이 함수는 프로젝트의 ImageComparisonExperiment_training.mlx라는 파일에 정의되어 있습니다.

  

  또한 훈련 함수는 훈련이 완료되면 시각화 Test Images를 생성하여 훈련 영상 쌍을 표시합니다.

  

실험 파라미터를 구성한 후 실험을 실행하고 결과를 비교하는 방법에 대한 자세한 내용은 실험 관리자 항목을 참조하십시오.

실험 시행을 병렬로 실행하기

Parallel Computing Toolbox 또는 MATLAB Parallel Server가 있는 경우 일부 실험의 실행 시간을 줄일 수 있습니다.

기본적으로 실험 관리자는 한 번에 하나의 시행을 실행합니다. Parallel Computing Toolbox가 있는 경우에는 동시에 여러 시행을 실행하거나 클러스터, 클라우드, 여러 GPU에서 단일 시행을 실행할 수 있습니다. MATLAB Parallel Server를 사용하고 있다면 실험을 원격 클러스터의 일괄 처리 작업으로 넘길 수도 있습니다. 이렇게 하면 하던 작업을 계속하거나 실험이 실행되는 중에 MATLAB 세션을 닫을 수 있습니다.

실험 관리자 툴스트립의 실행 섹션에서 모드 목록을 사용하여 실행 모드를 지정합니다. 순차적 일괄 처리 또는 동시 일괄 처리 실행 모드를 선택하는 경우 툴스트립의 클러스터 목록 및 풀 크기 필드를 사용하여 클러스터와 풀 크기를 지정하십시오.

자세한 내용은 Run Experiments in Parallel 또는 Offload Experiments as Batch Jobs to a Cluster 항목을 참조하십시오.

관련 예제

• Create a Deep Learning Experiment for Classification
• Create a Deep Learning Experiment for Regression
• Evaluate Deep Learning Experiments by Using Metric Functions
• Tune Experiment Hyperparameters by Using Bayesian Optimization
• Use Bayesian Optimization in Custom Training Experiments
• Try Multiple Pretrained Networks for Transfer Learning
• Experiment with Weight Initializers for Transfer Learning
• Audio Transfer Learning Using Experiment Manager
• Choose Training Configurations for LSTM Using Bayesian Optimization
• Run a Custom Training Experiment for Image Comparison
• Use Experiment Manager to Train Generative Adversarial Networks (GANs)
• Custom Training with Multiple GPUs in Experiment Manager

세부 정보

완전 스윕

일련의 하이퍼파라미터 값을 스윕하려면 전략을 완전 스윕으로 설정하십시오. 하이퍼파라미터 테이블에서, 실험에 사용되는 하이퍼파라미터의 이름과 값을 입력합니다. 하이퍼파라미터 이름은 영문자로 시작해야 하며 그 뒤에 영문자, 숫자, 밑줄이 옵니다. 하이퍼파라미터 값은 스칼라이거나 숫자형, 논리형, string형 값으로 구성된 벡터 또는 문자형 벡터로 구성된 셀형 배열이어야 합니다. 예를 들어 다음 값은 유효한 하이퍼파라미터입니다.

• 0.01

• 0.01:0.01:0.05

• [0.01 0.02 0.04 0.08]

• ["alpha" "beta" "gamma"]

• {'delta' 'epsilon' 'zeta'}

실험 관리자가 테이블에 지정된 하이퍼파라미터 값의 모든 조합을 사용하여 신경망을 훈련시킵니다.

베이즈 최적화

Statistics and Machine Learning Toolbox를 사용하면 베이즈 최적화를 통해 최적의 훈련 옵션을 찾을 수 있습니다. 전략을 베이즈 최적화로 설정합니다. 실험을 실행하면 실험 관리자가 최적의 하이퍼파라미터 조합을 검색합니다. 실험의 각 시행은 이전 시행의 결과를 바탕으로 새로운 하이퍼파라미터 값의 조합을 사용합니다.

하이퍼파라미터 테이블에서, 실험에 사용되는 하이퍼파라미터의 다음과 같은 속성을 지정합니다.

• 이름 — 유효한 하이퍼파라미터 이름을 입력합니다. 하이퍼파라미터 이름은 영문자로 시작해야 하며 그 뒤에 영문자, 숫자, 밑줄이 옵니다.

• 범위 — 실수 값 또는 정수 값 하이퍼파라미터의 경우 하이퍼파라미터의 하한과 상한을 지정하는, 요소를 2개 가진 벡터를 입력합니다. categorical형 하이퍼파라미터의 경우 하이퍼파라미터의 가능한 값을 나열하는 string형 배열 또는 문자형 벡터로 구성된 셀형 배열을 입력합니다.

• 유형 — 실수 값 하이퍼파라미터의 경우 실수, 정수 값 하이퍼파라미터의 경우 정수 또는 categorical형 하이퍼파라미터의 경우 categorical형을 선택합니다.

• 변환 — 변환을 사용하지 않으려면 없음을 선택하고 로그 변환을 사용하려면 로그를 선택합니다. 로그를 선택하면 하이퍼파라미터 값이 양수여야 합니다. 이 설정을 사용하면 베이즈 최적화 알고리즘에서 로그 스케일로 하이퍼파라미터를 모델링합니다.

실험의 지속 시간을 지정하려면 베이즈 최적화 옵션에서 실행할 최대 시간(단위: 초)과 최대 시행 횟수를 입력하십시오. 하나의 시행이 실행 완료될 때만 실험 관리자가 이러한 옵션을 체크하므로 실험의 실제 실행 시간과 시행 횟수는 이러한 설정값을 초과할 수 있습니다.

선택적으로, 베이즈 최적화 알고리즘의 결정적 제약 조건, 조건부 제약 조건 및 획득 함수를 지정합니다 (R2023a 이후). 베이즈 최적화 옵션에서 고급 옵션을 클릭하여 다음을 지정합니다.

• 결정적 제약 조건 — 결정적 제약 조건 함수의 이름을 입력합니다. 결정적 제약 조건 없이 베이즈 최적화 알고리즘을 실행하려면 이 옵션을 비워 두십시오. 자세한 내용은 Deterministic Constraints — XConstraintFcn (Statistics and Machine Learning Toolbox) 항목을 참조하십시오.

• 조건부 제약 조건 — 조건부 제약 조건 함수의 이름을 입력합니다. 조건부 제약 조건 없이 베이즈 최적화 알고리즘을 실행하려면 이 옵션을 비워 두십시오. 자세한 내용은 Conditional Constraints — ConditionalVariableFcn (Statistics and Machine Learning Toolbox) 항목을 참조하십시오.

• 획득 함수 이름 — 목록에서 획득 함수를 선택합니다. 이 옵션의 디폴트 값은 expected-improvement-plus입니다. 자세한 내용은 획득 함수 유형 (Statistics and Machine Learning Toolbox) 항목을 참조하십시오.

설정 함수 시그니처

다음 표에는 기본 제공 훈련 실험의 설정 함수에 대해 지원되는 시그니처가 나와 있습니다.

실험 목표	설정 함수 시그니처
images로 지정된 영상과 응답 변수 및 options로 정의된 훈련 옵션을 사용하여 영상 분류 및 회귀 작업에 대해 신경망을 훈련시킵니다.	function [images,layers,lossFcn,options] = Experiment_setup(params) ... end
images로 지정된 영상과 responses로 지정된 응답 변수를 사용하여 신경망을 훈련시킵니다.	function [images,responses,layers,lossFcn,options] = Experiment_setup(params) ... end
sequences로 지정된 시퀀스와 응답 변수를 사용하여 시퀀스 또는 시계열의 분류 및 회귀 작업에 대해 신경망(예: LSTM 또는 GRU 신경망)을 훈련시킵니다.	function [sequences,layers,lossFcn,options] = Experiment_setup(params) ... end
sequences로 지정된 시퀀스와 responses로 지정된 응답 변수를 사용하여 신경망을 훈련시킵니다.	function [sequences,responses,layers,lossFcn,options] = Experiment_setup(params) ... end
features로 지정된 특징 데이터와 응답 변수를 사용하여 특징 분류 또는 회귀 작업에 대해 신경망(예: 다층 퍼셉트론(MLP) 신경망)을 훈련시킵니다.	function [features,layers,lossFcn,options] = Experiment_setup(params) ... end
features로 지정된 특징 데이터와 responses로 지정된 응답 변수를 사용하여 신경망을 훈련시킵니다.	function [features,responses,layers,lossFcn,options] = Experiment_setup(params) ... end

팁

• 신경망을 시각화하고 구축하려면 심층 신경망 디자이너 앱을 사용합니다.

• 실험의 크기를 줄이려면 더 이상 관련이 없는 시행의 결과와 시각화를 폐기합니다. 결과값 테이블의 동작 열에서 시행의 폐기 버튼 을 클릭합니다.

• 설정 함수에서 점 표기법을 사용하여 하이퍼파라미터 값에 액세스합니다. 자세한 내용은 구조체형 배열 항목을 참조하십시오.

• 배치 정규화 계층을 포함하는 신경망의 경우 BatchNormalizationStatistics 훈련 옵션이 population이면 실험 관리자는 최종 검증 메트릭 값을 표시합니다. 이 값은 종종 이 훈련 중에 계산된 검증 메트릭과 다릅니다. 이러한 값의 차이는 신경망이 훈련을 종료한 후에 수행한 추가 연산의 결과입니다. 자세한 내용은 배치 정규화 계층 항목을 참조하십시오.

버전 내역

R2020a에 개발됨

R2024a: 사전 구성된 템플릿으로 신호 처리 실험 설정하기

Signal Processing Toolbox™를 사용하는 경우 사전 구성된 템플릿을 선택하여 신호 분류에 대한 기본 제공 훈련 실험 또는 사용자 지정 훈련 실험을 설정할 수 있습니다. 이 템플릿을 사용하여 다음을 수행할 수 있습니다.

• 신호 분할

• 신호 분류

• 신호 회귀

R2023b: MATLAB에서 사용 가능한 앱

이제 Deep Learning Toolbox를 사용하거나 사용하지 않고 MATLAB에서 실험 관리자를 사용할 수 있습니다. Deep Learning Toolbox 라이선스가 없는 동료와 실험을 공유하는 경우 동료가 실험을 열고 결과에 액세스할 수 있습니다. 실험 관리자를 사용하려면 다음이 필요합니다.

• Deep Learning Toolbox - 딥러닝을 위한 기본 제공 훈련 실험 또는 사용자 지정 훈련 실험을 실행하고 이러한 실험에 대한 혼동행렬을 보려는 경우

• Statistics and Machine Learning Toolbox - 머신러닝을 위한 사용자 지정 훈련 실험과 베이즈 최적화를 사용하는 실험을 실행하려는 경우

• Parallel Computing Toolbox - 클러스터, 클라우드, 또는 복수의 GPU에서 한 번에 여러 개의 시행을 실행하거나 한 번에 하나의 시행만 실행하려는 경우

• MATLAB Parallel Server - 실험을 원격 클러스터의 일괄 처리 작업으로 넘기려는 경우

MATLAB에서 실행할 수 있는 범용 실험에 대한 자세한 내용은 실험 관리하기 항목을 참조하십시오.

R2023b: 여러 실험 및 결과 삭제하기

실험 브라우저를 사용하여 프로젝트의 여러 실험 또는 여러 결과를 한 번에 삭제할 수 있습니다. 삭제하려는 실험이나 결과를 선택한 다음 마우스 오른쪽 버튼을 클릭하고 삭제를 선택합니다. 선택할 때는 실험만 선택하거나 결과만 선택해야 합니다. 실험을 삭제하면 실험 관리자가 실험에 포함된 결과도 삭제합니다.

R2023a: 사용자 지정 훈련 실험에 대한 시각화

실험 관리자 앱에서 직접 사용자 지정 훈련 실험에 대한 시각화를 표시합니다. 훈련이 완료되면 툴스트립의 결과 검토 갤러리에 훈련 함수에서 만든 각 Figure의 버튼이 표시됩니다. 시각화 패널에 Figure를 표시하려면 갤러리의 사용자 지정 플롯 섹션에서 해당하는 버튼을 클릭하십시오.

R2023a: 실험을 실행하기 전이나 후에 코드 디버그하기

실험 관리자 앱에서 직접 실험의 문제를 진단합니다.

• 실험 실행 전에, 사용자가 선택한 하이퍼파라미터 값으로 설정 함수와 훈련 함수를 테스트할 수 있습니다.

• 실험 실행 후에, 특정 시행에서 사용한 것과 동일한 난수 시드값과 하이퍼파라미터 값을 사용하여 설정 함수와 훈련 함수를 디버그할 수 있습니다.

자세한 내용은 Debug Deep Learning Experiments 항목을 참조하십시오.

R2023a: 사용 편의성 향상

• 베이즈 최적화를 사용하는 실험의 결정적 제약 조건, 조건부 제약 조건 및 획득 함수를 지정합니다. 베이즈 최적화 옵션에서 고급 옵션을 클릭하여 다음을 지정합니다.

  • 결정적 제약 조건

  • 조건부 제약 조건

  • 획득 함수 이름

• MATLAB에서 이미 열려 있는 프로젝트를 불러옵니다. 실험 관리자 앱을 시작하면 대화 상자에 실험 관리자에서 현재 프로젝트를 열라는 메시지가 표시됩니다. 또는 실험 관리자 앱에서 새로 만들기 > 프로젝트를 선택하고 대화 상자에서 MATLAB으로부터 프로젝트 만들기를 클릭합니다.

• Audio Toolbox™를 사용하는 경우 사전 구성된 템플릿을 선택하여 오디오 분류에 대한 기본 제공 훈련 실험 또는 사용자 지정 훈련 실험을 설정할 수 있습니다.

R2022b: 사용 편의성 향상

• 실험 관리자 툴스트립에서 다시 시작 목록이 취소된 시행 모두 다시 시작 버튼을 대체합니다. 여러 개의 실험 시행을 다시 시작하려면 다시 시작 목록을 열고 다시 시작 기준을 하나 이상 선택한 다음 다시 시작 을 클릭하십시오. 다시 시작 기준에는 취소된 모든 시행, 중지된 모든 시행, 오류 있는 모든 시행, 폐기된 모든 시행이 있습니다.

• 훈련하는 동안 결과값 테이블에 기본 제공 훈련 실험에 대한 표준 훈련 및 검증 메트릭의 중간값이 표시됩니다. 이러한 메트릭에는 손실, 정확도(분류 실험의 경우), RMS 오차(회귀 실험의 경우) 등이 있습니다.

• 기본 제공 훈련 실험에서 결과값 테이블의 실행 환경 열에 기본 제공 훈련 실험의 각 시행이 단일 CPU, 단일 GPU, 다중 CPU 또는 다중 GPU에서 실행되는지가 표시됩니다.

• 결과값 테이블의 동작 열에서 폐기 버튼 을 클릭하여 더 이상 관련이 없는 시행의 훈련 플롯, 혼동행렬 및 훈련 결과를 폐기할 수 있습니다.

R2022a: 클러스터에서 일괄 처리 작업으로 실험 실행

Parallel Computing Toolbox와 MATLAB Parallel Server를 사용하는 경우 실험을 원격 클러스터에 일괄 처리 작업으로 보낼 수 있습니다. Parallel Computing Toolbox만 사용하는 경우 신경망 클러스터에서 실험을 실행하는 대신 로컬 클러스터 프로파일을 사용하여 클라이언트 컴퓨터에서 실험을 개발하고 테스트할 수 있습니다. 자세한 내용은 Offload Experiments as Batch Jobs to a Cluster 항목을 참조하십시오.

R2022a: 사용 편의성 향상

• 실험 관리자 툴스트립에서 모드 목록이 병렬 연산 버튼을 대체합니다.

  • 한 번에 하나의 실험 시행을 실행하려면 순차적을 선택하고 실행을 클릭하십시오.

  • 한 번에 여러 개의 시행을 실행하려면 동시를 선택하고 실행을 클릭하십시오.

  • 실험을 일괄 처리 작업으로 넘겨주려면 순차적 일괄 처리나 동시 일괄 처리를 선택하고 클러스터와 풀 크기를 지정한 다음 실행을 클릭하십시오.

• 새로 추가된 실험 브라우저 상황별 메뉴 옵션을 사용하여 실험을 관리할 수 있습니다.

  • 프로젝트에 새 실험을 추가하려면 프로젝트 이름을 마우스 오른쪽 버튼으로 클릭하고 새 실험을 선택하십시오.

  • 실험의 복사본을 만들려면 실험 이름을 마우스 오른쪽 버튼으로 클릭하고 복제를 선택하십시오.

• 하이퍼파라미터 값을 문자형 벡터로 구성된 셀형 배열로 지정할 수 있습니다. 이전 릴리스의 실험 관리자에서는 숫자형, 논리형 또는 문자열 값을 갖는 스칼라 및 벡터만 사용하여 하이퍼파라미터를 지정할 수 있었습니다.

• 시행을 중지, 취소 또는 다시 시작하려면 결과값 테이블의 동작 열에서 중지 , 취소 또는 다시 시작 버튼을 클릭합니다. 이전 릴리스에서는 이러한 버튼이 진행률 열에 있었습니다. 또는 시행에 대한 행을 마우스 오른쪽 버튼으로 클릭하고 상황별 메뉴에서 중지, 취소 또는 다시 시작을 선택할 수 있습니다.

• 실험 시행이 종료되면 결과값 테이블의 상태 열에 중지 이유가 표시됩니다.

  • 최대 Epoch 완료됨

  • 검증 기준이 충족됨

  • OutputFcn에 의해 중지됨

  • 훈련 손실이 NaN임

• 주석 패널에서 정렬 기준 목록을 사용하여 생성 시간 또는 시행 번호로 주석을 정렬할 수 있습니다.

• 훈련이 완료되면 내보내기 > 결과값 테이블을 선택하여 결과값 테이블의 내용을 MATLAB 작업 공간에 table 배열로 저장할 수 있습니다.

• 시행에 대한 행을 마우스 오른쪽 버튼으로 클릭하고 상황별 메뉴에서 훈련 정보 내보내기 또는 훈련된 신경망 내보내기를 선택하여 중지되거나 완료된 시행에 대한 훈련 정보 또는 훈련된 신경망을 내보낼 수 있습니다.

R2021b: 사용자 지정 훈련 실험의 베이즈 최적화

Statistics and Machine Learning Toolbox를 사용하는 경우 베이즈 최적화를 사용하여 사용자 지정 훈련 실험에 대한 최적의 하이퍼파라미터 조합을 결정할 수 있습니다. 이전에는 사용자 지정 훈련 실험에서 하이퍼파라미터 스윕만 지원되었습니다. 자세한 내용은 Use Bayesian Optimization in Custom Training Experiments 항목을 참조하십시오.

R2021b: MATLAB Online에서의 실험

MATLAB Online™을 사용하여 웹 브라우저에서 실험 관리자를 실행합니다. 실험을 병렬로 실행하려면 Cloud Center 클러스터에 액세스할 수 있어야 합니다.

R2021b: 사용 편의성 향상

• 실험 관리자 툴스트립에서 취소를 클릭하여 실험을 중지하고 실행 중인 시행을 취소됨으로 표시하고 결과를 폐기할 수 있습니다. 훈련이 완료되면 취소된 시행 모두 다시 시작을 클릭하여 취소한 시행을 모두 다시 시작할 수 있습니다.

• 마우스를 사용할 수 없는 경우 바로 가기 키를 사용하여 실험 관리자를 탐색할 수 있습니다. 자세한 내용은 Keyboard Shortcuts for Experiment Manager 항목을 참조하십시오.

R2021a: 사용자 지정 훈련 실험

다음과 같은 워크플로를 지원하는 사용자 지정 훈련 실험을 만듭니다.

• 트윈 신경망 또는 생성적 적대 신경망(GAN)과 같은 dlnetwork에서 사용자 지정 훈련 루프 사용

• 모델 함수 또는 사용자 지정 학습률 조정 계획을 사용하여 신경망 훈련

• 사용자 지정 함수를 사용하여 신경망의 학습 가능한 파라미터 업데이트

R2021a: 사용 편의성 향상

• 실험을 만들 때 사전 구성된 템플릿을 실험 정의 가이드로 사용할 수 있습니다. 실험 템플릿은 영상 분류, 영상 회귀, 시퀀스 분류, 의미론적 분할, 사용자 지정 훈련 루프를 포함한 다양한 워크플로를 지원합니다.

• 주석을 추가하여 실험 결과에 대한 관측 내용을 기록할 수 있습니다. 결과값 테이블에서 셀 하나를 마우스 오른쪽 버튼으로 클릭하고 주석 추가를 선택합니다. 자세한 내용은 Sort, Filter, and Annotate Experiment Results 항목을 참조하십시오.

R2020b: 베이즈 최적화

Statistics and Machine Learning Toolbox를 사용하는 경우 베이즈 최적화를 사용하여 실험에 대한 최적의 하이퍼파라미터 조합을 결정할 수 있습니다. 자세한 내용은 Tune Experiment Hyperparameters by Using Bayesian Optimization 항목을 참조하십시오.

R2020b: 병렬 실행

Parallel Computing Toolbox를 사용하는 경우 병렬 연산을 클릭한 후 실행을 클릭하여 한 번에 여러 개의 실험 시행을 실행할 수 있습니다. 그러면 실험 관리자가 병렬 풀을 시작하고 여러 개의 동시 시행을 실행합니다. 자세한 내용은 Run Experiments in Parallel 항목을 참조하십시오.

참고 항목

앱

• 실험 관리자 | 실험 관리자 (Statistics and Machine Learning Toolbox) | 심층 신경망 디자이너

함수

• trainnet | dlnetwork | trainingOptions | groupSubPlot | recordMetrics | updateInfo | yscale

객체

• experiments.Monitor

도움말 항목

• Run Experiments in Parallel
• Offload Experiments as Batch Jobs to a Cluster
• Debug Deep Learning Experiments