Reinforcement Learning Toolbox

강화 학습을 사용하여 정책을 설계하고 훈련할 수 있습니다.

Reinforcement Learning Toolbox™는 DQN, PPO, SAC 및 DDPG와 같은 강화 학습 알고리즘을 사용하는 정책을 훈련시키기 위한 앱, 함수, Simulink^® 블록을 제공합니다. 이러한 정책을 사용하여 자원 할당, 로봇공학, 자율 시스템과 같은 복잡한 응용 사례의 제어기 및 의사결정 알고리즘을 구현할 수 있습니다.

이 툴박스를 사용하면 심층 신경망 또는 룩업 테이블을 사용하여 정책 및 가치 함수를 표현할 수 있고 MATLAB^® 또는 Simulink에서 모델링된 환경과의 상호작용을 통해 이런 정책과 가치 함수를 훈련시킬 수 있습니다. 툴박스에서 제공하는 단일 에이전트 또는 다중 에이전트 강화 학습 알고리즘을 평가하거나 직접 개발할 수 있습니다. 앱을 통한 대화형 방식 또는 프로그래밍 방식으로 하이퍼파라미터 설정을 실험하고 훈련 진행 상황을 모니터링하고 훈련된 에이전트를 시뮬레이션할 수 있습니다. 훈련 성능을 향상하기 위해 시뮬레이션을 다중 CPU, GPU, 컴퓨터 클러스터 및 클라우드에서 병렬로 실행할 수 있습니다. (Parallel Computing Toolbox™ 및 MATLAB Parallel Server™ 사용)

ONNX™ 모델 형식을 통해 TensorFlow™ Keras 및 PyTorch 등의 딥러닝 프레임워크에서 기존 정책을 가져올 수 있습니다. (Deep Learning Toolbox™ 사용) 최적화된 C, C++, CUDA^® 코드를 생성하여 훈련된 정책을 마이크로컨트롤러 및 GPU에 배포할 수 있습니다. 툴박스에는 시작을 돕기 위한 참조 예제가 포함되어 있습니다.

Reinforcement Learning Toolbox란?

강화 학습 에이전트

강화 학습 에이전트를 생성하고 구성하여 MATLAB 및 Simulink에서 정책을 훈련할 수 있습니다. 내장된 강화 학습 알고리즘을 사용하거나 사용자 지정 강화 학습 알고리즘을 개발할 수 있습니다.

강화 학습 알고리즘

DQN(Deep Q-network), DDPG(deep deterministic policy gradient), PPO(proximal policy optimization) 및 기타 내장 알고리즘을 사용하여 에이전트를 만들 수 있습니다. 템플릿을 사용하여 정책을 훈련시키는 사용자 지정 에이전트를 개발할 수 있습니다.

강화 학습 에이전트 훈련시키기

내장 에이전트

사용자 지정 에이전트 만들기

이족 보행 로봇에게 보행 훈련시키기

Reinforcement Learning Toolbox에서 사용 가능한 훈련 알고리즘.

Reinforcement Learning Designer 앱

대화형 방식으로 강화 학습 에이전트를 설계, 훈련, 시뮬레이션할 수 있습니다. 향후 사용 및 배포를 위해 훈련된 에이전트를 MATLAB으로 내보낼 수 있습니다.

Reinforcement Learning Designer

Reinforcement Learning Designer 앱을 사용하여 에이전트를 설계하고 훈련시키기

대화형 방식으로 강화 학습 에이전트 생성 및 훈련하기

심층 신경망을 사용한 정책 및 가치 함수 표현

대규모 상태-행동 공간을 사용하는 복잡한 시스템의 경우 Deep Learning Toolbox의 계층을 사용하거나 대화형 방식의 심층 신경망 디자이너를 통해 심층 신경망 정책을 프로그래밍 방식으로 정의할 수 있습니다. 또는 툴박스에서 제안하는 기본 네트워크 아키텍처를 사용할 수도 있습니다. 모방 학습으로 정책을 초기화하여 훈련을 가속화할 수 있습니다. 다른 딥러닝 프레임워크와의 상호 운용성을 위해 ONNX 모델을 가져오고 내보낼 수 있습니다.

심층 신경망 표현 만들기 및 가져오기

심층 신경망 디자이너를 사용하여 에이전트 만들기

모방 학습으로 DDPG Actor Network 초기화하기

강화 학습 에이전트 초기화 옵션

대화형 방식으로 딥러닝 신경망 구축, 시각화 및 편집하기

Simulink의 단일 에이전트 및 다중 에이전트 강화 학습

RL Agent 블록을 사용하여 Simulink에서 강화 학습 에이전트를 만들고 훈련할 수 있습니다. 여러 개의 RL Agent 블록 인스턴스를 사용하여 Simulink에서 동시에 여러 에이전트를 훈련(다중 에이전트 강화 학습)할 수 있습니다.

Simulink 환경 만들기 및 에이전트 훈련시키기

RL Agent Simulink 블록

영역 커버리지를 위해 다중 에이전트 훈련시키기

경로 추종 제어를 위해 다중 에이전트 훈련시키기

Simulink의 강화 학습 에이전트 블록.

환경 모델링

MATLAB 및 Simulink 환경 모델을 만들 수 있습니다. 시스템 동특성을 설명하고 훈련 에이전트에 관측값 및 보상 신호를 제공할 수 있습니다.

Simulink 및 Simscape 환경

Simulink 및 Simscape™를 사용하여 환경 모델을 만들 수 있습니다. 모델 내에서 관측값, 행동 및 보상 신호를 지정할 수 있습니다.

강화 학습용 Simulink 환경 만들기

미리 정의된 Simulink 환경 불러오기

Simulink에 타사 기능 통합하기

강화 학습을 통한 영구자석 동기모터의 자속기준제어 (6:12)

이족 보행 로봇을 위한 Simulink 환경 모델.

MATLAB 환경

MATLAB 함수와 클래스를 사용하여 환경을 모델링할 수 있습니다. MATLAB 파일 내에서 관측값, 행동 및 보상 변수를 지정할 수 있습니다.

강화 학습을 위한 MATLAB 환경 만들기

미리 정의된 MATLAB 환경 불러오기

MATLAB에 타사 기능 통합하기

강화 학습을 사용한 트레이딩 (4:15)

3자유도 로켓을 위한 MATLAB 환경.

훈련 가속화

GPU, 클라우드 및 분산 컴퓨팅 리소스를 사용하여 훈련 속도를 높일 수 있습니다.

분산 연산 및 멀티코어 가속화

Parallel Computing Toolbox 및 MATLAB Parallel Server를 사용하는 멀티코어 컴퓨터, 클라우드 리소스 또는 연산 클러스터에서 병렬 시뮬레이션을 실행하여 훈련 속도를 높일 수 있습니다.

병렬 연산을 사용하여 에이전트 훈련시키기

강화 학습 에이전트 훈련 옵션

MATLAB에서 병렬 연산을 사용하여 카트-폴 시스템의 균형 문제를 위해 AC 에이전트 훈련시키기

Simulink에서 병렬 연산을 사용하여 차선 유지 보조용 DQN 에이전트 훈련시키기

병렬 연산을 사용하여 훈련 속도를 높입니다.

GPU 가속

고성능 NVIDIA^® GPU를 사용하여 심층 신경망 훈련 및 추론 속도를 높일 수 있습니다. Parallel Computing Toolbox와 대부분의 Compute Capability 3.0 이상 CUDA 지원 NVIDIA GPU와 함께 MATLAB을 사용할 수 있습니다.

GPU를 사용하여 에이전트 훈련시키기

강화 학습 에이전트 표현 옵션