심층 강화 학습

제어 및 의사결정 응용 사례에 딥러닝 적용

심층 강화 학습은 머신러닝의 한 부류로서, 로봇 및 자율 시스템과 같은 복잡한 응용 사례의 제어기 및 의사결정 알고리즘을 구현할 수 있습니다. 심층 강화 학습을 통해 시뮬레이션된 시스템 또는 물리 시스템에서 동적으로 생성된 데이터를 사용하여 복잡한 거동을 학습하도록 신경망을 훈련시킬 수 있습니다.

MATLAB, Simulink, Reinforcement Learning Toolbox를 사용하여 심층 강화 학습 시스템을 설계하고 배포하는 전체 워크플로를 진행할 수 있습니다. 다음과 같은 작업을 수행할 수 있습니다.

널리 사용되는 심층 강화 학습 알고리즘 전환, 평가 및 비교
강화 학습 디자이너 앱을 통해 대화형 방식으로 정책 훈련
하드웨어 손상 위험을 줄이기 위해 MATLAB 및 Simulink에서 훈련 환경 모델링
대화형 방식 또는 프로그래밍 방식으로 신경망을 사용한 심층 강화 학습 정책 생성
임베디드 소자 또는 클라우드에 심층 강화 학습 정책 배포

"5G는 악의적인 공격으로부터 반드시 보호해야 하는 매우 중요한 기반시설입니다. Reinforcement Learning Toolbox를 사용하면 빠르게 5G의 취약점을 평가하고 완화 방법을 파악할 수 있습니다."
Ambrose Kam, Lockheed Martin

Reinforcement Learning Toolbox를 사용한 5G 취약점 분석

심층 강화 학습에 MATLAB 및 Simulink를 사용하는 이유

심층 강화 학습 에이전트의 훈련 진행 상황을 보여주는 강화 학습 디자이너 앱의 스크린샷.

강화 학습 디자이너를 통한 시각적 대화형 방식 워크플로

강화 학습 디자이너 앱을 사용하여 대화형 방식으로 심층 강화 학습 에이전트를 생성하고 훈련하며 시뮬레이션할 수 있습니다. 적합한 에이전트 유형을 선택할 수 있도록 자동화된 안내를 활용할 수 있습니다. DDPG(심층 결정적 정책 경사법), SAC(소프트 액터 크리틱), PPO(근접 정책 최적화) 등 널리 사용되는 기본 제공 심층 강화 학습 알고리즘 중에서 선택할 수 있습니다.

대화형 방식의 강화 학습 에이전트 생성 및 훈련 (5:38)

내장 강화 학습 에이전트

강화 학습 디자이너를 사용한 에이전트 설계 및 훈련

사족 보행 로봇의 심층 강화 학습 예제를 보여주는 Simulink 모델의 스크린샷.

모델 기반 설계를 사용한 훈련, 시스템 수준 테스트 및 배포

Simulink(또는 MATLAB)에서 훈련 환경을 모델링하여 하드웨어 손상 위험을 줄일 수 있습니다. RL Agent 블록을 사용하여 환경 모델과 심층 강화 학습 에이전트를 원활하게 통합할 수 있습니다. 정책을 직렬 또는 병렬로 훈련시키고 이를 (시스템 수준) 시뮬레이션 및 SIL(Software-in-the-loop)/HIL(Hardware-in-the-Loop) 테스트를 통해 검증할 수 있습니다. 훈련된 정책을 임베디드 소자 또는 클라우드에 배포할 수 있습니다.

강화 학습을 위한 환경 구축

강화 학습을 위한 SIL 및 PIL 검증 실행

심층 강화 학습 정책 배포

자동화된 대화형 방식의 신경망 정책 생성

신경망 정책 설계의 전문가가 되지 않고도 문제 특정 자동 생성 신경망 아키텍처를 사용하여 심층 강화 학습 에이전트를 생성할 수 있습니다. 제안되는 신경망 아키텍처를 그대로 사용하거나 심층 신경망 디자이너 앱(대화형 방식 접근법) 또는 Deep Learning Toolbox의 계층(프로그래밍 방식 접근법)을 통해 미세 조정할 수 있습니다. 가져오기 및 내보내기 기능을 적용하여 타사 프레임워크의 신경망 표현과 상호운용할 수 있습니다.

Reinforcement Learning Toolbox를 사용한 역진자의 DQN 제어 (6:51)

심층 신경망을 사용하여 MATLAB에서 정책 표현하기

심층 신경망 디자이너를 사용하여 DQN 에이전트 만들기

주차장에 주차된 차를 보여주는 Unreal Engine 시뮬레이션 환경의 스크린샷.

예제 및 참조 응용 사례

로보틱스, 자율주행, 보정, 스케줄링 및 기타 응용 사례를 위한 제어기와 의사결정 알고리즘을 설계하여 심층 강화 학습을 시작할 수 있습니다. 참조 예제를 참조하여 단일 에이전트 및 다중 에이전트 훈련, 온라인 및 오프라인 학습, 모델 없는 방법 및 모델 기반 방법, 경사법 기반 및 진화 학습 전략을 실험할 수 있습니다.

강화 학습 예제

모델 기반 강화 학습 에이전트 훈련 방법 (6:03)

심층 강화 학습을 사용한 보행 로봇 (15:52)