딥러닝

심층 강화 학습

제어 및 의사결정 응용 사례에 딥러닝 적용

심층 강화 학습은 머신러닝의 한 부류로서, 로봇 및 자율 시스템과 같은 복잡한 응용 사례의 제어기 및 의사결정 알고리즘을 구현할 수 있습니다. 심층 강화 학습을 통해 시뮬레이션된 시스템 또는 물리 시스템에서 동적으로 생성된 데이터를 사용하여 복잡한 거동을 학습하도록 신경망을 훈련시킬 수 있습니다.

MATLAB, Simulink, Reinforcement Learning Toolbox를 사용하여 심층 강화 학습 시스템을 설계하고 배포하는 전체 워크플로를 진행할 수 있습니다. 다음과 같은 작업을 수행할 수 있습니다.

  • 널리 사용되는 심층 강화 학습 알고리즘 전환, 평가 및 비교
  • 강화 학습 디자이너 앱을 통해 대화형 방식으로 정책 훈련
  • 하드웨어 손상 위험을 줄이기 위해 MATLAB 및 Simulink에서 훈련 환경 모델링
  • 대화형 방식 또는 프로그래밍 방식으로 신경망을 사용한 심층 강화 학습 정책 생성
  • 임베디드 소자 또는 클라우드에 심층 강화 학습 정책 배포

"5G는 악의적인 공격으로부터 반드시 보호해야 하는 매우 중요한 기반시설입니다. Reinforcement Learning Toolbox를 사용하면 빠르게 5G의 취약점을 평가하고 완화 방법을 파악할 수 있습니다."

심층 강화 학습에 MATLAB 및 Simulink를 사용하는 이유

강화 학습 디자이너를 통한 시각적 대화형 방식 워크플로

강화 학습 디자이너 앱을 사용하여 대화형 방식으로 심층 강화 학습 에이전트를 생성하고 훈련하며 시뮬레이션할 수 있습니다. 적합한 에이전트 유형을 선택할 수 있도록 자동화된 안내를 활용할 수 있습니다. DDPG(심층 결정적 정책 경사법), SAC(소프트 액터 크리틱), PPO(근접 정책 최적화) 등 널리 사용되는 기본 제공 심층 강화 학습 알고리즘 중에서 선택할 수 있습니다.

모델 기반 설계를 사용한 훈련, 시스템 수준 테스트 및 배포

Simulink(또는 MATLAB)에서 훈련 환경을 모델링하여 하드웨어 손상 위험을 줄일 수 있습니다. RL Agent 블록을 사용하여 환경 모델과 심층 강화 학습 에이전트를 원활하게 통합할 수 있습니다. 정책을 직렬 또는 병렬로 훈련시키고 이를 (시스템 수준) 시뮬레이션 및 SIL(Software-in-the-loop)/HIL(Hardware-in-the-Loop) 테스트를 통해 검증할 수 있습니다. 훈련된 정책을 임베디드 소자 또는 클라우드에 배포할 수 있습니다.

자동화된 대화형 방식의 신경망 정책 생성

신경망 정책 설계의 전문가가 되지 않고도 문제 특정 자동 생성 신경망 아키텍처를 사용하여 심층 강화 학습 에이전트를 생성할 수 있습니다. 제안되는 신경망 아키텍처를 그대로 사용하거나 심층 신경망 디자이너 앱(대화형 방식 접근법) 또는 Deep Learning Toolbox의 계층(프로그래밍 방식 접근법)을 통해 미세 조정할 수 있습니다. 가져오기 및 내보내기 기능을 적용하여 타사 프레임워크의 신경망 표현과 상호운용할 수 있습니다.

예제 및 참조 응용 사례

로보틱스, 자율주행, 보정, 스케줄링 및 기타 응용 사례를 위한 제어기와 의사결정 알고리즘을 설계하여 심층 강화 학습을 시작할 수 있습니다. 참조 예제를 참조하여 단일 에이전트 및 다중 에이전트 훈련, 온라인 및 오프라인 학습, 모델 없는 방법 및 모델 기반 방법, 경사법 기반 및 진화 학습 전략을 실험할 수 있습니다.