이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.

getActionInfo

강화 학습 환경, 에이전트 또는 경험 버퍼에서 행동 데이터 사양 가져오기

구문

actInfo = getActionInfo(env)

actInfo = getActionInfo(agent)

actInfo = getActionInfo(buffer)

설명

actInfo = getActionInfo(env)는 강화 학습 환경 env에서 행동 정보를 추출합니다.

actInfo = getActionInfo(agent)는 강화 학습 에이전트 agent에서 행동 정보를 추출합니다.

actInfo = getActionInfo(buffer)는 경험 버퍼 buffer에서 행동 정보를 추출합니다.

예제

강화 학습 환경에서 행동 및 관측값 사양 추출하기

이 예제의 강화 학습 환경은 자동차 2대(선행 차량과 후행 차량 각각 1대)로 구성된 종방향 동특성 모델입니다. 이 차량 모델은 Adaptive Cruise Control System Using Model Predictive Control (Model Predictive Control Toolbox) 예제에서도 사용됩니다.

모델을 엽니다.

mdl = "rlACCMdl";
open_system(mdl);

모델에서 에이전트 블록의 경로를 지정합니다.

agentblk = mdl + "/RL Agent";

관측값 및 행동 사양을 만듭니다.

% Observation specifications
obsInfo = rlNumericSpec([3 1],LowerLimit=-inf*ones(3,1),UpperLimit=inf*ones(3,1));
obsInfo.Name = "observations";
obsInfo.Description = "information on velocity error and ego velocity";

% Action specifications
actInfo = rlNumericSpec([1 1],LowerLimit=-3,UpperLimit=2);
actInfo.Name = "acceleration";

환경 객체를 만듭니다.

env = rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo)

env = 
SimulinkEnvWithAgent with properties:

           Model : rlACCMdl
      AgentBlock : rlACCMdl/RL Agent
        ResetFcn : []
  UseFastRestart : on

강화 학습 환경 env는 SimulinkEnvWithAgent 객체입니다.

env에서 행동 사양과 관측값 사양을 추출합니다.

actInfoExt = getActionInfo(env)

actInfoExt = 
  rlNumericSpec with properties:

     LowerLimit: -3
     UpperLimit: 2
           Name: "acceleration"
    Description: [0×0 string]
      Dimension: [1 1]
       DataType: "double"

obsInfoExt = getObservationInfo(env)

obsInfoExt = 
  rlNumericSpec with properties:

     LowerLimit: [3×1 double]
     UpperLimit: [3×1 double]
           Name: "observations"
    Description: "information on velocity error and ego velocity"
      Dimension: [3 1]
       DataType: "double"

행동 정보는 가속도 값을 포함하며, 관측값 정보는 에고 차량의 속도와 속도 오차 값을 포함합니다.

입력 인수

env — 강화 학습 환경

rlFunctionEnv 객체 | SimulinkEnvWithAgent 객체 | rlNeuralNetworkEnvironment 객체 | 미리 정의된 MATLAB 환경 객체

행동 정보를 추출할 강화 학습 환경으로, 다음 중 하나로 지정됩니다.

• 다음 객체 중 하나로 표현되는 MATLAB^® 환경.

  • rlFunctionEnv

  • rlNeuralNetworkEnvironment

  • rlPredefinedEnv를 사용하여 만든 미리 정의된 MATLAB 환경

• SimulinkEnvWithAgent 객체로 표현되는 Simulink^® 환경.

강화 학습 환경에 대한 자세한 내용은 Reinforcement Learning Environments 및 사용자 지정 Simulink 환경 만들기 항목을 참조하십시오.

agent — 강화 학습 에이전트

rlQAgent 객체 | rlSARSAAgent 객체 | rlDQNAgent 객체 | rlPGAgent 객체 | rlDDPGAgent 객체 | rlTD3Agent 객체 | rlACAgent 객체 | rlPPOAgent 객체 | rlTRPOAgent 객체 | rlSACAgent 객체 | rlMBPOAgent 객체

행동 정보를 추출할 강화 학습 에이전트로, 다음 객체 중 하나로 지정됩니다.

• rlQAgent

• rlSARSAAgent

• rlDQNAgent

• rlDDPGAgent

• rlTD3Agent

• rlPGAgent

• rlACAgent

• rlPPOAgent

• rlTRPOAgent

• rlSACAgent

• rlMBPOAgent

강화 학습 에이전트에 대한 자세한 내용은 강화 학습 에이전트 항목을 참조하십시오.

buffer — 경험 버퍼

rlReplayMemory 객체 | rlPrioritizedReplayMemory 객체 | rlHindsightReplayMemory 객체 | rlHindsightPrioritizedReplayMemory 객체

경험 버퍼로, 다음과 같은 replay memory 객체 중 하나로 지정됩니다.

• rlReplayMemory

• rlPrioritizedReplayMemory

• rlHindsightReplayMemory

• rlHindsightPrioritizedReplayMemory

출력 인수

actInfo — 행동 사양

rlNumericSpec 객체 | rlFiniteSetSpec 객체 | 한 개의 rlFiniteSetSpec 객체 다음에 rlNumericSpec 객체 하나가 포함된 벡터

행동 사양으로, 다음 중 하나로 반환됩니다.

• 한 개의 rlNumericSpec 객체(연속 행동 공간의 경우)

• 한 개의 rlFiniteSetSpec 객체(이산 행동 공간의 경우)

• 한 개의 rlFiniteSetSpec 객체 다음에 rlNumericSpec 객체 한 개가 오는 벡터(하이브리드 행동 공간의 경우)

행동 사양은 환경 행동 채널의 속성(예: 차원, 데이터형, 이름)을 정의합니다.

참고

하이브리드 행동 공간이 아닌 경우(이산 또는 연속 행동 공간) 하나의 행동 채널만 허용됩니다. 하이브리드 행동 공간이 있는 환경에는 두 개의 행동 채널이 있습니다. 첫 번째 채널은 행동의 이산 부분에 대한 채널이고, 두 번째 채널은 행동의 연속 부분에 대한 채널입니다.

행동 사양 객체는 환경 행동 채널의 속성(예: 차원, 데이터형, 이름)을 정의합니다.

버전 내역

R2019a에 개발됨

참고 항목

함수

• getObservationInfo

객체

• rlNumericSpec | rlFiniteSetSpec | rlQAgent | rlSARSAAgent | rlDQNAgent | rlPGAgent | rlACAgent | rlDDPGAgent

도움말 항목

• 사용자 지정 Simulink 환경 만들기
• 강화 학습 에이전트