getActionInfo

강화 학습 환경, 에이전트 또는 경험 버퍼에서 행동 데이터 사양 가져오기

페이지 내 모두 축소

구문

actInfo = getActionInfo(env)
actInfo = getActionInfo(agent)
actInfo = getActionInfo(buffer)

설명

actInfo = getActionInfo(env)는 강화 학습 환경 env에서 행동 정보를 추출합니다.

예제

actInfo = getActionInfo(agent)는 강화 학습 에이전트 agent에서 행동 정보를 추출합니다.

actInfo = getActionInfo(buffer)는 경험 버퍼 buffer에서 행동 정보를 추출합니다.

예제

모두 축소

라이브 스크립트 열기

이 예제의 강화 학습 환경은 자동차 2대(선행 차량과 후행 차량 각각 1대)로 구성된 종방향 동특성 모델입니다. 이 차량 모델은 Adaptive Cruise Control System Using Model Predictive Control (Model Predictive Control Toolbox) 예제에서도 사용됩니다.

모델을 엽니다.

mdl = "rlACCMdl";
open_system(mdl);

모델에서 에이전트 블록의 경로를 지정합니다.

agentblk = mdl + "/RL Agent";

관측값 및 행동 사양을 만듭니다.

% Observation specifications
obsInfo = rlNumericSpec([3 1],LowerLimit=-inf*ones(3,1),UpperLimit=inf*ones(3,1));
obsInfo.Name = "observations";
obsInfo.Description = "information on velocity error and ego velocity";

% Action specifications
actInfo = rlNumericSpec([1 1],LowerLimit=-3,UpperLimit=2);
actInfo.Name = "acceleration";

환경 객체를 만듭니다.

env = rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo)
env = 
SimulinkEnvWithAgent with properties:

           Model : rlACCMdl
      AgentBlock : rlACCMdl/RL Agent
        ResetFcn : []
  UseFastRestart : on

강화 학습 환경 env는 SimulinkEnvWithAgent 객체입니다.

env에서 행동 사양과 관측값 사양을 추출합니다.

actInfoExt = getActionInfo(env)
actInfoExt = 
  rlNumericSpec with properties:

     LowerLimit: -3
     UpperLimit: 2
           Name: "acceleration"
    Description: [0×0 string]
      Dimension: [1 1]
       DataType: "double"


obsInfoExt = getObservationInfo(env)
obsInfoExt = 
  rlNumericSpec with properties:

     LowerLimit: [3×1 double]
     UpperLimit: [3×1 double]
           Name: "observations"
    Description: "information on velocity error and ego velocity"
      Dimension: [3 1]
       DataType: "double"

행동 정보는 가속도 값을 포함하며, 관측값 정보는 에고 차량의 속도와 속도 오차 값을 포함합니다.

입력 인수

모두 축소

행동 정보를 추출할 강화 학습 환경으로, 다음 중 하나로 지정됩니다.

강화 학습 환경에 대한 자세한 내용은 Reinforcement Learning Environments 및 사용자 지정 Simulink 환경 만들기 항목을 참조하십시오.

행동 정보를 추출할 강화 학습 에이전트로, 다음 객체 중 하나로 지정됩니다.

강화 학습 에이전트에 대한 자세한 내용은 강화 학습 에이전트 항목을 참조하십시오.

경험 버퍼로, 다음과 같은 replay memory 객체 중 하나로 지정됩니다.

출력 인수

모두 축소

행동 사양으로, 다음 중 하나로 반환됩니다.

행동 사양은 환경 행동 채널의 속성(예: 차원, 데이터형, 이름)을 정의합니다.

참고

하이브리드 행동 공간이 아닌 경우(이산 또는 연속 행동 공간) 하나의 행동 채널만 허용됩니다. 하이브리드 행동 공간이 있는 환경에는 두 개의 행동 채널이 있습니다. 첫 번째 채널은 행동의 이산 부분에 대한 채널이고, 두 번째 채널은 행동의 연속 부분에 대한 채널입니다.

행동 사양 객체는 환경 행동 채널의 속성(예: 차원, 데이터형, 이름)을 정의합니다.

버전 내역

R2019a에 개발됨

참고 항목

함수

객체

도움말 항목