Main Content

rlQAgent

Q-러닝 강화 학습 에이전트

페이지 내 모두 확장

설명

Q-러닝 알고리즘은 모델이 주어지지 않은(model-free) 온라인 방식의 오프-폴리시(off-policy) 강화 학습 방법입니다. Q-러닝 에이전트는 가치를 기반으로 하는 강화 학습 에이전트로, 리턴값 또는 미래 보상을 추정하도록 크리틱을 훈련시킵니다.

Q-러닝 에이전트에 대한 자세한 내용은 Q-러닝 에이전트 항목을 참조하십시오.

다양한 유형의 강화 학습 에이전트에 대한 자세한 내용은 Reinforcement Learning Agents 항목을 참조하십시오.

생성

구문

agent = rlQAgent(critic,agentOptions)

설명

예제

agent = rlQAgent(critic,agentOptions)는 지정된 크리틱 신경망을 갖는 Q-러닝 에이전트를 만들고 AgentOptions 속성을 설정합니다.

입력 인수

모두 확장

크리틱으로, rlQValueFunction 객체로 지정됩니다. 크리틱을 만드는 방법에 대한 자세한 내용은 Create Policies and Value Functions 항목을 참조하십시오.

속성

모두 확장

에이전트 옵션으로, rlQAgentOptions 객체로 지정됩니다.

행동을 선택할 때의 탐색 정책 사용 옵션으로, 다음 논리값 중 하나로 지정됩니다.

  • false — 행동을 선택할 때 에이전트 그리디 정책을 사용합니다.

  • true — 행동을 선택할 때 에이전트 탐색 정책을 사용합니다.

이 속성은 읽기 전용입니다.

관측값 사양으로, 차원, 데이터형, 관측값 신호의 이름과 같은 속성을 정의하는 강화 학습 사양 객체로 지정됩니다.

ObservationInfo의 값은 critic에 지정된 대응값과 일치합니다.

이 속성은 읽기 전용입니다.

행동 사양으로, rlFiniteSetSpec 객체로 지정됩니다.

ActionInfo의 값은 critic에 지정된 대응값과 일치합니다.

에이전트의 샘플 시간으로, 양의 스칼라 또는 -1로 지정됩니다. 이 파라미터를 -1로 설정하면 이벤트 기반 시뮬레이션을 실행할 수 있습니다. SampleTime의 값은 AgentOptions에 지정된 값과 일치합니다.

Simulink® 환경에서는 에이전트가 시뮬레이션 시간의 매 SampleTime초마다 실행되도록 지정된 RL Agent 블록입니다. SampleTime이 -1이면 이 블록은 부모 서브시스템에서 샘플 시간을 상속합니다.

MATLAB® 환경에서는 환경이 진행될 때마다 에이전트가 실행됩니다. 이 경우 SampleTime은 sim 또는 train에 의해 반환되는 출력 경험의 연속된 요소 사이의 시간 간격입니다. SampleTime이 -1인 경우 반환되는 출력 경험의 연속된 요소 사이의 시간 간격은 에이전트 실행을 트리거하는 이벤트의 발생 시점을 반영합니다.

객체 함수

trainTrain reinforcement learning agents within a specified environment
simSimulate trained reinforcement learning agents within specified environment
getActionObtain action from agent or actor given environment observations
getActorGet actor from reinforcement learning agent
setActorSet actor of reinforcement learning agent
getCriticGet critic from reinforcement learning agent
setCriticSet critic of reinforcement learning agent
generatePolicyFunctionCreate function that evaluates trained policy of reinforcement learning agent

예제

모두 축소

라이브 스크립트 열기

환경 인터페이스를 만듭니다. 이 예제에서는 예제 기본 그리드 월드에서 강화 학습 에이전트 훈련시키기에서와 동일한 환경을 사용합니다.

env = rlPredefinedEnv("BasicGridWorld");

환경 관측값과 행동 사양으로부터 도출된 테이블 근사 모델을 만듭니다.

qTable = rlTable( ...
    getObservationInfo(env), ...
    getActionInfo(env));

qTable을 사용하여 크리틱을 만듭니다. Q 에이전트는 rlValueFunction 객체를 사용하여 크리틱을 구현합니다.

critic = rlQValueFunction(qTable, ...
    getObservationInfo(env), ...
    getActionInfo(env));

지정된 크리틱과 엡실론 값 0.05를 사용하여 Q-러닝 에이전트를 만듭니다.

opt = rlQAgentOptions;
opt.EpsilonGreedyExploration.Epsilon = 0.05;

agent = rlQAgent(critic,opt)
agent = 
  rlQAgent with properties:

            AgentOptions: [1x1 rl.option.rlQAgentOptions]
    UseExplorationPolicy: 0
         ObservationInfo: [1x1 rl.util.rlFiniteSetSpec]
              ActionInfo: [1x1 rl.util.rlFiniteSetSpec]
              SampleTime: 1

에이전트를 확인하기 위해 getAction을 사용하여 임의 관측값에서 행동을 반환합니다.

getAction(agent,{randi(25)})
ans = 1x1 cell array
    {[1]}

이제 환경에 대해 에이전트를 테스트하고 훈련시킬 수 있습니다.

버전 내역

R2019a에 개발됨

참고 항목

함수

도움말 항목