rlSARSAAgent

SARSA 강화 학습 에이전트

설명

SARSA 알고리즘은 이산 행동 공간이 있는 환경에 대한 온-폴리시(on-policy) 강화 학습 방법입니다. SARSA 에이전트는 현재의 엡실론-그리디 정책 값을 추정하도록 Q-값 함수 크리틱을 훈련시킵니다(최적의 정책을 직접 학습하려고 하지 않음).

참고

SARSA 에이전트는 순환 신경망을 지원하지 않습니다.

SARSA 에이전트에 대한 자세한 내용은 SARSA 에이전트 항목을 참조하십시오.

다양한 유형의 강화 학습 에이전트에 대한 자세한 내용은 강화 학습 에이전트 항목을 참조하십시오.

생성

구문

agent = rlSARSAAgent(critic,agentOptions)

설명

agent = rlSARSAAgent(critic,agentOptions)는 지정된 크리틱 신경망을 갖는 SARSA 에이전트를 만들고 AgentOptions 속성을 설정합니다.

입력 인수

critic — 크리틱

rlQValueFunction 객체

크리틱으로, rlQValueFunction 객체로 지정됩니다. 크리틱을 만드는 방법에 대한 자세한 내용은 Create Policies and Value Functions 항목을 참조하십시오.

속성

AgentOptions — 에이전트 옵션

rlSARSAAgentOptions 객체

에이전트 옵션으로, rlSARSAAgentOptions 객체로 지정됩니다.

UseExplorationPolicy — 시뮬레이션 및 배포 시 탐색 정책을 사용할지 지정하는 옵션

false (디폴트 값) | true

시뮬레이션하는 동안이나 배포 후 행동을 선택할 때 탐색 정책을 사용할지 지정하는 옵션으로, 논리값으로 지정됩니다.

• true — 에이전트를 sim 함수 및 generatePolicyFunction 함수와 함께 사용할 때 기본 에이전트 탐색 정책을 사용하려면 이 값을 지정합니다. 구체적으로 이 경우 에이전트는 rlEpsilonGreedyPolicy 객체를 사용합니다. 이 유형의 행동 선택은 무작위적인 요소를 내포하므로 에이전트가 행동 공간과 관측값 공간을 탐색합니다.

• false — 에이전트를 sim 함수 및 generatePolicyFunction 함수와 함께 사용할 때 에이전트가 강제로 기본 에이전트 그리디 정책(최대가능도를 갖는 행동)을 사용하도록 하려면 이 값을 지정합니다. 구체적으로 이 경우 에이전트는 rlMaxQPolicy 정책을 사용합니다. 행동 선택을 탐욕적으로 하기 때문에 정책이 결정적으로 동작하고 에이전트가 행동 공간과 관측값 공간을 탐색하지 않습니다.

참고

이 옵션은 시뮬레이션과 배포에만 영향을 미치고 훈련에는 영향을 미치지 않습니다. train 함수를 사용하여 에이전트를 훈련시킬 경우 에이전트는 이 속성의 값에 관계없이 항상 자신의 탐색 정책을 사용합니다.

ObservationInfo — 관측값 사양

사양 객체 | 사양 객체로 구성된 배열

관측값 사양으로, rlFiniteSetSpec 객체나 rlNumericSpec 객체, 또는 이러한 객체가 혼합된 배열로 지정됩니다. 배열의 각 요소는 환경 관측값 채널의 속성(예: 차원, 데이터형, 이름)을 정의합니다.

액터 또는 크리틱을 지정하여 에이전트를 만드는 경우 ObservationInfo의 값은 actor 및 critic 객체에 지정된 값과 일치합니다. 디폴트 에이전트를 만드는 경우 에이전트 생성자 함수는 ObservationInfo 속성을 입력 인수 observationInfo로 설정합니다.

getObservationInfo를 사용하여 기존 환경, 함수 근사기 또는 에이전트에서 observationInfo를 추출할 수 있습니다. rlFiniteSetSpec 또는 rlNumericSpec을 사용하여 사양을 수동으로 생성할 수도 있습니다.

예: [rlNumericSpec([2 1]) rlFiniteSetSpec([3,5,7])]

ActionInfo — 행동 사양

rlFiniteSetSpec 객체

행동 사양으로, rlFiniteSetSpec 객체로 지정됩니다. 이 객체는 환경 행동 채널의 속성(예: 차원, 데이터형, 이름)을 정의합니다.

참고

이 에이전트에는 하나의 행동 채널만 허용됩니다.

critic 객체를 지정하여 에이전트를 만드는 경우 ActionInfo의 값은 critic에 지정된 값과 일치합니다. 디폴트 에이전트를 만드는 경우 에이전트 생성자 함수는 ActionInfo 속성을 입력 인수 ActionInfo로 설정합니다.

getActionInfo를 사용하여 기존 환경, 함수 근사기 또는 에이전트에서 actionInfo를 추출할 수 있습니다. rlFiniteSetSpec을 사용하여 사양을 수동으로 생성할 수도 있습니다.

예: rlFiniteSetSpec([3,-5,7])]

SampleTime — 에이전트의 샘플 시간

1 (디폴트 값) | 양의 스칼라 | -1

에이전트의 샘플 시간으로, 양의 스칼라 또는 -1로 지정됩니다.

MATLAB^® 환경에서는 환경이 진행될 때마다 에이전트가 실행되므로, SampleTime이 에이전트 실행 시점에 영향을 주지 않습니다. SampleTime이 -1로 설정된 경우 MATLAB 환경에서는 반환되는 출력 경험의 연속된 요소 사이의 시간 간격이 1로 간주됩니다.

Simulink^® 환경에서는 agent 객체를 사용하는 RL Agent 블록이 시뮬레이션 시간의 매 SampleTime초마다 실행됩니다. SampleTime이 -1로 설정된 경우 블록은 입력 신호에서 샘플 시간을 상속합니다. 이 블록이 이벤트 기반 서브시스템의 자식인 경우에는 SampleTime을 -1로 설정하십시오.

이 블록이 이벤트 기반 서브시스템의 자식이 아닌 경우에는 SampleTime을 양의 스칼라로 설정하십시오. 이렇게 설정하면 입력 신호 샘플 시간이 모델 변동으로 인해 변할 때 블록이 적절한 간격으로 실행되도록 보장됩니다. SampleTime이 양의 스칼라인 경우 이 값은 환경의 유형에 관계없이 sim 또는 train에 의해 반환되는 출력 경험의 연속된 요소 사이의 시간 간격이기도 합니다.

SampleTime이 -1로 설정된 경우 Simulink 환경에서는 반환되는 출력 경험의 연속된 요소 사이의 시간 간격이 RL Agent 블록 실행을 트리거하는 이벤트의 발생 시점을 반영합니다.

이 속성은 에이전트와 에이전트 내 agent options 객체 간에 공유됩니다. agent options 객체에서 이 속성을 변경하면 에이전트에서도 변경되며 그 반대의 경우에도 마찬가지입니다.

예: SampleTime=-1

객체 함수

train	Train reinforcement learning agents within a specified environment
sim	Simulate trained reinforcement learning agents within specified environment
getAction	Obtain action from agent, actor, or policy object given environment observations
getCritic	Extract critic from reinforcement learning agent
setCritic	Set critic of reinforcement learning agent
generatePolicyFunction	Generate MATLAB function that evaluates policy of an agent or policy object

예제

SARSA 에이전트 만들기

환경 객체를 만들거나 불러옵니다. 이 예제에서는 예제 기본 그리드 월드에서 강화 학습 에이전트 훈련시키기에도 사용된 기본 그리드 월드 환경 객체를 불러옵니다.

env = rlPredefinedEnv("BasicGridWorld");

관측값 사양과 행동 사양을 가져옵니다.

obsInfo = getObservationInfo(env);
actInfo = getActionInfo(env);

SARSA 에이전트는 파라미터화된 Q-값 함수를 사용하여 정책의 값을 추정합니다. Q-값 함수는 현재 관측값과 행동을 입력값으로 받고 single형 스칼라를 출력값(현재 관측값에 해당하는 상태로부터 행동을 취하고 이후 정책을 따랐을 때 추정되는 감가된 누적 장기 보상)으로 반환합니다.

관측값 공간과 행동 공간이 모두 낮은 차원의 이산 공간이므로, 테이블을 사용하여 크리틱 내에서 Q-값 함수를 모델링하십시오. rlTable은 관측값 사양과 행동 사양 객체에서 값 테이블 객체를 생성합니다.

환경 관측값과 행동 사양으로부터 도출된 테이블 근사 모델을 만듭니다.

qTable = rlTable(obsInfo,actInfo);

qTable과 환경 사양 객체를 사용하여 Q-값 함수 근사기 객체를 만듭니다. 자세한 내용은 rlQValueFunction 항목을 참조하십시오.

critic = rlQValueFunction(qTable,obsInfo,actInfo);

근사기 객체를 사용하여 SARSA 에이전트를 만듭니다.

agent = rlSARSAAgent(critic)

agent = 
  rlSARSAAgent with properties:

            AgentOptions: [1×1 rl.option.rlSARSAAgentOptions]
    UseExplorationPolicy: 0
         ObservationInfo: [1×1 rl.util.rlFiniteSetSpec]
              ActionInfo: [1×1 rl.util.rlFiniteSetSpec]
              SampleTime: 1

Epsilon 값을 0.2로 지정합니다.

agent.AgentOptions.EpsilonGreedyExploration.Epsilon = 0.2;

에이전트를 확인하기 위해 getAction을 사용하여 임의 관측값에서 행동을 반환합니다.

act = getAction(agent,{randi(numel(obsInfo.Elements))});
act{1}

ans = 
1

이제 환경에 대해 에이전트를 테스트하고 훈련시킬 수 있습니다.

버전 내역

R2019a에 개발됨

참고 항목

함수

• getAction | getActor | getCritic | getModel | generatePolicyFunction | generatePolicyBlock | getActionInfo | getObservationInfo

객체

• rlSARSAAgentOptions | rlVectorQValueFunction | rlQValueFunction | rlQAgent | rlLSPIAgent | rlDQNAgent

블록

• RL Agent | Policy

도움말 항목

• MDP 환경에서 강화 학습 에이전트 훈련시키기
• 강화 학습 에이전트 훈련시키기
• SARSA 에이전트
• Q-러닝 에이전트
• DQN(심층 Q-신경망) 에이전트
• 강화 학습 에이전트