Main Content

이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.

rlTable

가치 테이블 또는 Q 테이블

R2019a 이후

페이지 내 모두 확장

설명

가치 테이블과 Q 테이블은 강화 학습의 크리틱 신경망을 표현하는 한 방법입니다. 가치 테이블에는 유한한 관측값 세트에 대한 보상이 저장됩니다. Q 테이블에는 대응하는 유한한 관측값-행동 쌍에 대한 보상이 저장됩니다.

rlTable 객체를 사용하여 가치 함수 근사기를 만들려면 rlValueFunction, rlQValueFunction 또는 rlVectorQValueFunction 객체를 사용하십시오.

생성

구문

T = rlTable(obsinfo)
T = rlTable(obsinfo,actinfo)

설명

예제

T = rlTable(obsinfo)는 주어진 이산 관측값에 대한 가치 테이블을 만듭니다.

예제

T = rlTable(obsinfo,actinfo)는 주어진 이산 관측값과 행동에 대한 Q 테이블을 만듭니다.

입력 인수

모두 확장

관측값 사양으로, rlFiniteSetSpec 객체로 지정됩니다.

행동 사양으로, rlFiniteSetSpec 객체로 지정됩니다.

속성

모두 확장

보상 테이블로, 배열로 반환됩니다. Table에 따라 다음과 같습니다.

  • 가치 테이블이면, NO개의 행을 포함합니다. 여기서 NO은 유한한 관측값의 개수입니다.

  • Q 테이블이면, NO개의 행과 NA개의 열을 포함합니다. 여기서 NA는 가능한 유한한 행동의 개수입니다.

객체 함수

rlValueFunctionValue function approximator object for reinforcement learning agents
rlQValueFunction Q-Value function approximator object for reinforcement learning agents
rlVectorQValueFunction Vector Q-value function approximator for reinforcement learning agents

예제

모두 축소

라이브 스크립트 열기

이 예제에서는 rlTable을 사용하여 가치 테이블을 만드는 방법을 보여줍니다. 이러한 테이블을 사용하여 유한한 관측값 공간을 갖는 액터-크리틱 에이전트의 크리틱을 표현할 수 있습니다.

환경 인터페이스를 만들고 관측값 사양을 가져옵니다.

env = rlPredefinedEnv("BasicGridWorld");
obsInfo = getObservationInfo(env)
obsInfo = 
  rlFiniteSetSpec with properties:

       Elements: [25x1 double]
           Name: "MDP Observations"
    Description: [0x0 string]
      Dimension: [1 1]
       DataType: "double"

관측값 사양을 사용하여 가치 테이블을 만듭니다.

vTable = rlTable(obsInfo)
vTable = 
  rlTable with properties:

    Table: [25x1 double]
라이브 스크립트 열기

이 예제에서는 rlTable을 사용하여 Q 테이블을 만드는 방법을 보여줍니다. 이러한 테이블을 사용하여 유한한 관측값 공간과 행동 공간을 갖는 에이전트의 액터 또는 크리틱을 표현할 있습니다.

환경 인터페이스를 만들고 관측값 사양과 행동 사양을 가져옵니다.

env=rlMDPEnv(createMDP(8,["up";"down"]));
obsInfo = getObservationInfo(env)
obsInfo = 
  rlFiniteSetSpec with properties:

       Elements: [8x1 double]
           Name: "MDP Observations"
    Description: [0x0 string]
      Dimension: [1 1]
       DataType: "double"


actInfo = getActionInfo(env)
actInfo = 
  rlFiniteSetSpec with properties:

       Elements: [2x1 double]
           Name: "MDP Actions"
    Description: [0x0 string]
      Dimension: [1 1]
       DataType: "double"

관측값 사양과 행동 사양을 사용하여 Q 테이블을 만듭니다.

qTable = rlTable(obsInfo,actInfo)
qTable = 
  rlTable with properties:

    Table: [8x2 double]

버전 내역

R2019a에 개발됨

참고 항목

도움말 항목