이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.

rlAgentInitializationOptions

강화 학습 에이전트를 초기화하는 옵션

설명

rlAgentInitializationOptions 객체를 사용하여 에이전트에 대한 초기화 옵션을 지정합니다. 에이전트를 만들려면 에이전트 생성 함수(예: rlACAgent)를 사용하십시오.

생성

구문

initOpts = rlAgentInitializationOptions

initOpts = rlAgentInitializationOptions(Name=Value)

설명

initOpts = rlAgentInitializationOptions는 디폴트 신경망을 사용하는 강화 학습 에이전트를 초기화하는 디폴트 options 객체를 만듭니다. 초기화 옵션을 사용하여 에이전트 초기화 파라미터(예: 에이전트 신경망의 각 은닉 계층의 유닛 개수, 순환 신경망을 사용할지 여부)를 지정합니다.

initOpts = rlAgentInitializationOptions(Name=Value)는 initialization options 객체를 만들고 하나 이상의 이름-값 인수를 사용하여 이 객체의 속성을 설정합니다.

속성

NumHiddenUnit — 각 완전 연결 은닉 계층의 유닛 개수

256 (디폴트 값) | 양의 정수

신경망 출력 바로 앞의 완전 연결 계층을 제외하고, 에이전트 신경망의 각 완전 연결 은닉 계층의 유닛 개수로, 양의 정수로 지정됩니다. 설정한 값은 LSTM 계층에도 적용됩니다.

예: 64

UseRNN — 순환 신경망을 사용하기 위한 플래그

false (디폴트 값) | true

순환 신경망을 사용하기 위한 플래그로, 논리값으로 지정됩니다.

UseRNN을 true로 설정하면, 에이전트를 만들 때 출력 모드가 sequence로 설정된 순환 LSTM 계층이 에이전트 신경망의 출력 경로에 삽입됩니다. LSTM에 대한 자세한 내용은 장단기 기억 신경망 항목을 참조하십시오.

참고

TRPO 에이전트는 순환 신경망을 지원하지 않습니다.

예: true

Normalization — 정규화 방법

"none" (디폴트 값) | string형 | 문자형 벡터

에이전트에 사용되는 액터와 크리틱에 대한 정규화 방법으로, 채널 사양 객체에 정의된 제한을 기반으로 하며 다음 값 중 하나로 지정됩니다.

• "none" — actor 객체와 critic 객체의 입력값을 정규화하지 않습니다.

• "rescale-zero-one" — 입력값을 0과 1 사이의 구간으로 다시 스케일링하여 정규화합니다. 정규화된 입력값 Y는 (U–Min)./(UpperLimit–LowerLimit)이며, 여기서 U는 정규화되지 않은 입력값입니다. 정규화되지 않은 입력값이 LowerLimit보다 낮으면 정규화된 값은 0보다 낮은 값이 됩니다. 마찬가지로, 정규화되지 않은 입력값이 UpperLimit보다 높으면 정규화된 값은 1보다 높은 값이 됩니다. 여기서, UpperLimit와 LowerLimit는 입력 채널의 사양 객체에 정의된 해당 속성입니다.

• "rescale-symmetric" — 입력값을 –1과 1 사이의 구간으로 다시 스케일링하여 정규화합니다. 정규화된 입력값 Y는 2(U–LowerLimit)./(UpperLimit–LowerLimit) – 1이며, 여기서 U는 정규화되지 않은 입력값입니다. 정규화되지 않은 입력값이 LowerLimit보다 낮으면 정규화된 값은 –1보다 낮은 값이 됩니다. 마찬가지로, 정규화되지 않은 입력값이 UpperLimit보다 높으면 정규화된 값은 1보다 높은 값이 됩니다. 여기서, UpperLimit와 LowerLimit는 입력 채널의 사양 객체에 정의된 해당 속성입니다.

참고

rlAgentInitializationOptions의 Normalization 속성을 지정하는 경우, UpperLimit 속성과 LowerLimit 속성이 모두 정의된 rlNumericSpec 사양 객체에 해당하는 근사기 입력 채널에만 정규화가 적용됩니다. 에이전트를 만든 후에는, 원하는 정규화 방법을 사용하는 정규화 함수를 할당하려면 setNormalizer를 사용합니다. normalizer 객체에 대한 자세한 내용은 rlNormalizer 항목을 참조하십시오.

예: "rescale-symmetric"

객체 함수

rlACAgent	Actor-critic (AC) reinforcement learning agent
rlPGAgent	Policy gradient (PG) reinforcement learning agent
rlDDPGAgent	DDPG(심층 결정적 정책 경사) 강화 학습 에이전트
rlDQNAgent	DQN(심층 Q-신경망) 강화 학습 에이전트
rlPPOAgent	Proximal policy optimization (PPO) reinforcement learning agent
rlTD3Agent	Twin-delayed deep deterministic (TD3) policy gradient reinforcement learning agent
rlSACAgent	Soft actor-critic (SAC) reinforcement learning agent
rlTRPOAgent	Trust region policy optimization (TRPO) reinforcement learning agent

예제

agent initialization options 객체 만들기

agent initialization options 객체를 만듭니다. 각 완전 연결 계층의 은닉 뉴런 개수와 순환 신경망의 사용 여부를 지정합니다.

agtInitOpts = rlAgentInitializationOptions(NumHiddenUnit=64,UseRNN=true)

agtInitOpts = 
  rlAgentInitializationOptions with properties:

    NumHiddenUnit: 64
           UseRNN: 1
    Normalization: "none"

점 표기법을 사용하여 옵션을 수정할 수 있습니다. 예를 들어, 은닉 유닛 개수를 128로 설정합니다.

agtInitOpts.NumHiddenUnit = 128

agtInitOpts = 
  rlAgentInitializationOptions with properties:

    NumHiddenUnit: 128
           UseRNN: 1
    Normalization: "none"

채널 사양 객체에 정의된 제한에 따라 입력값이 정규화되는 디폴트 에이전트를 만들려면 agtInitOpts의 Normalization 속성을 할당합니다. 예를 들어 0과 1 사이의 입력값을 정규화하도록 Normalization 속성을 할당합니다.

agtInitOpts.Normalization = "rescale-zero-one"

agtInitOpts = 
  rlAgentInitializationOptions with properties:

    NumHiddenUnit: 128
           UseRNN: 1
    Normalization: "rescale-zero-one"

에이전트를 만들려면 agtInitOpts를 에이전트 생성자 함수의 입력 인수로 사용하십시오.

정규화된 입력값을 사용하여 디폴트 에이전트 만들기

이 예제에서는 채널 사양 객체에 정의된 제한에 따라 입력값이 정규화되는 디폴트 에이전트를 만드는 방법을 보여줍니다.

행동 채널과 관측값 채널의 사양 객체를 정의합니다.

obsInfo = [ 
    rlNumericSpec([3,1],LowerLimit=-10,UpperLimit=10) 
    rlNumericSpec([2,1],LowerLimit=-3,UpperLimit=[3 5]')
    ]

obsInfo=2×1 rlNumericSpec array with properties:
    LowerLimit
    UpperLimit
    Name
    Description
    Dimension
    DataType

actInfo = rlNumericSpec([2,1],LowerLimit=-1,UpperLimit=9)

actInfo = 
  rlNumericSpec with properties:

     LowerLimit: -1
     UpperLimit: 9
           Name: [0×0 string]
    Description: [0×0 string]
      Dimension: [2 1]
       DataType: "double"

대칭 정규화를 지정하여 agent initialization options 객체를 만듭니다.

agtInitOpts = rlAgentInitializationOptions( ...
    Normalization="rescale-symmetric")

agtInitOpts = 
  rlAgentInitializationOptions with properties:

    NumHiddenUnit: 256
           UseRNN: 0
    Normalization: "rescale-symmetric"

디폴트 PPO 에이전트를 만듭니다.

agent = rlPPOAgent(obsInfo,actInfo,agtInitOpts);

이 에이전트를 만들면 rlNormalizer 객체가 액터와 크리틱의 입력 채널에 적용됩니다. 입력 채널이 비연속적이거나 유한 상한 또는 하한을 갖지 않는 경우 해당 입력값에 정규화가 적용되지 않으며 경고가 표시됩니다.

근사기 객체를 추출하고 표시합니다.

actor = getActor(agent)

actor = 
  rlContinuousGaussianActor with properties:

    ObservationInfo: [2×1 rl.util.rlNumericSpec]
         ActionInfo: [1×1 rl.util.rlNumericSpec]
      Normalization: ["rescale-symmetric"    "rescale-symmetric"]
          UseDevice: "cpu"
         Learnables: {10×1 cell}
              State: {0×1 cell}

critic = getCritic(agent)

critic = 
  rlValueFunction with properties:

    ObservationInfo: [2×1 rl.util.rlNumericSpec]
      Normalization: ["rescale-symmetric"    "rescale-symmetric"]
          UseDevice: "cpu"
         Learnables: {8×1 cell}
              State: {0×1 cell}

일부 입력값에 대해 다른 정규화 유형을 지정하려면 먼저 rlNormalizer 객체를 만듭니다. 또는 getNormalizer를 사용하여, 액터 또는 크리틱에서 normalizer 객체로 구성된 배열을 추출한 다음 점 표기법을 사용하여 요소를 수정할 수 있습니다.

obs2nrmz = rlNormalizer(obsInfo(2).Dimension, ...
    Normalization="zerocenter", Mean=6)

obs2nrmz = 
  rlNormalizer with properties:

        Dimension: [2 1]
    Normalization: "zerocenter"
             Mean: 6

그런 다음 normalizer 객체를 액터 또는 크리틱의 원하는 입력 채널에 할당하려면 setNormalizer를 사용합니다. 이 예제에서는 obs2nrmz를 액터의 두 번째 관측값 채널에 적용합니다.

actor = setNormalizer(actor,obs2nrmz,2)

actor = 
  rlContinuousGaussianActor with properties:

    ObservationInfo: [2×1 rl.util.rlNumericSpec]
         ActionInfo: [1×1 rl.util.rlNumericSpec]
      Normalization: ["rescale-symmetric"    "zerocenter"]
          UseDevice: "cpu"
         Learnables: {10×1 cell}
              State: {0×1 cell}

그런 다음 새 액터를 에이전트에 할당하기 위해 setActor를 사용합니다.

setActor(agent,actor);

액터가 잘 작동하는지 확인하기 위해 getAction을 사용합니다.

a = getAction(agent, { ...
    rand(obsInfo(1).Dimension) ...
    rand(obsInfo(2).Dimension) ...
    });
a{1}

ans = 2×1

    6.0517
    3.2648

버전 내역

R2020b에 개발됨

참고 항목

함수

• normalize | setNormalizer | getNormalizer | getActor | setActor | getCritic | setCritic | evaluate

객체

• rlACAgent | rlPGAgent | rlDDPGAgent | rlDQNAgent | rlPPOAgent | rlTD3Agent | rlSACAgent | rlTRPOAgent | rlNormalizer

도움말 항목

• 강화 학습 에이전트