이 번역 페이지는 최신 내용을 담고 있지 않습니다. 최신 내용을 영문으로 보려면 여기를 클릭하십시오.

rlDQNAgentOptions

DQN 에이전트에 대한 옵션

설명

rlDQNAgentOptions 객체를 사용하여 DQN(심층 Q-신경망) 에이전트에 대한 옵션을 지정합니다. DQN 에이전트를 만들려면 rlDQNAgent를 사용하십시오.

자세한 내용은 DQN(심층 Q-신경망) 에이전트 항목을 참조하십시오.

다양한 유형의 강화 학습 에이전트에 대한 자세한 내용은 강화 학습 에이전트 항목을 참조하십시오.

생성

구문

opt = rlDQNAgentOptions

opt = rlDQNAgentOptions(Name=Value)

설명

opt = rlDQNAgentOptions는 전부 디폴트 설정을 사용하여 DQN 에이전트를 만들 때 인수로 사용할 options 객체를 만듭니다. 점 표기법을 사용하여 객체 속성을 수정할 수 있습니다.

opt = rlDQNAgentOptions(Name=Value)는 옵션 세트 opt를 만들고 하나 이상의 이름-값 인수를 사용하여 이 옵션 세트의 속성을 설정합니다. 예를 들어, rlDQNAgentOptions(DiscountFactor=0.95)는 감가 인자 0.95를 사용하여 옵션 세트를 만듭니다. 여러 개의 이름-값 인수를 지정할 수 있습니다.

속성

UseDoubleDQN — 더블 DQN 사용 옵션

true (디폴트 값) | false

가치 함수 타깃 업데이트에 더블 DQN을 사용하기 위한 옵션으로, 논리값으로 지정됩니다. 자세한 내용은 DQN(심층 Q-신경망) 에이전트 항목을 참조하십시오.

예: UseDoubleDQN=false

EpsilonGreedyExploration — 엡실론-그리디 탐색에 대한 옵션

EpsilonGreedyExploration 객체

엡실론-그리디 탐색에 대한 옵션으로, 다음 속성을 갖는 EpsilonGreedyExploration 객체로 지정됩니다.

속성	설명	디폴트 값
Epsilon	행동을 무작위로 선택하거나 상태-행동 가치 함수를 최대화하는 행동을 선택하기 위한 확률 임계값입니다. Epsilon 값이 더 크다는 것은 에이전트가 더 높은 비율로 행동 공간을 무작위로 탐색한다는 의미입니다.	1
EpsilonMin	Epsilon의 최솟값	0.01
EpsilonDecay	감쇠율	0.0050

각 훈련 시간 스텝 종료 시 Epsilon이 EpsilonMin보다 크면 다음 식을 사용하여 업데이트됩니다.

Epsilon = Epsilon*(1-EpsilonDecay)

Epsilon은 한 에피소드의 끝과 다음 에피소드의 시작 사이에 보존됩니다. 따라서 EpsilonMin에 도달할 때까지 여러 에피소드에 걸쳐 계속 균일하게 감소합니다.

에이전트가 국소 최적해에 너무 빠르게 수렴할 경우 Epsilon을 늘려서 에이전트 탐색을 촉진할 수 있습니다.

탐색 옵션을 지정하려면 rlDQNAgentOptions 객체 opt를 만든 후에 점 표기법을 사용하십시오. 예를 들어, 엡실론 값을 0.9로 설정합니다.

opt.EpsilonGreedyExploration.Epsilon = 0.9;

CriticOptimizerOptions — 크리틱 최적화 함수 옵션

rlOptimizerOptions 객체

크리틱 최적화 함수 옵션으로, rlOptimizerOptions 객체로 지정됩니다. 이 옵션을 사용하면 학습률, 기울기 임계값뿐 아니라 최적화 함수 알고리즘과 그 파라미터 같은 크리틱 근사기의 훈련 파라미터를 지정할 수 있습니다. 자세한 내용은 rlOptimizerOptions 항목과 rlOptimizer 항목을 참조하십시오.

예: CriticOptimizerOptions = rlOptimizerOptions(LearnRate=5e-3)

BatchDataRegularizerOptions — 배치 데이터 정규화 함수 옵션

[] (디폴트 값) | rlBehaviorCloningRegularizerOptions 객체

배치 데이터 정규화 함수 옵션으로, rlBehaviorCloningRegularizerOptions 객체로 지정됩니다. 이러한 옵션은 일반적으로 기존 데이터에서부터 에이전트를 오프라인으로 훈련시키는 데 사용됩니다. 이 옵션을 비워 두면 정규화 함수가 사용되지 않습니다.

자세한 내용은 rlBehaviorCloningRegularizerOptions 항목을 참조하십시오.

예: BatchDataRegularizerOptions = rlBehaviorCloningRegularizerOptions(BehaviorCloningRegularizerWeight=10)

TargetSmoothFactor — 타깃 크리틱 업데이트를 위한 평활화 인자

1e-3 (디폴트 값) | 1보다 작거나 같은 양의 스칼라

타깃 크리틱 업데이트를 위한 평활화 인자로, 1보다 작거나 같은 양의 스칼라로 지정됩니다. 자세한 내용은 타깃 업데이트 방법 항목을 참조하십시오.

예: TargetSmoothFactor=1e-2

TargetUpdateFrequency — 다음 타깃 크리틱 업데이트로 넘어가기 전의 스텝 수

1 (디폴트 값) | 양의 정수

다음 타깃 크리틱 업데이트로 넘어가기 전의 스텝 수로, 양의 정수로 지정됩니다. 자세한 내용은 타깃 업데이트 방법 항목을 참조하십시오.

예: TargetUpdateFrequency=5

ResetExperienceBufferBeforeTraining — 경험 버퍼를 지우기 위한 옵션

false (디폴트 값) | true

훈련 전 경험 버퍼를 지우기 위한 옵션으로, 논리값으로 지정됩니다.

예: ResetExperienceBufferBeforeTraining=true

SequenceLength — RNN을 사용할 때의 최대 배치-훈련 궤적 길이

1 (디폴트 값) | 양의 정수

크리틱에 순환 신경망을 사용할 때의 최대 배치-훈련 궤적 길이로, 양의 정수로 지정됩니다. 이 값은 크리틱에 순환 신경망을 사용하는 경우 1보다 커야 하고, 그 외에는 1이어야 합니다.

예: SequenceLength=4

MiniBatchSize — 무작위 경험 미니 배치의 크기

64 (디폴트 값) | 양의 정수

무작위 경험 미니 배치의 크기로, 양의 정수로 지정됩니다. 각 훈련 에피소드 중에 에이전트는 크리틱 속성 업데이트를 위한 기울기를 계산할 때 경험 버퍼에서 무작위로 경험을 샘플링합니다. 대규모 미니 배치를 사용하면 기울기 계산 시 분산을 줄일 수 있지만 계산 노력이 늘어납니다.

크리틱에 순환 신경망을 사용할 경우 MiniBatchSize는 배치에 포함되는 경험 궤적의 수입니다. 여기서 각 궤적의 길이는 SequenceLength와 동일합니다.

예: MiniBatchSize=128

NumStepsToLookAhead — 정책 값 추정에 사용되는 미래 보상 수

1 (디폴트 값) | 양의 정수

정책 값 추정에 사용되는 미래 보상 수로, 양의 정수로 지정됩니다. 구체적으로 설명하면, NumStepsToLookAhead가 N과 같은 경우 주어진 스텝에서 정책의 타깃 값은 그다음 N개 스텝의 보상에 N번째 보상의 원인이 된 상태에 대한 감가 추정값을 더하여 계산됩니다. 이 타깃을 N-스텝 리턴값이라고도 합니다.

참고

크리틱에 순환 신경망을 사용하는 경우 NumStepsToLookAhead는 1이어야 합니다.

자세한 내용은 [1]의 7장을 참조하십시오.

예: NumStepsToLookAhead=3

ExperienceBufferLength — 경험 버퍼 크기

10000 (디폴트 값) | 양의 정수

경험 버퍼 크기로, 양의 정수로 지정됩니다. 훈련 중에 에이전트는 버퍼에서 무작위로 샘플링된 경험 미니 배치를 사용하여 업데이트를 계산합니다.

예: ExperienceBufferLength=1e6

SampleTime — 에이전트의 샘플 시간

1 (디폴트 값) | 양의 스칼라 | -1

에이전트의 샘플 시간으로, 양의 스칼라 또는 -1로 지정됩니다. 이 파라미터를 -1로 설정하면 이벤트 기반 시뮬레이션을 실행할 수 있습니다.

Simulink^® 환경에서는 에이전트가 시뮬레이션 시간의 매 SampleTime초마다 실행되도록 지정된 RL Agent 블록입니다. SampleTime이 -1이면 이 블록은 부모 서브시스템에서 샘플 시간을 상속합니다.

MATLAB^® 환경에서는 환경이 진행될 때마다 에이전트가 실행됩니다. 이 경우 SampleTime은 sim 또는 train에 의해 반환되는 출력 경험의 연속된 요소 사이의 시간 간격입니다. SampleTime이 -1인 경우 반환되는 출력 경험의 연속된 요소 사이의 시간 간격은 에이전트 실행을 트리거하는 이벤트의 발생 시점을 반영합니다.

예: SampleTime=-1

DiscountFactor — 감가 인자

0.99 (디폴트 값) | 1보다 작거나 같은 양의 스칼라

훈련 중에 미래 보상에 적용할 감가 인자로, 1보다 작거나 같은 양의 스칼라로 지정됩니다.

예: DiscountFactor=0.9

객체 함수

rlDQNAgent

Deep Q-network (DQN) reinforcement learning agent

예제

DQN Agent Options 객체 만들기

에이전트의 미니 배치 크기를 지정하는 rlDQNAgentOptions 객체를 만듭니다.

opt = rlDQNAgentOptions(MiniBatchSize=48)

opt = 
  rlDQNAgentOptions with properties:

                             SampleTime: 1
                         DiscountFactor: 0.9900
               EpsilonGreedyExploration: [1x1 rl.option.EpsilonGreedyExploration]
                 ExperienceBufferLength: 10000
                          MiniBatchSize: 48
                         SequenceLength: 1
                 CriticOptimizerOptions: [1x1 rl.option.rlOptimizerOptions]
                    NumStepsToLookAhead: 1
                           UseDoubleDQN: 1
                     TargetSmoothFactor: 1.0000e-03
                  TargetUpdateFrequency: 1
            BatchDataRegularizerOptions: []
    ResetExperienceBufferBeforeTraining: 0
                             InfoToSave: [1x1 struct]

점 표기법을 사용하여 옵션을 수정할 수 있습니다. 예를 들어, 에이전트 샘플 시간을 0.5로 설정합니다.

opt.SampleTime = 0.5;

참고 문헌

[1] Sutton, Richard S., and Andrew G. Barto. Reinforcement Learning: An Introduction. Second edition. Adaptive Computation and Machine Learning. Cambridge, Mass: The MIT Press, 2018.

버전 내역

R2019a에 개발됨

R2022a: ResetExperienceBufferBeforeTraining 속성의 디폴트 값이 변경됨

ResetExperienceBufferBeforeTraining의 디폴트 값이 true에서 false로 변경되었습니다.

새 DQN 에이전트를 만들 때 훈련 전에 경험 버퍼를 지우려면 ResetExperienceBufferBeforeTraining을 true로 지정해야 합니다. 예를 들어, 훈련 전에 점 표기법을 사용하여 이 속성을 설정합니다.

agent.AgentOptions.ResetExperienceBufferBeforeTraining = true;

또는 rlDQNAgentOptions 객체에서 이 속성을 true로 설정하고 이 객체를 사용하여 DQN 에이전트를 만들 수 있습니다.

R2020a: DQN 에이전트에 대한 타깃 업데이트 방법 설정이 변경됨

DQN 에이전트에 대한 타깃 업데이트 방법 설정이 변경되었습니다. 다음과 같이 변경되었으며, 이에 따라 코드 업데이트가 필요합니다.

• TargetUpdateMethod 옵션이 제거되었습니다. 이제 DQN 에이전트가 TargetUpdateFrequency 및 TargetSmoothFactor 옵션 값에 따라 타깃 업데이트 방법을 결정합니다.

• TargetUpdateFrequency의 디폴트 값이 4에서 1로 변경되었습니다.

다음 타깃 업데이트 방법 중 하나를 사용하려면 TargetUpdateFrequency 속성과 TargetSmoothFactor 속성을 표시된 대로 설정하십시오.

업데이트 방법	TargetUpdateFrequency	TargetSmoothFactor
평활화	1	1보다 작음
주기적	1보다 큼	1
주기적 평활화(R2020a에 새로 추가된 방법)	1보다 큼	1보다 작음

TargetSmoothFactor 값 0.001을 사용하여 평활화 업데이트를 수행하는 디폴트 타깃 업데이트 구성은 그대로 유지됩니다.

코드 업데이트

다음 표에는 rlDQNAgentOptions의 일반적인 사용법과 새 옵션 구성을 사용하도록 코드를 업데이트하는 방법이 나와 있습니다.

권장되지 않음	권장
opt = rlDQNAgentOptions('TargetUpdateMethod',"smoothing");	opt = rlDQNAgentOptions;
opt = rlDQNAgentOptions('TargetUpdateMethod',"periodic");	opt = rlDQNAgentOptions; opt.TargetUpdateFrequency = 4; opt.TargetSmoothFactor = 1;
opt = rlDQNAgentOptions; opt.TargetUpdateMethod = "periodic"; opt.TargetUpdateFrequency = 5;	opt = rlDQNAgentOptions; opt.TargetUpdateFrequency = 5; opt.TargetSmoothFactor = 1;

참고 항목

객체

• rlDQNAgent | rlAgentInitializationOptions | rlConservativeQLearningOptions

도움말 항목

• 카트-폴 시스템의 균형을 유지하도록 DQN 에이전트 훈련시키기
• DQN(심층 Q-신경망) 에이전트