rlSARSAAgentOptions
SARSA 에이전트에 대한 옵션
설명
rlSARSAAgentOptions
객체를 사용하여 SARSA 에이전트를 만들 때 사용할 옵션을 지정합니다. SARSA 에이전트를 만들려면 rlSARSAAgent
를 사용하십시오.
SARSA 에이전트에 대한 자세한 내용은 SARSA 에이전트 항목을 참조하십시오.
다양한 유형의 강화 학습 에이전트에 대한 자세한 내용은 강화 학습 에이전트 항목을 참조하십시오.
생성
설명
는 전부 디폴트 설정을 사용하여 SARSA 에이전트를 만들 때 인수로 사용할 opt
= rlSARSAAgentOptionsrlSARSAAgentOptions
객체를 만듭니다. 점 표기법을 사용하여 객체 속성을 수정할 수 있습니다.
속성
SampleTime
— 에이전트의 샘플 시간
1
(디폴트 값) | 양의 스칼라 | -1
에이전트의 샘플 시간으로, 양의 스칼라 또는 -1
로 지정됩니다. 이 파라미터를 -1
로 설정하면 이벤트 기반 시뮬레이션을 실행할 수 있습니다.
Simulink® 환경에서는 에이전트가 시뮬레이션 시간의 매 SampleTime
초마다 실행되도록 지정된 RL Agent 블록입니다. SampleTime
이 -1
이면 이 블록은 부모 서브시스템에서 샘플 시간을 상속합니다.
MATLAB® 환경에서는 환경이 진행될 때마다 에이전트가 실행됩니다. 이 경우 SampleTime
은 sim
또는 train
에 의해 반환되는 출력 경험의 연속된 요소 사이의 시간 간격입니다. SampleTime
이 -1
인 경우 반환되는 출력 경험의 연속된 요소 사이의 시간 간격은 에이전트 실행을 트리거하는 이벤트의 발생 시점을 반영합니다.
이 속성은 에이전트와 에이전트 내 agent options 객체 간에 공유됩니다. 따라서 agent options 객체에서 이를 변경하면 에이전트에서도 변경되고 그 반대의 경우에도 마찬가지입니다.
예: SampleTime=-1
DiscountFactor
— 감가 인자
0.99
(디폴트 값) | 1보다 작거나 같은 양의 스칼라
훈련 중에 미래 보상에 적용할 감가 인자로, 1보다 작거나 같은 양의 스칼라로 지정됩니다.
예: DiscountFactor=0.9
EpsilonGreedyExploration
— 엡실론-그리디 탐색에 대한 옵션
EpsilonGreedyExploration
객체
엡실론-그리디 탐색에 대한 옵션으로, 다음 속성을 갖는 EpsilonGreedyExploration
객체로 지정됩니다.
속성 | 설명 | 디폴트 값 |
---|---|---|
Epsilon | 행동을 무작위로 선택하거나 상태-행동 가치 함수를 최대화하는 행동을 선택하기 위한 확률 임계값입니다. Epsilon 값이 더 크다는 것은 에이전트가 더 높은 비율로 행동 공간을 무작위로 탐색한다는 의미입니다. | 1 |
EpsilonMin | Epsilon 의 최솟값 | 0.01 |
EpsilonDecay | 감쇠율 | 0.0050 |
환경과의 각 상호 작용(즉, 각 훈련 스텝)에서 Epsilon
이 EpsilonMin
보다 크면 다음 공식에 따라 업데이트됩니다.
Epsilon = Epsilon*(1-EpsilonDecay)
Epsilon
은 한 에피소드의 끝과 다음 에피소드의 시작 사이에 보존됩니다. 따라서 EpsilonMin
에 도달할 때까지 여러 에피소드에 걸쳐 계속 균일하게 감소합니다.
에이전트가 국소 최적해에 너무 빠르게 수렴할 경우 Epsilon
을 늘려서 에이전트 탐색을 촉진할 수 있습니다.
탐색 옵션을 지정하려면 rlSARSAAgentOptions
객체 opt
를 만든 후에 점 표기법을 사용하십시오. 예를 들어, 엡실론 값을 0.9
로 설정합니다.
opt.EpsilonGreedyExploration.Epsilon = 0.9;
CriticOptimizerOptions
— 크리틱 최적화 함수 옵션
rlOptimizerOptions
객체
크리틱 최적화 함수 옵션으로, rlOptimizerOptions
객체로 지정됩니다. 이 옵션을 사용하면 학습률, 기울기 임계값뿐 아니라 최적화 함수 알고리즘과 그 파라미터 같은 크리틱 근사기의 훈련 파라미터를 지정할 수 있습니다. 자세한 내용은 rlOptimizerOptions
항목과 rlOptimizer
항목을 참조하십시오.
예: CriticOptimizerOptions = rlOptimizerOptions(LearnRate=5e-3)
InfoToSave
— 추가적인 에이전트 데이터를 저장하기 위한 옵션
구조체 (디폴트 값)
추가적인 에이전트 데이터를 저장하기 위한 옵션으로, 다음 필드를 포함하는 구조체로 지정됩니다.
Optimizer
PolicyState
다음 방법 중 하나로 agent 객체를 저장할 수 있습니다.
save
명령 사용rlTrainingOptions
객체에saveAgentCriteria
및saveAgentValue
지정FileLogger
객체 내에 적절한 로깅 함수 지정
위 방법을 사용하여 에이전트를 저장할 경우, InfoToSave
구조체의 필드 값에 따라 해당 데이터를 에이전트와 함께 저장할지 여부가 결정됩니다. 예를 들어, Optimizer
필드를 true
로 설정하면 크리틱 최적화 함수가 에이전트와 함께 저장됩니다.
InfoToSave
속성을 수정하는 것은 agent options 객체가 생성된 후에만 가능합니다.
예: options.InfoToSave.Optimizer=true
Optimizer
— 크리틱 최적화 함수를 저장하기 위한 옵션
false
(디폴트 값) | true
크리틱 최적화 함수를 저장하기 위한 옵션으로, 논리값으로 지정됩니다. 예를 들어, Optimizer
필드를 false
로 설정하면, (에이전트의 숨겨진 속성이며 내부 상태를 가질 수 있는) 크리틱 최적화 함수가 에이전트와 함께 저장되지 않으므로 디스크 공간과 메모리가 절약됩니다. 그러나 최적화 함수에 내부 상태가 포함되어 있다면, 저장된 에이전트의 상태가 원래 에이전트의 상태와 동일하지 않게 됩니다.
예: true
PolicyState
— 탐색적 정책의 상태를 저장하기 위한 옵션
false
(디폴트 값) | true
탐색적 정책의 상태를 저장하기 위한 옵션으로, 논리값으로 지정됩니다. PolicyState
필드를 false
로 설정하면, (숨겨진 에이전트 속성인) 탐색적 정책의 상태가 에이전트와 함께 저장되지 않습니다. 이 경우 저장된 에이전트의 상태는 원래 에이전트의 상태와 동일하지 않습니다.
예: true
객체 함수
rlSARSAAgent | SARSA reinforcement learning agent |
예제
SARSA Agent Options 객체 만들기
에이전트 샘플 시간을 지정하는 rlSARSAAgentOptions
객체를 만듭니다.
opt = rlSARSAAgentOptions(SampleTime=0.5)
opt = rlSARSAAgentOptions with properties: SampleTime: 0.5000 DiscountFactor: 0.9900 EpsilonGreedyExploration: [1x1 rl.option.EpsilonGreedyExploration] CriticOptimizerOptions: [1x1 rl.option.rlOptimizerOptions] InfoToSave: [1x1 struct]
점 표기법을 사용하여 옵션을 수정할 수 있습니다. 예를 들어, 에이전트 감가 인자를 0.95
로 설정합니다.
opt.DiscountFactor = 0.95;
버전 내역
R2019a에 개발됨
MATLAB 명령
다음 MATLAB 명령에 해당하는 링크를 클릭했습니다.
명령을 실행하려면 MATLAB 명령 창에 입력하십시오. 웹 브라우저는 MATLAB 명령을 지원하지 않습니다.
Select a Web Site
Choose a web site to get translated content where available and see local events and offers. Based on your location, we recommend that you select: .
You can also select a web site from the following list:
How to Get Best Site Performance
Select the China site (in Chinese or English) for best site performance. Other MathWorks country sites are not optimized for visits from your location.
Americas
- América Latina (Español)
- Canada (English)
- United States (English)
Europe
- Belgium (English)
- Denmark (English)
- Deutschland (Deutsch)
- España (Español)
- Finland (English)
- France (Français)
- Ireland (English)
- Italia (Italiano)
- Luxembourg (English)
- Netherlands (English)
- Norway (English)
- Österreich (Deutsch)
- Portugal (English)
- Sweden (English)
- Switzerland
- United Kingdom (English)