Simscape Multibodyを​用いた深層強化学習の​場合、GPUリソース​は活用されないのでし​ょうか?

조회 수: 6(최근 30일)
NAOYA NAKAOKA
NAOYA NAKAOKA 2022년 5월 4일
댓글: NAOYA NAKAOKA 2022년 5월 5일
ヒューマノイド ウォーカーの学習のサンプルドキュメンテーションを参考に、深層強化学習を利用した移動ロボットの学習に挑戦しようとしています。ドキュメンテーションでは、CPUを用いた学習を行っておりますが、この例の場合、GPUリソースを効果的に用いることはできないのでしょうか?rlRepresentationOptionsrlTrainingOptionsのページを参考に、学習する際の計算機をGPUに設定し、学習を行ってみましたが、GPU使用率をタスクマネージャーで確認する限り、GPUはほとんど利用していないように見受けられました。
コードは以下のように書き換えました。
% Define environment
criticOptions.UseDevice = 'gpu';
actorOptions.UseDevice = 'gpu';
useParallel = false;
強化学習エピソードマネージャーの学習利リソースにて、ハードウェアがGPUに設定されていることを確認しています。
Using GPUs is likely to be beneficial when the deep neural network in the actor or critic representation uses operations such as multiple convolutional layers on input images or has large batch sizes.
との記載があり、本ドキュメンテーションのように、画像を用いない場合はGPUの利用は効果的ではないのでしょうか?
どうぞよろしくお願いいたします。
なお、学習の際には下記のハードウェアを用いました。
Core i7 -9700k,32GB,GTX1660(6GB)

채택된 답변

Toshinobu Shintai
Toshinobu Shintai 2022년 5월 4일
「Simscape Multibodyを​用いた深層強化学習」に限らず、強化学習の学習アルゴリズムは、並列計算の恩恵があまり得られない計算フローになっていますので、おっしゃる通りGPUリソースを効果的に用いることはできない、ということになります。
  댓글 수: 1
NAOYA NAKAOKA
NAOYA NAKAOKA 2022년 5월 5일
計算時間の圧縮には、CPUリソースを強化したほうが良いということですね。
ご回答いただきありがとうございます!

댓글을 달려면 로그인하십시오.

추가 답변(0개)

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!