運用しながら学ぶ人介入型オンライン後学習TIDE

事前学習済みロボット基盤モデルを、現場で動かしながら改善する後学習システムTIDEがarXivで発表された。人の介入データと方策自身の実行データを、出自を条件にした教師あり学習でオンライン更新する。価値関数や報酬モデルなどの補助モデルは使わず、学習の複雑さと不安定さを避ける。双腕の実機4タスクで、ウォームスタート方策や同量のオフライン実演を追加した場合より進捗と完遂率が向上した。1タスクあたり1時間未満で最終チェックポイントまで到達する。