凍結した一段生成方策を潜在ノイズ補正で後学習

人手のデモには迷いや非効率な動きが混じり、通常の模倣学習では質の低い動作まで再現してしまう。AWLSは、事前学習済みの一段生成方策のデコーダを凍結したまま、潜在ノイズに対する観測条件付きの小さな残差補正（residual noise shaper）だけを学習するオフライン後学習手法である。アドバンテージは勾配を流さず教師あり重みとしてのみ用い、批評家の誤差増幅や事前分布からの逸脱を抑え、高速な一段推論も保つ。ノイズ摂動への応答性でチェックポイントを選ぶ基準も提案した。シミュレーションと実機5タスク（各20回試行）で、基本方策を上回る結果を示した。CoRL採択の研究である。