VLAの頑健性と汎用AIの操作力を測る評価研究

ロボット操作の評価に関する論文2件がarXivに投稿された。RoboCasa-Shiftは、家庭内の長時間タスクでVLAが環境変化にどう崩れるかを段階別に診断するベンチマークで、GR00T N1.5を1,040回の試行で評価した。同じ低下幅でも、失敗が起きる段階は条件によって異なると分かった。もう1件はLIBERO-10で、GPT、Claude、Geminiなど6つの最先端モデルを18設定、1,800エピソードで評価した。最高の成功率はGPT-6 Astraの44%で、推論量を増やすと概ね向上した。両研究とも、評価用のコードや結果を公開している。