言語を行動表現にする潜在世界モデルLaLa-World

言語を共通の行動インターフェースとして使い、シミュレーション、ロボット軌跡、画像、動画から学習する潜在世界モデルLaLa-Worldが発表された。数値の行動や視覚変化を言語で記述し、言語モデル上に構築した単一の予測器で異種データを横断学習する。各領域・タスク別に学習した既存の潜在世界モデルよりMPC計画性能が高く、動画生成モデルのベースラインと同等の性能を学習コスト6分の1、計画13.9倍速で達成した。さらに方策へ微調整したLaLa-Policyは、LIBEROとRoboCasaでCosmos Policyと競合し、推論は最大5.5倍速い。