人間の動画1本から数千のロボット実演を生成

人間のRGB動画1本から、同カテゴリの多様な物体に対するロボット実演を数千件生成するReal2Sem2Realが発表された。物体の姿勢をGaussian splatで追跡し、写真から作ったデジタルな類似物体を意味的に位置合わせして、シミュレーションで再生する。IsaacSimまたはMuJoCoで2,000件超を約2時間で生成できる。生成データでπ0.5を微調整し、2台の実ロボット・4タスクで評価した結果、遠隔操作データと同等以上の性能を示した。