任意の骨格で動画と3D動作を同時生成するNVIDIAのモデル

NVIDIA Researchが、テキストから動画と同期した3Dモーションを任意の骨格（リグ）向けに同時生成するモデル「JCA」を発表した。動画生成モデルは現実的な動きを描けるが、特定の3Dアセットに再生可能な動きとして返せなかった。そこで3Dモーション用の別モデルを、少数のクロスアテンション層で事前学習済み動画モデルとつなぐ構成を採った。関節の位置を動画内で推定することでカメラも復元し、動きを3Dシーンに配置できる。人間やロボットの動画を含む約20万の学習ペアで訓練し、動画優先の手法よりテキストに忠実に動かせると評価された。キーフレームによる軌道制御や、動画と動作の相互変換にも対応する。