Adobe Research、Adobe、メリーランド大学からなる研究チームは12月2日（火）、3Dの特徴点の軌跡を用いて動画内の被写体やカメラの動きを精密に制御できる動画編集フレームワーク「Edit-by-Track」を発表した。オリジナル映像の文脈を保ちながら編集意図に応じた動きを生成でき、被写体の変形や削除、手ブレ補正のようなカメラ軌道の変更も可能。隠れた部分や奥行きの整合性も保持される。部分的な指示から全身の動きを補完する機能も備え、直感的な動画編集を実現する。

Edit-by-Trackは、AIが動画内の空間や動きを立体的に理解し、そこから推定して3D空間上に目印となるトラッキングポイントを作成する。そのポイントを直接操作して動画を再構築することにより、背景や被写体の形状の大幅なズレを防いだ、オリジナル映像のビジュアル的特徴を保った新しい動きの動画を生成できる。

▲ユーザーが任意の3D軌跡を指定することで、カメラワークと被写体の動きの両方を、3D空間上で違和感なく同時に制御できる

本フレームワークにより、特定のオブジェクトのトラックを画面外に移動させ、動画からその物体を自然に削除したり、トラックを変形して被写体の形状を引き伸ばしたりといった編集が可能となる。また、複数の被写体の動きを同期させたり、手持ちカメラで撮影された揺れの大きい映像のカメラ軌道を滑らかにして手ブレ補正のような効果を得ることもできる。

モデルは隠蔽部を含むすべてのトラック対応関係を条件としているため、3D空間での動作編集に伴う可視性の変化（オクルージョン）を自動的に処理することが可能であり、トラッキングの可視化においては遮蔽された部分も含めた全トラックが表示される仕様となっている。

また、Edit-by-Trackは部分的なトラッキング情報からの補完能力を備えている。歩行する犬の足のトラックを削除し、胴体の動きだけを指定した場合でも、モデルが文脈を理解して自然な足の動きを自動生成できる。3D情報を扱っていることから、キャラクターを回転させた場合でも、奥行きや前後関係（オクルージョン）の整合性を正しく処理するという。

▲リアルな人体を再現するための標準的な3Dモデル表現「SMPL（Skinned Multi-Person Linear model）」を活用することで、人物の体型を維持したまま局所的な動作のみを転送可能。複数のダンサー間で複雑な動きを同期させるなどの高度な編集が実現できる
▲動的な形状変形にも対応。3Dトラックに対して変換操作を加えることで、移動中の物体の形状そのものを編集できる。映像はダックスフンドの胴体を長く引き伸ばす表現
▲関連するポイントトラックを画面外へ移動させるだけで、動画内の物体をシームレスに削除できる
▲3Dポイントトラックを複製するだけで物体を複製できる。また、複製された個々の物体に対して異なる3D動作変換を適用できるため、オリジナルとは別の動きをさせるなどの柔軟な編集も実現する
▲脚部のトラックを除外して胴体のトラックのみを選択して移動を指示するだけで、部分的なトラック情報を用いた編集の簡略化を実現。その際、モデルが文脈を理解し、適切な脚の動作を自動的に合成するため、細部まで指定することなく自然な動きを生成できる

学習データにはBlenderを用いた合成データと、実写動画から抽出したペアデータ（単一の動画から異なる時間のクリップをペアとして利用する手法）を用いる2段階のファインチューニングを採用している。

なお、複雑な流体力学を伴う現象や、小さく激しい動きをする物体の生成には依然として課題が残っているとのこと。

■Generative Video Motion Editing with 3D Point Tracks（プロジェクトページ、英語）
https://edit-by-track.github.io/

CGWORLD関連情報

●アニメーションツール「Cascadeur 2025.3」リリース！ AIによる中間フレーム補間、四足歩行キャラサポート、レンダリングエンジン刷新、改良された物理ツールなど

Nekkiがアニメーション制作ツール「Cascadeur 2025.3」をリリース。レンダリングエンジンの刷新やAIによる中間フレーム生成機能の強化、四足歩行キャラクターへの対応など、多岐にわたる機能向上が図られている。四足歩行のみ有料サブスクリプションのProプラン以上が必要で、その他の機能は無料のFreeプランでも利用できる。
https://cgworld.jp/flashnews/01-202512-Cascadeur20253.html

●次世代「Xsens Link」発売！　スーツ丸洗い対応、更新レート最大240Hz、遅延20ms、GNSS（GPS）サポート、Wi-Fi 6E・USB-C OTG両対応など

Movellaが地磁気や加速度、ジャイロセンサーを組み合わせた慣性センサー式モーションキャプチャデバイス「Xsens Link」次世代機の発売を開始。ケーブル完全統合型で丸洗い可能なスーツデザイン、10時間以上の長時間駆動（外部バッテリーと合わせての利用時）、Wi-Fi 6E対応、USB-C OTGによる有線接続対応、最大240Hzの更新レートと20msの低遅延、GNSS（GPS）サポート、オンボディレコーディング、Unreal EngineやBlenderなどとのシームレスな連携など、多数の特徴を備える。販売は代理店経由となる。
https://cgworld.jp/flashnews/01-202512-XsensLink.html

●Blenderアドオン「Simple animation graph」アップデート！ 軌跡の描写により直感的に2D/3Dアニメーションを適用、フルポーズ3Dアニメーション、Blender 5.0対応

Dédouzeがアニメーション制作Blenderアドオン「Simple animation graph」のアップデートをGumroadでリリース。アーマチュアやオブジェクトグループなどのアニメーションに対応し、単一のボーンやオブジェクトを正確な軌跡でアニメーションさせる機能も搭載。対応するBlenderのバージョンは4.1以上（5.0対応）、価格は16ユーロ（約2,910円）。
https://cgworld.jp/flashnews/01-202512-SimAnimGraph.html