任意の動画からオブジェクトを自動でトラッキングし、そのオブジェクトを消し込むことまで可能なトラッキングツール「Track Anything」が注目を集めている。

「Track Anything」は、Segment Anything Model (SAM)という画像のセグメンテーションモデルをベースにしており、ユーザーのクリックだけで追跡したいオブジェクトを指定でき、追跡中にもオブジェクトを変更したり、曖昧な領域を修正したりすることができる。

元GoogleのAIクリエイター、Bilawal Sidhu氏は「Track Anything」について、以下のように述べている。

Sidhu氏は本ツイートで、おおよそ以下のような内容を述べている。

Track Anythingは、Meta AIが開発した画像内のオブジェクトを分離する「Segment Anything Model」（SAM）を、動画でのオブジェクトのトラッキングと分割に利用したツール。また、機械学習手法「E2FGVI」（Towards An End-to-End Framework for Flow-Guided Video Inpainting）によりオブジェクトの消し込みを行う。After Effectsのロトブラシよりも精度が高く、コンテンツに応じた塗りつぶしよりも消し込みの仕上がりが良く見える（とSidhu氏は評価している）。

なお、Sidhu氏のツイートには含まれていないが、オブジェクトの区別には、SAMに加えてXMemも利用しているそうだ。研究開発の中心人物は中国深センの博士課程学生、ガオ・ミンチー氏。プロジェクトはGitHub上で公開されている。




「Track Anything」の使用方法

「Track Anything」は、AI関連のコミュニティHugging Faceの中ですぐに試すことができる。

こちらにアクセスして、任意の動画ファイルを読み込むか、画面下の「Examples」からサンプル動画を選ぶ。動画が読み込まれ、画面上部のVideo欄に表示されたら、直下の「Get Video Info」ボタンを押す。


すると動画の解析が始まり、完了後ボタンの下にあるImage欄に画像が表示される。そこで追跡したい物体をクリックして、右にある「Tracking」ボタンを押せばトラッキングがスタートする。詳しい操作方法はGitHub内のデモ動画を参照してほしい。


検証

筆者も実際に「Track Anything」を使用してみた。以下の動画は、Pixabayが提供するMatthias Groeneveldの動画（フリー素材）をもとに「Track Anything」を使用し編集した動画である。編集作業は、上記で紹介した使用方法に則って行っただけで、より綺麗にするために数値を変更したり、他ソフトを使用しての細やかな編集作業などは行なっていない。