コンピュータグラフィックスとインタラクティブ技術に関するトップカンファレンスであるSIGGRAPH 2026が7月19日(日)から23日(木)まで開催された。アメリカ・ロサンゼルスにおいて開催された同カンファレンスでは、57のセッションにおいて合計369本の技術論文が発表された。本稿では、そうした発表のなかからXRとAIに関連した注目論文を10本、紹介する。

記事の目次

    関連記事

    世界のVFX・アニメ・ゲームの最前線を一挙上映! Electronic Theater上映全15作品を紹介〜SIGGRAPH 2026(1)
    SIGGRAPHとはひと味ちがう、現場発の技術が集結したシンポジウム「DigiPro 2026」 〜SIGGRAPH 2026(2)

    関連リンク

    ・発表された技術論文に関する全プログラム(公式ページ)
    s2026.conference-schedule.org

    ・技術論文に関する動画やサンプルコードのリンク集(非公式)
    kesen.realtimerendering.com/sig2026.html

    ・カンファレンスで発表された注目すべき論文をピックアップしたダイジェスト動画

    1:多様な画像生成指定を一元的に実行する「Canvas-to-Image」

    Canvas-to-Image: Compositional Image Generation with Multimodal Controls
    https://snap-research.github.io/canvas-to-image/

    Snap Inc.とアメリカ・カリフォルニア大学マーセド校らの研究チームは、画像生成システム「Canvas-to-Image」を提案した。画像生成においては、画像生成範囲、生成するキャラクターの姿勢指定、画像補完などが別個の技術として実用化されていた。同システムは、これらの技術を単一の画像生成システムで使えるようにしたものである。

    研究チームは、Canvas-to-Imageの画像生成能力を検証するために、Nano Bananaを含む既存モデルとの比較実験を行なった。以下の画像群が実験結果であり、右列の「Input」が画像の構図指定、画像右のテキストが入力プロンプトである。その左側に並んでいるのが生成画像である。「Ours」列がCanvas-to-Imageの生成結果であり、既存モデルに比べて入力情報に充実であることがわかる。

    2:翻訳後も忠実に唇の動きを再現する吹替動画生成モデル「JUST-DUB-IT」

    JUST-DUB-IT: Video Dubbing via Joint Audio-Visual Diffusion
    justdubit.github.io

    イスラエル・テルアビブ大学らの研究チームは、吹替動画生成モデル「JUST-DUB-IT」を提案した。このモデルは、人物が話している任意の動画を入力すると、音声を多言語に翻訳した上で、各言語の特徴を反映した唇の動きも生成するというものである。出力動画の生成過程では、はじめに各言語の音声が生成されてから、言語のちがいを反映した唇の動きを生成後、音声と唇の動きが合成される。

    研究チームは、JUST-DUB-ITと既存モデルを比較した評価実験を実施した。実験では、リップシンク、セリフの忠実度、総合的な好感度といった3つの観点に基づいて比較した。その結果、全ての観点でJUST-DUB-ITが既存モデルを凌駕した。

    3:動作とカメラワークを指定できる動画生成モデル「ActCam」

    ActCam: Zero-Shot Joint Camera and 3D Motion Control for Video Generation
    elkhomar.github.io/actcam

    フランスのAI研究組織Kinetixとイギリス・オックスフォード大学らの研究チームは、カメラ制御可能な動画生成モデル「ActCam」を提案した。同モデルは、素材となる人物とカメラの位置移動を指定すると、素材となった人物の動作を任意のキャラクター(人である必要はない)にコピーした上で、指定したカメラ移動を反映した動画を生成する。

    以下の画像が、ActCamへの入力情報事例をまとめた画像である。画像左上の「Acting video」が動作のコピー元となる動画、左下の「First frame」が動作のコピー先となる動画の最初の1コマ、右の「Camera shots」がカメラの位置移動である。そして、以上に引用した動画が出力動画である。出力動画を見ると、Acting videoの動作がFirst frameにコピーされ、Camera shotsにしたがったカメラワークとなっているのがわかる。

    4:基本動作を合成して新たな動作を生成する「SMP」

    SMP: Reusable Score-Matching Motion Priors for Physics-Based Character Control
    yxmu.foo/smp-page

    カナダのサイモン・フレーザー大学ソニーの研究員らから成る研究チームは、モーション生成モデル「SMP」を提案した。このモデルは100種類以上の人間の動作を学習しており、これらの動作を組み合わせて、ヒト型キャラクターの新規の動作を生成できる。同モデルが生成する動作は、ヒューマノイドロボットにも反映できる。

    以下の画像の上部左側は、基本動作のひとつである両手を広げて回転する動作「Aero Plane(飛行機)」と、膝を高く上げて歩行する動作「High Knees(高膝)」を表している。このふたつを合成したのが、画像上部右側である。合成された動作は、膝を高く上げながら身体を回転させるものとなる。

    5:大規模な3Dシーンを高精細に生成する「A LoD of Gaussians」

    A LoD of Gaussians: Out-of-Core Training and Rendering for Seamless Ultra-Large Scene Reconstruction
    felixwindisch.github.io/ALoDOfGaussians

    オーストリアのグラーツ工科大学の研究チームは、大規模な3Dシーンを生成するAI技術「A LoD of Gaussians」(「LoD」はLevel-of-Detail:詳細度の略語)を提案した。3Dシーン生成技術のひとつとしてガウシアンスプラッティングが知られているが、この技術で大規模な3Dシーンを生成すると、画像劣化が生じていた。提案技術は、この弱点を克服したものである。

    以下の3つの画像は、街の鳥瞰画像(Overview)、航空画像(Aerial View)、ストリートビューに関して、3Dガウシアンスプラッティング、既存3Dシーン生成モデルのGSplat、そしてA LoD of Gaussians(Ours)の生成結果を並べたものである。これらの画像から、A LoD of Gaussiansが既存モデルより高精細に街を生成しているのがわかる。

    6:長時間の4Dシーンを生成できる「ATGS」

    ATGS: Anchored Temporal Gaussian Splatting for Long Volumetric Video Representation
    wujh2001.github.io/ATGS

    北京大学らの研究チームは、複雑な動きのある長時間の4Dシーンを生成するモデル「ATGS」(Anchored Temporal Gaussian Splatting:アンカー付き時間的ガウシアンスプラッティング)を提案した。4Dシーン(時間幅のある3Dシーン)を生成する技術のひとつとして、4Dガウシアンスプラッティングが知られている。この技術は、長時間の4Dシーン生成に苦戦していた。提案技術は、生成するシーンを短時間に分割することで、従来の弱点を克服した。

    以上に引用した動画を見ると、バスケットボールの試合を複数視点から撮影後、ATGSによって4Dシーンとして生成された動画の一部を確認できる。動画を見る視点は、自由に変更可能である。

    ATGSの制限事項として、リアルタイムの動画生成には対応していないことが挙げられる。それゆえ、入力情報として処理できるのは撮影済みの動画のみとなる。

    7:一貫性のあるワールドを生成する「UCM」

    UCM: Unifying Camera Control and Memory with Time-aware Positional Encoding Warping for World Models
    humanaigc.github.io/ucm-webpage

    中国・清華大学とアリババらの研究チームは、ワールド生成モデル「UCM」を提案した。ユーザの操作に連動して、ワールド動画を連続的に生成するワールド生成モデルは、生成済みシーンの一貫性やカメラ制御に課題があった。こうした課題を克服したのが、提案技術である。同技術では、点群ベースのレンダリング技法を使うことで、ワールドの一貫性を改善した。

    以下の画像群は、UCMと既存モデルの生成結果を比較したものである。左側の「Memory Initialization」は、生成済みシーンを再訪したときの生成画面である。赤枠は、本来あるべきオブジェクトがなかったり、生成に失敗したりしている箇所を示している。UCM(Ours)が生成した画面には、赤枠がない。

    右側の画像群「Cycle Trajectory」は、部屋のシーンにおいて視線を旋回させたときの生成結果である。既存モデルでは赤枠があるのに対して、UCMでは生成結果に欠落や不整合がないのがわかる。

    8:衣服の3D画像/2D裁断図/点描3D画像を生成する「Garment Particles」

    Garment Particles: A 2D–3D Symmetric Garment Representation for Generation and Editing
    garment-particles.github.io

    アメリカ・スタンフォード大学東京大学らの研究チームは、2Dと3Dの衣服画像を生成するモデル「Garment Particles」を提案した。このモデルは、任意の衣服のイラストを入力すると、その衣服の3Dオブジェクト画像を生成した上で、その衣服を制作するために必要な2D裁断図も生成する。さらに、点群による3D衣服画像も生成する。入力情報として、イラストのほかに、テキストや実写画像にも対応している。

    以下の画像は、衣服のイラストを入力した場合における、Garment Particlesと既存モデルの出力結果を比較したものである。赤点で囲われた枠は、既存モデルが生成した2D裁断図の失敗箇所を示している。Garment Particles(Ours)には、赤点で囲われた箇所はない。

    さらに以下の画像は、点群で描画された衣服画像に基づいて、3D衣服画像と2D裁断図を編集する処理を表している。描画点を増やしたり(画像の(a))、点描衣服画像を組みわせたりして(画像の(b))、新たな衣服画像を生成している。

    9:ヘアスタイルを表現したテキスト入力を忠実に3D画像化する「HairGPT」

    HairGPT: Strand-as-Language Autoregressive Modeling for Realistic 3D Hairstyle Synthesis
    haiminluo.github.io/hairgpt

    中国・上海科技大学の研究チームは、テキスト入力によって人間の3D毛髪画像を生成できる「HairGPT」を提案した。同モデルは、毛髪とは「パーマ」のようなヘアデザイン言語とペアとなっている画像、というアイデアに基づいて開発された。同モデルによって、ヘアスタイリストが使うような言語表現を反映した3D毛髪画像を生成できるようになった。

    以下の画像の左側は、「センター分けで、生え際がはっきり見える、非常に短くウェーブのかかったヘアスタイル。トップにはテクスチャーのあるレイヤーが入り、サイドはフェード加工が施される」というテキスト入力に対する、HairGPT(Ours)と既存モデル(HAAR)の出力結果を比較したものである。HairGPTが、テキストの内容を忠実に再現していることがわかる。

    10:XRユーザのバーチャルな手をリアルタイム描画する「EgoForce」

    EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera
    dfki-av.github.io/EgoForce

    ドイツ人工知能研究センターらの研究チームは、XRユーザの手をリアルタイムに描画する技術「EgoForce」を提案した。この技術は、VRヘッドセットを装着したユーザーの手をトラッキングした上で、VR空間にその手をリアルタイムにVRオブジェクトとして表示するというものである。スマートグラスへの実装も可能である。

    以下の画像は、EgoForce(Ours)と既存技術(HnadDGP)の出力結果を比較したものである。画像の左列はユーザーの手を実写した画像、中央列はユーザーの視点から見た手の描画結果、右列はユーザと対面したカメラから見た手の描画結果である。赤色が左手の描画結果、青色が右側の描画結果、灰色が実際の手の位置を表している。既存技術が描画結果と実際の手の位置がずれているのに対して、EgoForceはほぼ一致している。

    SIGGRAPH 2026では、採択論文369本のうち、AIに関連している論文は少なくとも100本近くある。こうした状況から、AIはCG技術全般に言わば溶け込んで、CGを下支えするものになったと言えるだろう。

    以上の紹介論文からわかるように、SIGGRAPH 2026では画像生成や動画生成、さらにはデジタルヒューマンやシーンの生成といった、様々なAI活用CGカテゴリにおいて、実践的な技術が発表された。

    今後のグラフィックAI研究開発の方向性のひとつとして、既存実写映画に匹敵する長編AI生成動画の制作環境の実現が指摘できる。この目標を達成するためには、動画生成やデジタルヒューマン生成のような既存のAI技術の、高度な統合あるいは融合が求められるだろう。

    TEXT_吉本幸記 / Kouki Yoshimoto
    EDIT_小村仁美 / Hitomi Komura(CGWORLD)