シンガポールのSkywork AIは8月12日(火)、オープンソース(MITライセンス)の世界モデル「Matrix-Game 2.0」をリリースした。マウスやキーボード操作に反応しながら、25fpsの長尺動画をその場で生成する。コードとウエイトがGitHubHugging Faceで公開されている。

Matrix-Game 2.0は、Unreal EngineとGTA5から約1,200時間分の膨大なインタラクティブ動画データを生成するスケーラブルなシステムを構築し、モデルの学習に利用。テキスト条件を分岐させず、視覚情報とアクション入力のみを基盤として次フレームを予測するシンプルかつ強力な構造を採用し、映像の一貫性や操作追従性を高めている。シーンの生成スタイルもMinecraftTempleRunGTA5など多様。

▲多様なスタイルのゲームシーンを生成可能
▲Minecraftタイプのシーン
▲GTA5タイプのシーン

従来のインタラクティブ動画生成は、ユーザー操作に対して映像が応答するまでに双方向アテンションや多ステップ推論を要し、その応答遅延が課題となっていた。Matrix-Game 2.0はこれを解決するため、少ステップ蒸留(few-step distillation)と自己回帰拡散(autoregressive diffusion)のハイブリッド方式を導入。これにより、ユーザーの入力がほぼ即時に映像に反映され、25fpsのストリーミング生成が可能となったという。


Matrix-Game 2.0はまた、ユーザーのキーボード操作やマウス移動をフレーム単位で条件に組み込み、「前進」「回転」「視点移動」といった動作を映像に即座に反映できる入力制御モジュール「アクション注入モジュール」を採用。従来の一方向的な映像生成に留まらない、インタラクティブで没入感の高い体験を可能にするとしている。

▲ベースモデルはWanXで、テキスト生成のブランチを削除し、アクション制御モジュールを追加することで開発。視覚情報とユーザーのアクションから次のフレームを予測する

■Matrix-Game 2.0: An Open-Source, Real-Time, and Streaming Interactive World Model(プロジェクトページ、英語)
https://matrix-game-v2.github.io/

■Matrix-Game 2.0(GitHub)
https://github.com/SkyworkAI/Matrix-Game/tree/main/Matrix-Game-2

■Matrix-Game 2.0(Hugging Face)
https://huggingface.co/Skywork/Matrix-Game-2.0

CGWORLD関連情報

●Googleの世界モデル「Genee 3」発表! テキストプロンプトからインタラクティブでプレイ可能な3D環境を生成、720p・24フレーム/秒

Google DeepMindが新しい世界モデル「Genie 3」を発表。テキストプロンプトからリアルタイムで操作可能な多様なインタラクティブ環境を生成できる汎用モデルで、720p・24フレーム/秒、数分間にわたる一貫性を維持できる。現在は一部の研究者やクリエイターを対象とした限定的な研究プレビューとして提供されている。
https://cgworld.jp/flashnews/01-202508-Google-Genee3.html

●テンセント、オープンソースの世界モデル「Hunyuan3D World Model 1.0」リリース! 文章や画像から没入型・インタラクティブな3Dワールドを生成

テンセントがオープンソースの世界モデル「Hunyuan3D World Model 1.0」をGitHubとHugging Faceで公開。テキストまたは画像からインタラクティブな3Dワールドを生成でき、USDZやGLB形式でのエクスポートが可能。日本では月間アクティブユーザー数が100万人を超えない限り、商用利用も行える。
https://cgworld.jp/flashnews/01-202508-HunyuanWorld.html

●世界初のAIネイティブUGCゲームエンジン「Mirage」発表! ユーザーがリアルタイムでワールドを生成してプレイ可能

Dynamics Lab AIが世界初となるAIネイティブのUGC(User-Generated Contents、ユーザー生成コンテンツ)ゲームエンジン「Mirage」を発表。AIワールドモデルにより、プレイヤーがリアルタイムでゲームのワールドをインタラクティブに生成し、プレイできる。現在は「研究プレビュー(Research Preview)」の段階だが、Webブラウザで動作する2種類のプレイアブルデモが公開されている。
https://cgworld.jp/flashnews/01-202507-Mirage.html