カーネギーメロン大学の研究チームは12月19日(木)、オープンソースの物理シミュレーションプラットフォーム「Genesis」を発表した。Genesisは、現実の43万倍のスピードで物理シミュレーションを実行できる、Pythonベースの軽量な設計の汎用物理エンジン。ロボット工学、エンボディドAI(Embodied AI、人型ロボットのような身体性のあるロボットのAIシステム)、フィジカルAI(物理空間で知的に動作するシステム)の分野における、高速なロボットトレーニングでの活用が期待されている。
また、Genesisは汎用フレームワークであることから、ロボット以外の対象、CGキャラクターの動きなどのデータ生成にも対応できるという。
Everything you love about generative models — now powered by real physics!
— Zhou Xian (@zhou_xian_) December 18, 2024
Announcing the Genesis project — after a 24-month large-scale research collaboration involving over 20 research labs — a generative physics engine able to generate 4D dynamical worlds powered by a physics… pic.twitter.com/4HRaTp5Gbs
Genesisプロジェクトを発表 —— 20以上の研究所が参加した24ヶ月の大規模な共同研究の結果、汎用ロボット工学と物理AIアプリケーションのために設計された物理シミュレーションプラットフォームによって、4Dの力学的世界を生成できる物理エンジンです。
Genesisの物理エンジンは100%Pythonで開発され、Isaac GymやMJXのような既存のGPUアクセラレーションスタックよりも10~80倍高速です。リアルタイムのシミュレーション速度より43万倍も速く、GeForce RTX 4090 1台で、現実世界に移植可能なロボットの運動方針をトレーニングするのに26秒しかかかりません。
Genesis物理エンジンとシミュレーションプラットフォームは完全にオープンソースです。また近い将来、私たちの汎用フレームワークへのアクセスを順次拡大していく予定です。
Genesisは、最先端の物理ソルバを幅広く統合した、統合シミュレーションフレームワークをゼロから実装しています。そこでは、最高レベルのリアリズムが存在する仮想領域で、物理世界全体のシミュレーションが可能です。
私たちは、上位レベルの生成フレームワークを活用して自律的に物理世界を創造する、普遍的なデータエンジンの構築を目指しています。そこには環境やカメラモーション、ロボットタスク提案、報酬関数、ロボットポリシー、キャラクターモーション、完全インタラクティブ3Dシーン、オープンワールド関節アセットなどといった様々なデータモードがあり、それらがロボット工学やフィジカルAI、その他のアプリケーション用の完全自動データを生成するのです。
Nvidia brought GPU acceleration to robotic simulation, speeding up simulation speed by more than one order of magnitude compared to CPU-based simulation. This brought numerous amazing robotic skills to life by leveraging large-scale GPU-parallelized simulation. Genesis pushes up… pic.twitter.com/w0zqatpAGT
— Zhou Xian (@zhou_xian_) December 18, 2024
NVIDIAはロボットシミュレーションにGPUアクセラレーションを導入し、CPUベースのシミュレーションより1桁以上高速化し、大規模なGPU並列化シミュレーションの活用で素晴らしいロボット技術を実現してきました。Genesisは、このスピードをさらに1桁押し上げます。しかも、シミュレーション精度の妥協はなしに、です。
Genesis supports simulating various types of physical phenomena. We developed from scratch a unified physics engine that integrates various SOTA physics solvers (MPM, SPH, FEM, Rigid Body, PBD, etc.), supporting simulation of a wide range of materials: rigid body, articulated… pic.twitter.com/PqhIWULKgp
— Zhou Xian (@zhou_xian_) December 18, 2024
Genesisは様々な物理現象のシミュレーションをサポートします。MPM、SPH、FEM、リジッドボディ、PBDなど、様々なSOTA物理ソルバを統合する統合物理エンジンをゼロから開発し、リジッドボディから多関節体、クロス、流体、煙、変形可能物、コンクリート、スチール、木材、ゴム、プラスチック、ロボットの筋肉など、幅広い材料のシミュレーションをサポートします。
Genesis is the first-ever platform providing comprehensive support for soft muscles and soft robot and their interaction with rigid robots. Genesis also ships with a URDF-like soft-robot configuration system.
— Zhou Xian (@zhou_xian_) December 18, 2024
4/n pic.twitter.com/CoHOHtEW8s
Genesisは、ソフトマッスルやソフトロボット、それらとリジッドロボットとのインタラクションを包括的にサポートする、史上初のプラットフォームです。URDFのようなソフトロボット設定システムも搭載しています。
Genesis's generative framework supports generating 3D and fully interactive scenes for training robotic skills
— Zhou Xian (@zhou_xian_) December 18, 2024
5/n pic.twitter.com/rrIcI1L2MR
Genesisの汎用フレームワークは、ロボットのスキルをトレーニングするために必要な、完全にインタラクティブな3Dシーンを生成できます。
Our generative agent autonomously proposes robotic tasks, design environments, write reward functions, and ultimately leading to automated generation of robotic policies.
— Zhou Xian (@zhou_xian_) December 18, 2024
6/n pic.twitter.com/MnuZvfjFKP
生成エージェントは自律的にロボットタスクを提案して環境を設計し、報酬関数を記述して、最終的にロボットポリシーの自動生成を行います。
Genesis's generative framework supports data generation beyond robotics, such as character motion:
— Zhou Xian (@zhou_xian_) December 18, 2024
7/n pic.twitter.com/ncXezvVMe8
Genesisの汎用フレームワークは、キャラクターの動きなど、ロボット工学以外のデータ生成にも対応しています。
Genesis's GPU parallellized IK solver is able to solve IK for 10,000 Franka arms simultaneously, under 2ms:
— Zhou Xian (@zhou_xian_) December 18, 2024
8/n pic.twitter.com/mwJUxJRlMh
GenesisのGPU並列化IKソルバは、1万本のフランカ・アームのIKを同時に2ms以下で解くことができます。
We support native non-convex collision handling:
— Zhou Xian (@zhou_xian_) December 18, 2024
9/n pic.twitter.com/XMk9YbyQS2
非凸面の衝突処理をネイティブでサポートします。
Genesisは物理的に正確な、触覚センシングシミュレーションモジュール(DiffTactile)をサポートします。これは将来のリリースでメインブランチに統合される予定です。
Finally, a cute interactive physical Tetris game made with Genesis :)
— Zhou Xian (@zhou_xian_) December 18, 2024
Thanks to all the amazing collaborators who together made everything possible over the last two years! There's no space here to @ every single one, but a huge kudos to the whole Genesis team!
We welcome… pic.twitter.com/xBrnwuLj4Q
そしてついに、Genesisでつくった、可愛いインタラクティブな物理ベースのテトリスゲームが登場しました。
■Genesisプロジェクトページ(英語)
https://genesis-world.readthedocs.io/en/latest/
■Genesis: A Generative and Universal Physics Engine for Robotics and Beyond(論文、英語)
https://genesis-embodied-ai.github.io/
■Genesis(GitHub)
CGWORLD関連情報
●Google、動画生成AI「Veo 2」を一般公開! 最大4K、物理学・人間の動き・表情のニュアンスを理解
Googleが動画生成AI「Veo 2」を一般公開。現実世界の物理学や人間の動き、表情のニュアンスを理解・表現でき、最大4K解像度、長さ数分まで対応する。Google Labs内「VideoFX」で利用できるが、現在は順番待ちリスト(Early Access Waitlist)への登録が必要となる。
https://cgworld.jp/flashnews/202412-Google-Veo2.html
●動画生成AIは1年半でここまで来た! Alex Patrascu氏が昨年制作のAIショートフィルムをOpenAI「Sora」のRemix機能でリマスター
AIを活用したコンテンツ制作を行うクリエイティブスタジオ、MASSIVE STUDIOの創業者のひとり、Alex Patrascu氏が、2023年7月末にRunway社・Gen-2を使用して制作した作品を、先日一般公開されたOpenAI社・SoraのRemix機能を用いてリマスターしたAIショートフィルム『Nexus: Hive Mind』を投稿した。
https://cgworld.jp/flashnews/202412-Patrascu-Sora-Film.html
●OpenAIの動画生成AI「Sora」一般公開! 有料プランで最大1080p・20秒の動画を月500本まで生成可能
OpenAI社が動画生成AI「Sora(ソラ)」をリリース。動画生成にあたってはプロンプトの編集が行えるだけでなく、生成した動画に対してRe-Cut、Remix、Blend、Loopという4種の編集ツールが利用できるほか、台本の作成と編集により生成動画の調節が可能な「Storyboard」機能も用意されている。
https://cgworld.jp/flashnews/202412-OpenAI-Sora.html