GREE VR Studio LaboratoryはREALITYの研究開発部門で、メタバース時代のユーザー体験やXRライブエンターテインメント関連技術のR＆D、人材育成などに取り組んでいる。同ラボが実施する長期リサーチ系インターンシップの目的や成果についてディレクターの白井暁彦氏、元インターンの武政実玖氏、指導教官の床井浩平准教授に聞いた。

※本記事は月刊『CGWORLD + digital video』vol.293（2023年1月号）掲載の『メタバース開発者の卵が「自分は何者か」を発見する場所 GREE VR Studio Laboratory リサーチ系インターンシップ』を再編集したものです。

information

interviewee

研究成果を国際会議で発表する欧米型長期インターンシップ

－GREE VR Studio Laboratoryのインターンシップはどういう経緯で始まったのですか？

白井暁彦氏（以下、白井）：僕がラボを立ち上げたのは2018年6月で、その直後から東京工業大学のグローバルリーダー教育院でVR関連の研究を行なっていた修士・博士の学生をインターンとして受け入れ始めました。研究成果を国際会議で発表する、GoogleやMicrosoftが実施しているような欧米型長期インターンシップを目標ラインとして設定しました。実際、SIGGRAPH、Laval Virtual、Cyberworldsなどの国際会議で注目される研究を行なっています。技術論文だけでなくSIGGRAPH 2022のBirds of a Featherでは、元インターンのリュドミラ・ブレディキーナさんらと一緒に、日本におけるアバターの文化や技術に関するパネルトークを行いました。

－「長期」というのは、どのくらいですか？

白井：平日の9:30〜18:30（休憩1時間）、週3日程度、3ヶ月以上でお願いしていますが、有望な人には長くいてほしいと思っていて、3年近く所属していた人もいます。当ラボのインターンにはきちんと時給をお支払いしているので、奨学金を出すような意味合いもあるのです。ほかにも、グリーの社員と同じ扱いで、研修や社内イベントへの参加、特許出願、ブログ執筆、社外向けのYouTube番組制作、カンファレンス登壇などの機会を提供しています。

－企業紹介や採用を目的とした短期インターンシップとは内容が全然ちがいますね。

白井：グリーグループでは「GREE Camp」「GREE Jobs」という新卒学生向けのインターンシップも別途実施しています。当ラボのインターンシップではメタバース時代の研究開発を推進する才能を募集しており、メタバース分野のR＆Dと、応募者の研究テーマの方向性が合うかどうかを重視しています。加えて、グリーやREALITYのカルチャーとの相性も大事だと思います。

基礎を修め、その上に企画や実装を乗せるプロセスを経験してほしい

－床井先生はご自身が大学4年生だった時代に東洋現像所（現・IMAGICA Lab.）でインターンシップを経験していますね。指導教官の立場から見たとき、学生がインターンシップに参加することのメリットは何だと思いますか？

床井浩平氏（以下、床井）：1番大きなメリットは、志望分野の現場を経験できることです。だからこそ、ある程度の期間、現場の仕事を手伝うかたちで参加することがすごく重要だと考えています。もうひとつのメリットは自分の立ち位置を理解できることです。特に私が所属する和歌山大学の学生の多くは、自身の研究室の同級生や先輩との比較でしか自分の立ち位置を確認できません。東京などの大都市の企業のインターンシップに参加すると、様々な大学の学生や、雲の上のような存在のハイレベルなエンジニアに出会えるので、自分のレベルを客観視できるようになります。自分と相手の実力差を知ってショックを受けることもありますが、そんな中でも自分にも役割があって、雲の上の存在へとつながる道筋があることも見え始めるんです。自分のキャリアパスを築くとき、その経験がすごく役立つと思います。

－GREE VR Studio Laboratoryのインターンシップなら、それらのメリットを享受できそうですね。一方で、デメリットを感じることはありますか？

床井：大学では基礎研究を重視しますが、企業の場合は、基礎をすっ飛ばして最先端のアプリケーション開発に注力しているところも少なくありません。例えばパイプラインのインハウスツールの操作を学ぶことに終始しているインターンシップだと、学生の視野が広がらないし、基礎を軽視するきっかけにもなりかねません。そうではなく、ちゃんと基礎を修め、その上に企画や実装を乗せるプロセスを経験してほしいのです。社会の中での企業と学生の位置づけまで視野に入れて、意図をもってカリキュラムを設計している企業はすごくありがたいと思います。

－武政さんがGREE VR Studio Laboratoryのインターンシップに参加する際には、先方からのカリキュラムの提示はありましたか？

床井：なかったです（笑）。武政さんの場合は、私の「良い子おるんやけどなあ」というFacebookへの投稿に白井先生が「紹介してくださいよ」と反応してきて、修士1年の7月頃にオンライン面談をすることになったんです。白井先生はかつて大学教員をなさっていたので、全てご承知だろうと思っていて、あんまり心配しなかったですね。ただ、武政さんのスキルと、白井先生がやらせようとしていることがマッチングしているとは思えなくて、「そんな難しいこと、無理じゃないかな？」という心配はしていました。基礎的なプログラミング力は備わっていましたが、アプリケーションの実装やデモ映像の制作は未経験だったんです。それでも自分で学習する力は備わっていたので、お客さん扱いされることなく鍛えていただけたように思います。

－習っていないことでも自分で学習できる人だったから、成果を出せたわけですね。そもそも武政さんは、なぜ床井先生の研究室に所属しようと思ったのですか？

武政実玖氏（以下、武政）：学部時代からVR・AR分野に興味があったものの、将来の方向性はあまり明確に決まっていませんでした。それでもCGに関連する分野なら床井先生の研究室で学ぶのが良いだろうと思って、学部3年次に配属を希望しました。そのまま修士課程に進学し、修士の1〜2年にかけての11ヶ月間、リモートでインターンシップに参加しました。

白井：武政さんが当ラボの面談を受けたタイミングは修士1年としては遅い方だったのですが、ほかのインターンとの足並みをギリギリで揃えることができました。欲を言えば、修士1年の4〜5月には行き先を探っておくのが理想的だったと思います。当ラボには海外からのインターンシップの申し込みもかなり来ていて、コロナ禍以降はリモートでの参加にシフトしていたのです。だったら関西圏からのリモート参加も問題ないだろうと挑戦した次第です。武政さんが当ラボに物理出社したのは最初・途中・最後の3回だけで、それ以外は全てリモート参加でした。「学業に専念したい」という本人の希望を受け入れ、今年の6月にインターンシップを終了しました。

－床井先生の研究室の学生は、全員どこかのインターンシップに参加するのでしょうか？

床井：参加したりしなかったりで、人によります。そもそも関西圏の企業でCG分野のインターンシップを受け入れているところは少ないのです。武政さんのようなリモートでの長期インターンシップは初めてのケースでした。

白井：首都圏でも、通えることを前提にしている企業が多いと思います。

デモ映像『Meta Dreamers - UXDev by GREE VR Studio Laboratory - ツユハナビ ft.菜那』のモーションキャプチャの様子

大学での研究とのスピード感のちがいに戸惑った

－インターンシップ期間中は、大学での研究とインターンとしての活動を併走させることになるのでしょうか？

白井：そうなのですが、常に学業を最優先にしてほしいと全員にお願いしています。学業に支障が出るような事態は避けたいので「大学のゼミで宿題が出たりして忙しくなったら、相談してください」と伝えていますね。

武政：ラボへの移動時間が発生しなかったので、ゼミの合間にインターンシップへ参加したりして、時間をやりくりしました。

－修士論文のテーマと、インターンシップの研究テーマは重なっていましたか？

武政：修士論文ではAR分野を扱っており、インターンシップでは「AI Fusion」というバーチャル演奏技術の研究に携わったので、アウトプットとしては重なっていません。

白井：武政さんの場合は本人の意志で両者を切り分けていますが、多少オーバーラップさせる人もいます。

－武政さんがインターンシップに参加して、「AI Fusion」を研究するようになるまでの経緯を教えていただけますか？

白井：参加直後は武政さんの大学での研究成果をiOSや「REALITY」（REALITYが提供するスマートフォン向けメタバース）上で動かせないか検討してもらったのですが、良い結果が出ませんでした。その後、「REALITY」のユーザーがやりそうなことで、なおかつ1番難度の高い楽曲演奏表現の研究に挑戦しようという話になりました。

武政：私にはピアノの経験があったので、ピアノ演奏のための指トラッキングの試作などを経て、2022年のお正月明けくらいに研究の方向性が定まりました。

－「REALITY」のユーザーに楽しんでもらえること、という前提条件があったのですか？

白井：そんな軽いものではなく、当ラボでは「REALITY」の現在のユーザー体験の延長線上にある、日本を代表するような高度なメタバース技術を開発するという目標を設定しています。「ちょっと面白いものをつくってやろう」くらいの気持ちだと、「REALITY」の開発者たちに認識されることすらないでしょうね（笑）

－それは怖い（笑）。インターンは武政さん以外にもいたと思いますが、各々に個別の研究テーマを割り振ったのでしょうか？

白井：そうです。触覚の研究や、音響の研究をしている人もいます。最初のうちは完全に独立したガジェットをつくったりもしますが、最終的には各々の研究が「REALITY」とどうつながるかまで設計していただきます。

武政：「AI Fusion」のデモ映像も5人のインターンの研究を集合したものになっています。私が担当したのは、Standard MIDI Fileの統計的コード判定によって楽器を鳴らす運指（指や腕のアニメーション）を自動生成する技術の研究です。それ以外の部分、例えば、運指と、全身動作、顔の表情のデータのブレンドは別のインターンが担当しています。

白井：3ヶ月に1回のペースでデモ映像を制作しており、その中に各インターンの最新の研究成果を組み込んでいるのです。

－武政さんが「AI Fusion」の研究を進めるにあたり、大変だったことは何ですか？

武政：大変だったことは山ほどありました。床井先生が心配していたように私は基礎的なプログラミングができる程度のレベルで参加したので、Unityの操作やアニメーションの生成など、多くの知識と技術を学習する必要がありました。それから1日8時間という限られた時間の中で一定の成果を出すことを求められたので、大学での研究とのスピード感のちがいにも戸惑いました。

白井：武政さんは丁寧にやりすぎる傾向があって、そういう人は8時間でできる最低ラインまでハードルを下げて、どんどん縮んでいってしまいがちなのです。だからストレッチゴールを設定して、毎日ストレッチしてもらいました。その結果、武政さんが急に自信家になる瞬間もありました（笑）。例えばピアノの運指の自動生成は武政さんが「できます！」と言い張ったので、「じゃあ、2週間でやってください」と期限を設定しました。結果、かたちになるまでに6週間くらいかかって、それでも自然な動作は実現できませんでした。本人はすごく悔しかったと思いますが、世界最先端の高度な挑戦をするときには、引き際の見極めもとても大事です。

「AI Fusion」のモジュール構成

「AI Fusion」はAIによるアシストとアバター奏者の協調によるリアルタイムの楽曲演奏表現を目的とする技術で、そのモジュール構成には3つのモーション生成ソースが存在する。1つめは統計的コード判定（ドラムはリズム判定）による運指生成で、楽器を鳴らす指や腕のアニメーションを自動生成する。2つめはモーションキャプチャやコンピュータビジョンで収録した全身動作のデータで、頭、首、脚などのアニメーション生成に用いる。3つめはスマートフォンやコンピュータビジョンで収録した顔の表情のデータで、フェイシャルアニメーション生成に用いる。本研究では「REALITY」で利用できるアバターにこれらの生成データをブレンドして適用することで、4種類の楽器（エレキギター、エレキベース、ドラム、ピアノ）の演奏表現を主軸とするミュージックビデオ風デモ映像を実現した。ドラム演奏の技術解説映像も公開されている。なお、「AI Fusion」を活用したメタバース分野のR＆DはCross-platforming “School life metaverse” user experienceと題した論文にまとめられ、SIGGRAPH Asia 2022のPostersに採択された。本論文は武政氏を含む5人のインターンと白井氏の共著となっている。

自分なりの解釈や判断を求められ「まさに仕事」という感じだった

武政：最終的には「モーションキャプチャ収録が難しい楽器演奏時の指の細かいアニメーションの生成をアシストする技術の開発」というゴールを設定しました。エレキギター、エレキベース、ドラムの演奏はある程度かたちになりましたが、ピアノは弦楽器と打楽器の両方の要素を有しているので難度が高く、多くの課題が残りました。

－タフな環境で揉まれましたね。

白井：そうですね。ただ、同時にすごく楽しそうでもありました。一連の経験を通して、「自分は何者か」を発見し、将来の道筋を見つけてくれたんじゃないかなと思います。

武政：楽しかったです！ イッパイイッパイのときもありましがが、大学では経験できないことだらけだったので全てが刺激的でした。

－インターンシップ終了後、そのままグリーやREALITYに就職するケースもありえますか？

白井：ありえます。武政さんもグリーに就職するかどうか悩んでいた時期がありましたが、別のITサービス企業の短期インターンシップを経て、システムエンジニアとしてその企業に就職する道を選びました。でも、そう遠くない未来にメタバースの共同研究をすることになるかもしれないと思っています。

武政：短期インターンシップの方は、いくつかのチームに分かれて1週間でアプリの企画から実装、プレゼンまでを行うハッカソンのような形式でした。そちらと比較するとGREE VR Studio Laboratoryのインターンシップは自分なりの解釈や判断を求められる部分が多く「まさに仕事」という感じでした。

－インターンシップが終了した人の研究は、誰かが引き継ぐのでしょうか？

白井：私が引き取って、論文化したり、知財化したり、次のインターンにツールとして渡したりします。その前に、インターンを終了する人には引き継ぎのためのドキュメントを書いてもらったり、研究内容の説明会を実施してもらったりします。

－床井先生から見た武政さんは、インターンシップに参加する前と後とで、何らかの変化がありましたか？

床井：生意気になりました。

－（笑）。最高です。

床井：以前からコツコツと学習や研究をする人ではあったのですが、気が弱そうで、頼りない感じだったのです。インターンシップを経たことでちょっと生意気になった気がします。

白井：20代の後半くらいまでは、そういう姿勢で良いと思いますよ。しずしずと人の言うことを聞く姿勢に終始していると、潰れてしまいますから（笑）

『Meta Dreamers - UXDev by GREE VR Studio Laboratory - ツユハナビ ft.菜那』の完成映像

information

詳細・ご購入はこちらから