体験者、そして空間自体も巻き込む"パフォーマンス"を目指す～インタラクティブアート『I am ☆ Star with Drum ☆ Star』 | 特集

リアリティと機能性を両立させる

日常のメタファーとして溶け込む楽器のデザイン

『I am ☆ Star』ではセンシングによる映像と音楽のインタラクションが必須となったため、まずは髙橋氏が大学時代以来のプログラミングを再開。電子工作のためのArduino、そして映像および音楽のコーディングのためのUnityの学習にイチから取り組んだという。

昨夏にデビューしたホウキギターだが、第1世代は市販のパイプ材とMDFで制作したが、"ありふれたホウキ"の形状を実現するまでには至らなかった。そこで今年5月に開催された「SICF19」（第19回スパイラル・インディペンデント・クリエーターズ・フェスティバル）C日程で初披露した第2世代では、モシ村氏がボディ部分をFusion 360でモデリングしたものをXYZ Printing「daVinci Pro 1.0」で3Dプリント、さらに基板をArduino UnoからPro Microに変更し再設計したことも相まって、大幅な小型化・軽量化に成功した。髙橋氏はセンサーの再チューニングを行い、タッチセンサーをホウキの柄全体に広げ、プログラムをイチから書き直すことで第1世代とはちがう、より楽器らしい演奏感を実現した。

映像素材は、3ds Maxで三角形などのプリミティブなベースモデルを作成したものをFBXで書き出し、Unity側から出力するしくみ。演奏の盛り上がりに応じて映像自体も激しくなるヒートアップパラメータを追加実装し、音階で映像の色味が変わるしくみはMIDIで制御を行なっている。演奏調整の勘所は「弾き込めば楽器として成立する」「初見でも楽しく演奏できる」という2点。「体験された方から『周りに観客が出てほしい』、『採点システムを追加して』といった意見をいただくこともあるのですが、それでは単なるゲームになってしまう。周りの人たちとの関係性が作品を通して変わっていくようなものをつくりたいんです」（髙橋氏）。なお、TETSUJINでは『I am ☆ Star』シリーズのコンセプトや制作の動機を広く公開しているが、これについては「自分たちはアカデミックな領域にはいないし、デバイス開発も手段であって目的ではありません。自分たちの領域、そして新たなジャンルを確立させる必要があるという思いから、積極的に情報を発信しています。2人でコンセプトを考えているときも、後の展開を考えてイベントやアワード向けに企画書を用意することも心がけています」と説明してくれた。2人はアーティストを"その人の生き様を表現する人、手先の器用さではなく精神性が伴うもの"と定義するが、本シリーズはまさに挫折を克服した髙橋氏の生き様、それを精神的にも支えたモシ村氏の想いが反映された作品のように感じられる。ひき続き、TETSUJINのアーティスト活動に注目したい。

操作方法＆インターフェイス

モシ村氏が描いた操作マニュアル。漫画の形式でわかりやすい

『I am ☆ Star』のシステム構成を図示したもの。ホウキギターを弾くと、柄を握る位置・圧力・傾きの値がMIDIデータに変換され、無線でコンピュータへ送られるとギター音源プログラムと、映像照明プログラムが動作する。コード・スケール・色聴理論をベースにした音と光の演奏アルゴリズムを搭載することで、誰でも簡単に気持ち良くホウキギターならではの演奏が可能に。さらに、上達すれば思い通りに曲が弾けるようになるという

3Dプリティングの活用

ホウキギターはCADで設計し、ABS樹脂で3Dプリントしたものと、塩ビパイプ・赤シダで制作。柄に感圧センサー、ボディに3軸加速度センサー＆赤外線センサーを搭載。いずれもArduinoで組み込んでいる

第1世代。感圧センサーが小さく、ペンタトニック5音でのアドリブ演奏特化型になっている
第2世代。ネック全体にまでセンサーが拡張され、4オクターブを自由に演奏可能に。軽量化され、見た目としてもホウキらしさが高まった

第2世代では、ボディ部分の制作に3Dプリティングが用いられた

Fusion 360にて、内部の回路設計を同時に進めながらモデリング。ケーブルの取り回しなどCG上では測りきれない部分も多いため、何度も実際にプリントアウトすることでデザイン的な追い込みと内部の小型化が格段に速くなったという。出力時間は全パーツの合計で約30時間とのこと
効率的にホウキの毛をしっかり留め、インターフェイスに干渉せずにメンテナンスできる構造を設計

XYZ Printing「daVinci 1.0 Pro」で立体出力したパーツ

Arduinoによる電子工作

ホウキギターの電子工作

ボディ内部に組み込みセンサーの挙動をテスト中。ギターの奏法を模しながらも、ホウキギターとしての奏法とは何かを追求し、センサーの値から音に変換するアルゴリズムを組んでいく。センサーの挙動を体感とグラフで確認しながら調整

気持ちの良い演奏感が得られるまでミリ秒単位で挙動を詰めていく。「Arduinoの言語はUnityのC#と似ていたので、どちらも初めて使う身としては相乗的に学習できたのが良かったです」（髙橋氏）

実在するホウキのサイズに近づけるべく、狭い内部にどう回路を埋め込むか試行錯誤。また実機の重さや肌触りに合わせてパラメータをチューニングしないとベストな弾き心地にならないため、形状を微調整するたびにプログラムを更新
柄の先端に仕込まれたスケールの切り替えスイッチ。ホームセンターで手に入る椅子のゴム脚や導電管などを利用。3Dプリンタと適材適所で使い分けることで強度と造形のバランスを保っている

空間を演出するビジュアルエフェクト

Unityによる映像照明のコーディング

ホウキギターを弾く音程、強さ、ホウキギターの角度によってMIDIでグラフィックが描画されるようC#でコーディング。ひとつひとつは単純なプログラムが重なり合うことで彩りを放つ
演奏に映像がついてくるように、弾き方や、弾く熱量によってパラメータが変化して映像に反映される。音が激しく歪むと画面が歪んだり、ゆっくり弾いているときはパーティクルの動きもおとなしい。派手ではっきりわかる変化と、気づかないくらいのさりげない変化を織り交ぜている