visible / hidden / re-visible
「人間の演奏をAIが解釈して共演する(visible)。 そこには人間同士ではない別の音楽的 コミュニケーションが発生する(hidden)。 またそのコミュニケーションはすべてデジタルデータであり、デジタルデータである以上『再解釈』が可能なものだ。 そのデータを音場として再生することで、観客に体験可能な形で現代のコミュニケーションの形を提示する(re-visible)」 というコンセプトで制作された音楽パフォーマンス作品。
人間と AI 双方が、相手の演奏を即興的に解釈して共演するパフォーマンス作品を制作。 偶然性と一回性を重んじるパフォーマンスの場で、音楽を共創する相手として AI を捉えることを試みました。 AI には、ピアノとギターのデュオを学習した Recurrent Neural Network を採用し、 相手の演奏に応じて MIDI データのリアルタイムに生成を行っています。その MIDI データによって、 自動ピアノに改造されたトイピアノを AI 自身が演奏しています。
演奏、作曲、システム開発/実装
Signal compose
(Hiroshi YAMATO, Yoshitaka OISHI, Kota TSUMAGARI, Ryo MORITA)
演奏歴
サウンドパフォーマンス・プラットフォーム 2019
(2019年2月9日•11日、愛知県芸術劇場小ホール)
メディア
YouTube(5 min. Ver.)
https://youtu.be/xKrVORX0fBw
YouTube(全編)
https://youtu.be/gBWJKOqyFmU
演奏および技術仕様
- ステージ上には3人の演者(演奏者、AIオペレータ兼2chステレオミキシングオペレータ、OSCサウンドオペレータ 兼マルチオーディオミキサーオペレータ)によってパフォーマンスが行なわれる
- 演奏者の音源を元に、AIが独自の解釈でトイピアノ、またはアナログシンセ サイザーを演奏する。同時に演奏者からAIへの信号の流れを使った、裏側で流れるパケット信号を元に音響合成を行う
- 器楽、トイピアノ、またはアナログシンセサイザーはステレオ2chによる再生を行い、 パケット信号から生成される音響は天井の16chのスピーカーから再生される
音響操作概要
- 3部構成からなる楽曲の各パートに合わせた音響を合成して再生
- 合成にはマルチチャンネル用グラニュラーシンセシスを採用し専用プログラムをMaxで実装
- 元となる音声は演奏に用いたトイピアノ、テーマを演奏したピアノの音色を利用
- 2部ではこれらに加え通信データを ray.sniff~ で音響化したものも再生
- 3部ではテーマとなる音声を即興演奏をしているAIトイピアノとギターに合わせて再生する
AIオペレータ概要
- Midi自動演奏トイピアノの設計、製作
- 演奏用のAIを RNN 方式を採用して設計、実装
- 3部のパート毎に対応するAIモデルをロード、ギターと自身の出力を元に次の演奏を予測し、対応したMidiメッセージを出力しトイピアノを稼働させる
使用技術・ツール
ニューラルネットワーク / リアルタイム / Python / Max
関連記事
-
Blog
これからのリベラルな音楽のためのアカデミー
-
Music
架空アニメ「魔法使いのオズ」Original Soundtrack
-
Blog
ORCΛでMIDI音源を鳴らす(IAC Busの場合)
-
Blog
続 ・ DSDWrite で作った音で演奏してみた
-
Blog
ORCΛのオペレーターまとめ
-
Blog
ORCΛのOperatorsを紐解いていく(V〜Zと*、#)
-
Blog
ORCΛのOperatorsを紐解いていく(Uとユークリッドリズム解説+Tips)
-
Blog
ORCΛのOperatorsを紐解いていく(Q〜Tまで)
-
Blog
“visible / hidden /re-visible”が YouFab Global Creative Awards 2019のファイナリストに選ばれました。
-
Blog
ORCΛのOperatorsを紐解いていく(M〜Pまで)