visible / hidden / re-visible

「人間の演奏をAIが解釈して共演する(visible)。 そこには人間同士ではない別の音楽的 コミュニケーションが発生する(hidden)。 またそのコミュニケーションはすべてデジタルデータであり、デジタルデータである以上『再解釈』が可能なものだ。 そのデータを音場として再生することで、観客に体験可能な形で現代のコミュニケーションの形を提示する(re-visible)」 というコンセプトで制作された音楽パフォーマンス作品。
人間と AI 双方が、相手の演奏を即興的に解釈して共演するパフォーマンス作品を制作。 偶然性と一回性を重んじるパフォーマンスの場で、音楽を共創する相手として AI を捉えることを試みました。 AI には、ピアノとギターのデュオを学習した Recurrent Neural Network を採用し、 相手の演奏に応じて MIDI データのリアルタイムに生成を行っています。その MIDI データによって、 自動ピアノに改造されたトイピアノを AI 自身が演奏しています。

演奏、作曲、システム開発/実装

Signal compose
(Hiroshi YAMATO, Yoshitaka OISHI, Kota TSUMAGARI, Ryo MORITA)

演奏歴

サウンドパフォーマンス・プラットフォーム 2019
(2019年2月9日•11日、愛知県芸術劇場小ホール)

メディア

YouTube(5 min. Ver.)
https://youtu.be/xKrVORX0fBw

YouTube(全編)
https://youtu.be/gBWJKOqyFmU

演奏および技術仕様

  • ステージ上には3人の演者(演奏者、AIオペレータ兼2chステレオミキシングオペレータ、OSCサウンドオペレータ 兼マルチオーディオミキサーオペレータ)によってパフォーマンスが行なわれる
  • 演奏者の音源を元に、AIが独自の解釈でトイピアノ、またはアナログシンセ サイザーを演奏する。同時に演奏者からAIへの信号の流れを使った、裏側で流れるパケット信号を元に音響合成を行う
  • 器楽、トイピアノ、またはアナログシンセサイザーはステレオ2chによる再生を行い、 パケット信号から生成される音響は天井の16chのスピーカーから再生される

音響操作概要

  • 3部構成からなる楽曲の各パートに合わせた音響を合成して再生
  • 合成にはマルチチャンネル用グラニュラーシンセシスを採用し専用プログラムをMaxで実装
  • 元となる音声は演奏に用いたトイピアノ、テーマを演奏したピアノの音色を利用
  • 2部ではこれらに加え通信データを ray.sniff~ で音響化したものも再生
  • 3部ではテーマとなる音声を即興演奏をしているAIトイピアノとギターに合わせて再生する

AIオペレータ概要

  • Midi自動演奏トイピアノの設計、製作
  • 演奏用のAIを RNN 方式を採用して設計、実装
  • 3部のパート毎に対応するAIモデルをロード、ギターと自身の出力を元に次の演奏を予測し、対応したMidiメッセージを出力しトイピアノを稼働させる

使用技術・ツール

ニューラルネットワーク / リアルタイム / Python / Max

  

演奏、作曲、システム開発/実装:Signal compose

関連記事

前の記事へ

小編成作品まとめ②

次の記事へ

“Living Together” OP・EDテーマ