近年、さまざまな分野でAIの活用が進んでいます。音楽制作の場面でもAIが活用されるケースは増えており、Soundmainが提供するブラウザベースのDAW「Soundmain Studio」に搭載された音源分離機能や歌声合成機能のほか、作曲支援やサンプルの分類や自動生成などその活用例は多岐にわたります。
ソニーコンピュータサイエンス研究所（以下、ソニーCSL）が開発する「Flow Machines」も、そんなAIを活用した音楽制作ツールのひとつです。
「Flow Machines」は、もともとソニーCSLのパリオフィスで20年近い期間かけて研究されてきた技術を元にしています。2016年に発表されたビートルズ風の楽曲「Daddy’s Car」はAIが機械学習し作曲した音楽として、当時大きな話題になりました。
当時はAIがどこまで作曲できるかは未知数だったこともあり、またボタンひとつで自動で作曲できるイメージもあり、一部ではAIが人間の作曲家に取って代わられるという懸念の声もありました。しかし現在のFlow Machinesに至るまで変わらない本プロジェクトの基盤技術は、楽曲データベースと作曲ツールと波形接続型音声合成エンジンから成り、作曲家が楽曲データベースに登録された多様なジャンルのリードシート（楽曲の旋律とコードと歌詞だけを抜き出した楽譜）からスタイル、あるいは複数の楽曲を選び、作曲ツールで新たなリードシートを作成して、波形接続型音声合成エンジンで編曲するというものです。
つまり、実際の採用部分を取捨選択するのはユーザーであり、AIはあくまで作曲の提案をするものなんです。
元々ソニーCSLの開発チームには、アーティストや音楽クリエイターがより良い音楽を作れるようにすることや、幅広い層の人が作曲できるようになるためのツールとしてAIを提供していきたいという狙いがありました。作曲家に取って代わるものではなく、クリエイターサポートのためのAIを作っていくという姿勢をより鮮明に打ち出すべく、ソニーミュージックとの協業を開始するとともに、2018年頃からはFlow Machinesの研究開発をパリから東京へと移管し、実際に音楽クリエイターが使いやすいプラグインとして「Flow Machines Professional」を開発。2021年にはiOS向けAIアシスト楽曲制作アプリ「Flow Machines Mobile」がリリースされました。
今回はそんなFlow Machinesとはどういったものなのかを深掘りすべく、ソニーCSLのFlow Machines開発チームでプロジェクトエンジニアを務める岸治彦さん、プロモーション担当の松阪郁子さんにインタビュー。今後のSoundmain Studioとの連携可能性についても伺いました。
あくまでクリエイターが主役の「AIアシスト楽曲制作ツール」
ーーFlow Machinesには、現在どのような機能が搭載されているのでしょうか？
松阪 主な機能としてはメロディを作る機能が挙げられます。開発チームでは以前、Flow Machinesに誰もが知っている曲、たとえばビートルズの曲を機械学習させて、「それらしい」曲を作るという実験を行っていました（編註：「Daddy’s Car」のこと）。現在のFlow Machinesは、どういった学習データを使えばクリエイターの意図に沿ったメロディをAIに作曲させることができるかというところに比重を置いており、それを実現するために「スタイルパレット」という概念を作りました。
スタイルパレットはFlow Machinesの学習データのことです。1つのスタイルパレットは、8小節のコード進行に合わせた10個のメロディで構成されています。Flow Machinesでは「POP」「EDM」など、音楽ジャンルによって異なるメロディとコード進行の特徴をとらえた200種類以上のスタイルパレットを展開しており、それぞれが学習した楽曲データに基づいて新しいメロディを提案してくれます。またユーザーがFlow Machinesに自分の作ったメロディとコード進行を学習させてオリジナルのスタイルパレットを作成することも可能です。
岸 ほかにもFlow Machinesには、AIが提案するメロディの長さ・複雑さや、コードとメロディのマッチ度を調整するパラメータ機能も搭載しています。加えて、ユーザーがAIから提案されたメロディの中から気に入ったものを選んでお気に入り保存していける機能や、他の小節を維持したまま特定の小節だけを再コンポーズする機能などもあります。
松阪 MIDI書き出し機能も搭載されているため、コンポーズされたメロディを書き出してDAWや別の作曲アプリにドラッグ＆ドロップで移すことで、すぐに自分の楽曲に取り込むことができます。
岸 提案されたメロディについては、そのまま使うのはもちろん、Flow Machinesのアプリ上で編集することも可能です。ブラッシュアップしたメロディを保存しておけば、後でそのMIDIデータを書き出し、DAWで再編集することでより自分好みのメロディにすることもできるので、アイデアのメモ帳的に使うこともできます。
ーーFlow Machinesは、“最先端の機械学習技術を使って、クリエイターと共に新しい音楽を生成することに取り組む”プロジェクトとのことですが、開発側としてはFlow Machinesを音楽クリエイターにとってどういった存在として位置付けているのでしょうか？
岸 AI作曲ツールというと、全てAIが曲を作ってしまうイメージがあり、将来的にAIが音楽クリエイターに取って代わられるのではないかという危機感を持つ人もいるかと思います。しかし明確にしたいことは、Flow Machinesはあくまで音楽クリエイターの作曲を支援するためのツールという位置付けであることです。たとえば、クリエイターの皆さんが作曲に詰まった時にFlow Machinesを使っていただいて、そこで得られた新しいアイデアを元に作曲を続けていく……といった使われ方を想定してのものです。あくまでクリエイターの皆さんが主役で、それを助けていくのがAIという考え方のため、Flow Machinesを“AIアシスト楽曲制作ツール”という呼び方にしています。
松阪 ちなみにソニーCSLのAI音楽チームでは、他にも同様の考え方に基づいたツールを開発しています。たとえば、ベースのフレーズやドラムパターンが浮かびにくかったり、より個性的な音作りをしてみたいというニーズを持った方もいらっしゃいますよね。我々としても、AIが音楽制作においてサポートできるのは作曲以外の領域にもいろいろとあると考えており、ベースのフレーズを生成する「BassNet」やドラムのリズムパターンを生成する「DrumNet」、ドラム音を生成する「DrumGAN」といったツールをそれぞれ開発しています。一般の方でも使えるアプリのような形ではまだ公開していませんが、ソニーミュージック所属のアーティストに試しに使ってもらうなど、ソニーCSLの研究成果として発表しています。
「AIが生成したメロディ」の著作権的な扱いは？
ーー気になるのがFlow Machinesが作成したメロディの著作権についてです。元の学習データを作曲したアーティストとの関係など、どのように考えられているのでしょう？
岸 機械学習によって作られたメロディの断片には一般的に著作権がないと言われていますが、率直に言えばグレーゾーンに属します。たとえば、AIの学習データにビートルズの楽曲を利用した場合、もしかしたら原曲と似たメロディが生成されてしまう可能性もある。そういうこともあって、学習データであるスタイルパレットに用いる全ての楽曲はソニーCSLで内製しています。ソニーミュージック所属のアーティストに学習データの制作をいただく場合は権利ごと買い取る形にしています。
ーーでは、Flow Machinesに元々内蔵されているスタイルパレットを使って作られたメロディは著作権フリーということでしょうか？
岸 そうですね。利用規約上もFlow Machinesで作られたメロディの著作権を、弊社や学習データとなる楽曲の制作者が主張しないことを謳っています。ただし、先ほども申し上げた通りユーザーが自分でFlow Machinesに学習させることもできますので、もし自分で商用音楽を機械学習させたスタイルパレットが原曲とよく似たフレーズを作ってしまった場合は使わないようにするなど、ユーザー側でも著作権違反には注意していただければと思います。なおそういったものができてしまった場合でも、非商用のものとして、個人で楽しむ分には問題はありません。
ーーFlow Machinesでは、クリエイターが自分で作ったメロディを学習させて、オリジナルのスタイルパレットを作成することもできます。機械学習を効率的に行わせる方法などはあるのでしょうか？
岸 Flow Machinesのスタイルパレットのデータ制作を、ソニーミュージックに所属されているアーティストに委託する場合、8小節のフレーズを10個用意してもらうのでは無く、まず曲全体のメロディを作っていただき後からソニーCSLにて8小節毎のフレーズを切り出して利用する場合もあります。
松阪 以前は「4小節、8小節のフレーズを10個ずつ3セット分お願いします」という形で発注して、学習データの元ネタを直接作っていただいていました。でも、そのやり方だと皆さん、最後のほうはアイデアが出てこなくなってきて、かなり大変な作業になってしまうことがあります。作業を続ける中で、最初から曲になっていると流れでアイデアも出てくるということがわかってきて、ひとつの長尺の曲から切り出していく方法に変えたんです。
ーーそのように生成されたフレーズは、楽曲のどのような場所に使えば効果的なのでしょうか？
岸 一概には言えませんが、たとえば「J-POP」というスタイルパレットの場合、学習データとして作っておいた曲をAメロ、Bメロ、サビに切り分けて、そこからさらに「（J-POP）A・B・C」という3種類のサウンドパレットに展開しています。Aメロを作るのがどうしても苦手だから、Aメロ専用のスタイルパレットを作ってほしいというユーザーからの要望もあったりするので、需要はあると思いますね。
では、たとえば、ユーザーがジャズのスタイルパレットを使って、いくつも展開が変わるような曲を作りたい場合は、どのようにスタイルパレットを使っていくと良いのでしょうか？
岸 それも本当にクリエイターの皆さん次第というところですが、たとえば開発に協力してくれたクリエイターの中には、最初にジャズのスタイルパレットを使ってフレーズを作り、次にJ-POPのスタイルパレットを使うといった、我々が想定もしていなかった使い方をしてくれた方もいらっしゃいます。
何か作曲のアイデアが浮かんだらICレコーダーに録音するなどして常日頃からアイデアをストックしておき、それを後でつなげるといった形で作曲してきたクリエイターは多いと思います。Flow Machinesがアシストするのは、そういった作曲の仕方と感覚的には近いと言えるかもしれません。
AIアシストは楽曲制作においてより身近なものに
ーーこれまでにクリエイターの方から受けたフィードバックの中で印象深かったものにはどんなものがありますか？
岸 口を揃えて言われることは、“自分の発想にないものが生まれる”といったことや、“作曲をアシストしてくれる存在”などですね。
先ほどご説明したお気に入り保存機能や作曲パラメータによる調整機能、特定の小節だけを再コンポーズする機能もクリエイターの皆さんのフィードバックを受ける形で追加したものなので、今後もフィードバックをいただきながら随時改善を図っていきます。
松阪 ちなみに本日同席しているリサーチアシスタントのyoncaさんはシンガーで、Flow Machinesを使って楽曲制作に初めてトライしてくださいました。
yonca 自分は楽器も弾けないので、トップラインができた後にコードを当てていくアプローチで作ることが多いのですが、1曲完成させるまでに当てはめたコードが正しいか人に聞いて確認しなければいけなかったり、すごく時間がかかってしまいます。Flow Machinesの場合は先にコード進行が決まるので、それにあわせてメロディを作るという順序で曲を作ることができる。時間的なロスが少なくなるメリットは大きいですね。
それと1人で作曲していると曲がどうしてもフラットな展開になりがちです。でも、たとえば先にFlow Machinesでサビだけ作ってからAメロとBメロを自分で作り変えると、フラットな展開になりにくいですし、かつ自分のカラーも出しやすいと感じます。
↑yoncaさんが執筆したFlow MachinesとSoundmain Studioを併用した楽曲制作の体験記（Flow Machines公式サイト）
ーーFlow MachinesにはiOSアプリ版とMac版があります。先ほどメロディのMIDIデータを書き出してDAWに移行することができるという話がありましたが、現在、どのようなソフトと連携しているのでしょうか？
岸 Mac版のFlow Machinesアプリのシステム要件はmacOS Big Sur 11.0以上となります。Flow Machinesで制作したメロディーとコード進行は、MIDIファイルとして出力可能ですので、Cubase、Studio One、Ableton Live、Digital Performer、Logic Proなどの主要DAWにMIDIファイルを取り込んで利用いただくことが可能です。
また、11月下旬にはオーディオファイルによる書き出しもできるようになります。これによりSoundmain Studioとの連携もしやすくなりますので、ぜひこの記事を読んでいるユーザーの皆さんには楽しみにしていただければと思います。
ーー今後どんな音楽クリエイターにFlow Machinesを利用してもらいたいですか？
岸 Flow Machinesは、以前は「Flow Machines Professional」という名称でプロの音楽クリエイター向けのツールとして開発していました。ただ、実際に展開してみると自分で作曲できるプロよりは、yoncaさんのようにシンガーや演奏家としてすでに音楽に関わっている方や、これから作曲を始めてみたいビギナーの方のニーズによりマッチしているのではないかと考えるようになりました。
ブラウザベースで利用でき、作曲体験を手軽に始められるSoundmain Studioとの相性は、その意味でも非常に良いと考えています。Soundmain StudioにはAIアシスト機能として歌声合成がすでに搭載されていますが、具体的には同様の形で「メロディメイカーを開く」といったボタンを設置し、それをクリックするとFlow Machinesが立ち上がり、メロディを自動で生成できるようにするといった展開の仕方を考えています。
その一歩として、近いところでは新作スタイルパレットの「Pop Funk」「House Spark」をリリースしました。こちらはSoundmain内のサウンドパック「Pop Funk」「House Spark」と合わせて使っていただくことを想定していて、同パックの音を使って作った楽曲を学習データとして作成したスタイルパレットということになります。ぜひ併用してみていただければ幸いです。
また、先ほども申し上げた通りソニーCSLのAI音楽チームではFlow Machines以外にもさまざまなAIを活用したツールの開発を進めており、すでにブラウザベースで使用できるものもいくつかございます。遠くない将来、それらもSoundmain Studioに実装することができると良いなと思っています。
Flow Machines 公式サイト
https://www.flow-machines.com/
取材・文：Jun Fukunaga
