Music

　田村研究室では、「音楽」に関する研究テーマにも取り組んでいます。音楽を楽しむための技術はこれまでも進化してきましたが、現在も機械学習やディープラーニングの技術を活用する研究が進められており、次のステップへと進化し続けています。

新たな発見、音楽との出会い

　近年、動画配信サービスや楽曲ストリーミングサービスの浸透により、誰でも楽曲コンテンツを提示し、共有できる時代になりました。人々がアクセスできる楽曲コンテンツの数は爆発的に増え続けており、自分の好みに合うコンテンツを見つけるのは簡単とは言えません。また、自分が好みに合うコンテンツを見つけられたとしても、好みに合う楽曲コンテンツはきっとまだ他にも多く存在していることでしょう。
　では、コンピュータが自分の好みをまるで理解しているかのように、おすすめの楽曲コンテンツを提示することができればどうでしょうか。人々は労せずして、好みに合う楽曲コンテンツに出会い、より幅広く音楽を楽しむことができるようになるのではないでしょうか。
　このようなシステムの実現のためには、楽曲分析や楽曲表現の研究が必要不可欠です。これらの研究について、概要を紹介させていただきます。

楽曲を単なる音としてではなく、解釈した形で表現します。

ジャンル推定

　楽曲から、その楽曲のジャンルを推定することを指します。楽曲のジャンルとは、ポップス、ロック、クラシックなど、楽曲の特徴による分類です。大量の楽曲コンテンツの分類・検索をするために、楽曲のジャンルは指標の1つとされています。

楽曲生成

　自動で楽曲の生成を行います。近年ゲームや映像作品等様々な場面で音楽が使用されていますが、楽曲を作成する際には専門知識や新規性が求められる場面が多いため、音楽に関する知識を持たない方々が一つの曲を完成させるためにはコストがかかってしまいます。そこで指定したジャンルに合うように楽曲を生成するAIについて研究を行っています。本研究室では音楽的知識を持たない方を対象に大雑把な条件からジャンルに合う楽曲の生成を行います。

楽曲推薦

　ユーザが求める楽曲を検索・提示することを指します。楽曲を検索する手法と言うと、アーティスト名やジャンルを元に探すというのが挙げられます。しかし、これらはユーザが指示した条件に基づいて、絞り込んでいるにすぎません。新たな楽曲コンテンツとの出会いの形として、コンピュータがユーザの好みを理解しているかのように、新たな楽曲コンテンツを紹介してくれたらどうでしょうか。歌詞や曲調などの楽曲の総合的な情報と、ユーザの好みなどの個人の特徴を組み合わせて、ユーザの楽曲との新たな出会いを支援することが求められています。

「ピアノ練習をどこでも手軽に」

楽曲分析の技術は，音楽教育の場にも活用され始めてきています．音楽教育を受ける人々がより楽しく効率的に演奏を上達するためには，先生の指導を受けない個人練習の時間を充実させる必要があります．我々はピアノを主な対象とし，演奏者（特に初心者）が自宅でも手軽に効率よく学習でき，演奏能力の上達を促進できるような支援システムの開発に取り組んでいます．

自主練習支援システム

ピアノ初心者にとって，リズムはもちろんのこと，演奏ミスはないか，テンポキープはできているか…というように自分の演奏を逐次振り返ることはなかなか難しい課題であります．ピアノを習いたてだと演奏を録音して聞き直しても，どこがダメだったのか，どこを直すべきか，先生のいない環境では修正点を判断しづらい部分もあります．そこで，録音した演奏をインプットすることで自分の演奏をフィードバックできる「ピアノ学習支援システム」という自主練習の支援を主な目的とするシステムの制作に取り掛かっております．

・演奏情報の取得（深層学習技術による取得）
学習支援を行うため，はじめに録音データから演奏情報を取得します．この演奏情報，ここでは演奏した音符のタイミングや音高（メロディ）の取得には，先に紹介しました楽曲分析の技術を応用した手法を用いて解析する手法のほか，最近では Deep Neural Network (DNN) や Long Short Term Memory (LSTM) といった，近年成長が著しいジャンルであります深層学習技術を用いた取得にも取り組んでおります．従来の手法と比べて，より正確に演奏情報を取得できることが期待されます．

・演奏評価・ユーザへの提示
演奏情報を取得し，評価を行った演奏は，最終的に演奏者であるユーザに提示されます．演奏の評価方法について，実際のピアノ指導者と共同で研究を行っています．タイミングのずれや演奏ミスなど，これまでは人が判断を下してきた演奏への評価を，機械がどこまで再現できるのか，どのように結果を提示し，演奏者の上達に貢献するか．こういった課題について取り組んでいます。

・ピアノ学習支援コンテンツの制作

「ピアノ学習支援コンテンツ『映像テキスト』」

ピアノ練習者にとって，自分の演奏の参考にするものといえば指導者の「お手本」であることは，特に経験者であれば想像がつくかと思います．「お手本」からは指遣いはもちろん，演奏姿勢や指導者のアドバイスといった様々な情報を得ることができます．この「お手本」を映像コンテンツとしてまとめ，どこでも必要な情報を得られるようにする．我々の「音楽」の研究は，こういった内容にも手を広げて取り組んでいます．実際の学習支援コンテンツのスクリーンショットを添付しておきます．このコンテンツは教育系の学会で実際に紹介を行い，また実際のピアノ教育の現場でも，試験的ではありますが活用され始めてきています．

最後に

ここまで、音楽の「楽しみ方を広げる」ための技術を、少しだけ紹介させていただきました。機械学習やディープラーニングの技術を活用することで、音楽を楽しむための技術は、次のステップへと進化し続けています。