Music
田村研究室では、「音楽」に関する研究テーマにも取り組んでいます。音楽を楽しむための技術はこれまでも進化してきましたが、現在も機械学習やディープラーニングの技術を活用する研究が進められており、次のステップへと進化し続けています。
レコードの登場により、音楽は演奏されたその瞬間だけでなく、聴きたいときに聴けるものになりました。また、ディジタルオーディオ技術の普及により、今ではあらゆるモバイルデバイスでいつでも音楽を聴けるようになり、音楽は手軽に持ち歩けるものとなりました。
このように、音楽はより手軽に「聴ける」ものとなったわけですが、次のステップは音楽の「楽しみ方を広げる」ことだと筆者は感じています。では、音楽の「楽しみ方を広げる」ような技術を、少しだけ紹介させていただきます。
●●新たな発見、音楽との出会い
近年、動画配信サービスや楽曲ストリーミングサービスの浸透により、誰でも楽曲コンテンツを提示し、共有できる時代になりました。人々がアクセスできる楽曲コンテンツの数は爆発的に増え続けており、自分の好みに合うコンテンツを見つけるのは簡単とは言えません。また、自分が好みに合うコンテンツを見つけられたとしても、好みに合う楽曲コンテンツはきっとまだ他にも多く存在していることでしょう。
では、コンピュータが自分の好みをまるで理解しているかのように、おすすめの楽曲コンテンツを提示することができればどうでしょうか。人々は労せずして、好みに合う楽曲コンテンツに出会い、より幅広く音楽を楽しむことができるようになるのではないでしょうか。
このようなシステムの実現のためには、楽曲分析や楽曲表現の研究が必要不可欠です。これらの研究について、概要を紹介させていただきます。
●楽曲分析
楽曲に使われている楽器や音階、リズムなど、楽曲の特徴の推定がこれにあたります。
・楽器推定
楽曲から、その楽曲を構成する楽器を推定することを指します。楽曲中の楽器の構成は、楽曲を特徴付ける重要な要素であり、楽器推定の技術は楽曲のジャンル分類や自動採譜、楽曲検索などに有用であると考えられています。
・音階推定,調推定
楽曲から、音階、テンポ、調などを抽出・推定することを指します。
●楽曲表現
楽曲を単なる音としてではなく、解釈した形で表現します。
・ジャンル推定
楽曲から、その楽曲のジャンルを推定することを指します。楽曲のジャンルとは、ポップス、ロック、クラシックなど、楽曲の特徴による分類です。大量の楽曲コンテンツの分類・検索をするために、楽曲のジャンルは指標の1つとされています。
・楽曲推薦
ユーザが求める楽曲を検索・提示することを指します。楽曲を検索する手法と言うと、アーティスト名やジャンルを元に探すというのが挙げられます。しかし、これらはユーザが指示した条件に基づいて、絞り込んでいるにすぎません。新たな楽曲コンテンツとの出会いの形として、コンピュータがユーザの好みを理解しているかのように、新たな楽曲コンテンツを紹介してくれたらどうでしょうか。歌詞や曲調などの楽曲の総合的な情報と、ユーザの好みなどの個人の特徴を組み合わせて、ユーザの楽曲との新たな出会いを支援することが求められています。
「ピアノ練習をどこでも手軽に」
楽曲分析の技術は，音楽教育の場にも活用され始めてきています．音楽教育を受ける人々がより楽しく効率的に演奏を上達するためには，先生の指導を受けない個人練習の時間を充実させる必要があります．我々はピアノを主な対象とし，演奏者（特に初心者）が自宅でも手軽に効率よく学習でき，演奏能力の上達を促進できるような支援システムの開発に取り組んでいます．
(1)リズム学習支援
ピアノだけに留まらず，楽器演奏においてリズムの安定は非常に重要な要素の1つとなりえます．我々は，演奏者のピアノ音を楽譜と対応付けてプロットすることで，演奏したリズムを視覚的に提示するシステムに取り組んでいます．演奏者はこのシステムを使うことで，自分が演奏していく中でどこを苦手としているか，どこを直すべきかが分かり，また苦手な箇所を繰り返し練習することで，効率良くリズムの練習ができ，より早い上達を実現できることが期待できます．
(2)自主練習支援システム
ピアノ初心者にとって，リズムはもちろんのこと，演奏ミスはないか，テンポキープはできているか…というように自分の演奏を逐次振り返ることはなかなか難しい課題であります．ピアノを習いたてだと演奏を録音して聞き直しても，どこがダメだったのか，どこを直すべきか，先生のいない環境では修正点を判断しづらい部分もあります．そこで，録音した演奏をインプットすることで自分の演奏をフィードバックできる「ピアノ学習支援システム」という自主練習の支援を主な目的とするシステムの制作に取り掛かっております．
・演奏情報の取得（深層学習技術による取得）
学習支援を行うため，はじめに録音データから演奏情報を取得します．この演奏情報，ここでは演奏した音符のタイミングや音高（メロディ）の取得には，先に紹介しました楽曲分析の技術を応用した手法を用いて解析する手法のほか，最近では Deep Neural Network (DNN) や Long Short Term Memory (LSTM) といった，近年成長が著しいジャンルであります深層学習技術を用いた取得にも取り組んでおります．従来の手法と比べて，より正確に演奏情報を取得できることが期待されます．
・演奏評価・ユーザへの提示
演奏情報を取得し，評価を行った演奏は，最終的に演奏者であるユーザに提示されます．演奏の評価方法について，実際のピアノ指導者と共同で研究を行っています．タイミングのずれや演奏ミスなど，これまでは人が判断を下してきた演奏への評価を，機械がどこまで再現できるのか，どのように結果を提示し，演奏者の上達に貢献するか．こういった課題について取り組んでいます。
・ピアノ学習支援コンテンツの制作
「ピアノ学習支援コンテンツ『映像テキスト』」
ピアノ練習者にとって，自分の演奏の参考にするものといえば指導者の「お手本」であることは，特に経験者であれば想像がつくかと思います．「お手本」からは指遣いはもちろん，演奏姿勢や指導者のアドバイスといった様々な情報を得ることができます．この「お手本」を映像コンテンツとしてまとめ，どこでも必要な情報を得られるようにする．我々の「音楽」の研究は，こういった内容にも手を広げて取り組んでいます．実際の学習支援コンテンツのスクリーンショットを添付しておきます．このコンテンツは教育系の学会で実際に紹介を行い，また実際のピアノ教育の現場でも，試験的ではありますが活用され始めてきています．
最後に
ここまで、音楽の「楽しみ方を広げる」ための技術を、少しだけ紹介させていただきました。機械学習やディープラーニングの技術を活用することで、音楽を楽しむための技術は、次のステップへと進化し続けています。