Music

速水・田村研究室では,「音楽」に関する課題を研究テーマとして取り組んでいます.ひとえに「音楽」と言っても様々な研究テーマが考えられると思いますが,速水・田村研究室では大きく分けて次の2つのテーマで研究が進められてきています.

  1. 「ユーザに新しい音楽の形を」

― 楽曲分析,楽曲表現

  1. 「楽器の練習をどこでも手軽に」

― 音楽教育支援

ここからは,この2つのテーマについて詳しく紹介していきます.特に,このページの執筆者である私が現在主題として取り組んでいる音楽教育支援については,今話題の深層学習技術を用いた研究も行っており,また個人的に是非とも興味を持っていただきたいテーマでありますので,最後まで目をお通しいただけると幸いです.

「ユーザに新しい音楽の形を」

近年,動画サイトの浸透により,誰でも楽曲コンテンツを提示し,共有することができる時代になってきました.世に存在する楽曲コンテンツの数は,爆発的に増えています.ユーザが新たな楽曲を探す労力も決して少なくありません.そこで重要になるのが,コンピュータがユーザにおすすめの楽曲を提示することです.コンピュータがユーザの嗜好を理解し,楽曲コンテンツを分析して嗜好にあった楽曲を提示することができれば,ユーザは労せず好みで新鮮な楽曲に出会い,より幅広く音楽を楽しむことができるようになります.我々は,楽曲の音階推定や楽器音推定といった基礎的な分析技術だけでなく,ユーザの嗜好をどのように記述し,どのように楽曲と結びつけるかを追究しています.例えば,楽曲のマルチジャンル化,色による可視化の研究を行っています.その時,楽曲によって一つの結果を出すのではなく,ユーザによって異なる結果を出すことによって個人に適応し,よりユーザの満足度を高めることを目標としています.

(1)楽曲分析
楽曲に使われている楽器や音階,リズムなど,楽曲の特徴の推定と,その結果を用いた楽曲推薦や楽曲の可視化を行っています.

・楽器推定

楽器の楽器構成は楽曲を特徴づける重要な要素であり,楽器推定技術は楽曲のジャンル分類や自動採譜,楽曲の検索などの分野で有用であると考えられています. 現在,多重音(複数の楽器を同時に演奏している時の音)から楽器を推定することに挑戦しています.

・音階推定,調推定
楽曲の音形波から,音階,テンポ,楽器などの情報や,楽曲の調などを抽出・推定する手法を構築しています.

(2)楽曲表現
楽曲を目に見える形で表現する技術は,楽曲検索,楽曲理解の支援,楽曲をより楽しむためのコンテンツに応用できると考えられます.

・楽曲の可視化
楽曲の可視化に関する研究は多数行われていますが,我々は個人に適応した楽曲の可視化をテーマとしています.同じ楽曲でも,楽曲に対する解釈は個人によって違うものです.つまり,楽曲を可視化する場合も,ユーザによって異なる可視化をすることが必要になってくると考えています.

「個人に適応した色の提示による楽曲の可視化」

まずは可視化の第一歩として,楽曲と色を結びつけ,ユーザがその楽曲にふさわしいと思う色を推定する研究を行っています.

・ジャンル推定
楽曲のジャンルとは,ポップス,ロック,クラシックなど,楽曲の特徴をあらわす用語です.大量の音楽コンテンツの分類・検索をする為に,音楽ジャンルは楽曲の分類・検索における指標の1つとされています.そこで,音楽ジャンルの曖昧性や個人の主観性に着目し,1楽曲に複数ジャンルを付与することを目的とした楽曲分類のマルチジャンル化の研究をしています.

・類似楽曲検索・推薦システム
楽曲コンテンツが増加する中で,人はどうやって新たな楽曲と出会っていくのでしょうか.アーティストやジャンルを元に探したり,流行りの曲を探したりといったことは容易ですが,誰もが簡単にアーティストになれる時代,楽曲の出会いの形には新しい方法が必要です.その一つが類似楽曲検索です.これは,ユーザが提示する楽曲に似たものを自動で検索する技術です.

・類似楽曲検索
楽曲コンテンツが増加する中で,人はどうやって新たな楽曲と出会っていくのでしょうか.アーティストやジャンルを元に探したり,流行りの曲を探すといったことは容易ですが,誰もが簡単にアーティストになれる時代,楽曲の出会いの形には新しい方法が必要です.その一つが類似楽曲検索です.これは,ユーザが提示する楽曲に似たものを自動で検索する技術です.

・楽曲推薦

楽曲推薦とは,大量の音楽コンテンツの中からユーザが望むものをすばやく検索・推薦することをいいます. 楽曲推薦には,楽曲を分析するだけではなく,ユーザの嗜好を理解すること,そして楽曲と対応付けることが求められます.そこで,楽曲の歌詞に含まれる印象語を利用した推薦や,ユーザの個人情報と楽曲の評価情報を用いた推薦の研究が行われています.

■マルチモーダル音楽情報処理
歌唱曲には歌詞のテキスト情報が含まれます.そこで,我々のテキスト処理技術を楽曲の歌詞に応用し,印象語や重要語の推定,音響情報と歌詞情報を統合した楽曲推薦,可視化の研究を行っています.マルチモーダル音声処理と同様に,音響情報のみを用いた推定よりも性能の向上が期待されます.また,将来的には歌詞だけではなく,その歌唱曲のレビューやWeb検索結果も活用していくことで,歌詞のない楽曲を扱うことも検討していきます.
 

「ピアノ練習をどこでも手軽に」

楽曲分析の技術は,音楽教育の場にも活用され始めてきています.音楽教育を受ける人々がより楽しく効率的に演奏を上達するためには,先生の指導を受けない個人練習の時間を充実させる必要があります.我々はピアノを主な対象とし,演奏者(特に初心者)が自宅でも手軽に効率よく学習でき,演奏能力の上達を促進できるような支援システムの開発に取り組んでいます.

(1)リズム学習支援
ピアノだけに留まらず,楽器演奏においてリズムの安定は非常に重要な要素の1つとなりえます.我々は,演奏者のピアノ音を楽譜と対応付けてプロットすることで,演奏したリズムを視覚的に提示するシステムに取り組んでいます.演奏者はこのシステムを使うことで,自分が演奏していく中でどこを苦手としているか,どこを直すべきかが分かり,また苦手な箇所を繰り返し練習することで,効率良くリズムの練習ができ,より早い上達を実現できることが期待できます.

(2)自主練習支援システム

ピアノ初心者にとって,リズムはもちろんのこと,演奏ミスはないか,テンポキープはできているか…というように自分の演奏を逐次振り返ることはなかなか難しい課題であります.ピアノを習いたてだと演奏を録音して聞き直しても,どこがダメだったのか,どこを直すべきか,先生のいない環境では修正点を判断しづらい部分もあります.そこで,録音した演奏をインプットすることで自分の演奏をフィードバックできる「ピアノ学習支援システム」という自主練習の支援を主な目的とするシステムの制作に取り掛かっております.

・演奏情報の取得(深層学習技術による取得)
学習支援を行うため,はじめに録音データから演奏情報を取得します.この演奏情報,ここでは演奏した音符のタイミングや音高(メロディ)の取得には,先に紹介しました楽曲分析の技術を応用した手法を用いて解析する手法のほか,最近では Deep Neural Network (DNN) や Long Short Term Memory (LSTM) といった,近年成長が著しいジャンルであります深層学習技術を用いた取得にも取り組んでおります.従来の手法と比べて,より正確に演奏情報を取得できることが期待されます.

・演奏評価・ユーザへの提示
演奏情報を取得し,評価を行った演奏は,最終的に演奏者であるユーザに提示されます.演奏の評価方法について,実際のピアノ指導者と共同で研究を行っています.タイミングのずれや演奏ミスなど,これまでは人が判断を下してきた演奏への評価を,機械がどこまで再現できるのか,どのように結果を提示し,演奏者の上達に貢献するか.こういった課題について取り組んでいます。

・ピアノ学習支援コンテンツの制作

「ピアノ学習支援コンテンツ『映像テキスト』」

ピアノ練習者にとって,自分の演奏の参考にするものといえば指導者の「お手本」であることは,特に経験者であれば想像がつくかと思います.「お手本」からは指遣いはもちろん,演奏姿勢や指導者のアドバイスといった様々な情報を得ることができます.この「お手本」を映像コンテンツとしてまとめ,どこでも必要な情報を得られるようにする.我々の「音楽」の研究は,こういった内容にも手を広げて取り組んでいます.実際の学習支援コンテンツのスクリーンショットを添付しておきます.このコンテンツは教育系の学会で実際に紹介を行い,また実際のピアノ教育の現場でも,試験的ではありますが活用され始めてきています.

最後に

ここまで,速水・田村研究室で取り組んでいる「音楽」に関するテーマを紹介しました.機械学習技術,さらには深層学習技術を応用し,多種多様なニーズに応えるべく研究に臨んでいることがお分かりいただけたかと思います。「音楽」に関する研究に興味がある方,もしくは持っていただけた方,もちろん音楽が好きな方は,ぜひとも一度話を聞きに来てください.速水・田村研究室でお待ちしております.