絶対音感がなくても大丈夫！ピアノの耳コピを全自動化する魔法のツールを公開しました

ピアノの曲を聴いて、「あ、これ弾きたい！」と思った経験、ありますよね？でも、いざ耳コピしようとすると、和音が重なりすぎて「えっ、私の指、何本必要なの？」と絶望したことはありませんか？

そんな全人類の悩みを解決する（かもしれない）超便利ツールが、今回紹介する「Minamo Score」です！

何ができるの？

一言で言えば、音声ファイル（または録音）を読み込ませるだけで、勝手に楽譜を作ってくれるツールです。

使い方は超簡単。ブラウザを開いて、手持ちの音声ファイル（wav, mp3, mp4など）をポイッとドラッグ＆ドロップするだけ。すると、ピアノの音を読み取り、あっという間にピアノの楽譜が生成されます。

マイクを使って自分が弾いた（あるいは鼻歌を歌った）音声を直接採譜し、出来上がった楽譜を、ブラウザ上でそのまま再生可能。しかもMIDI、MusicXML、PDFとして保存可能。「MIDIにしてDAWで編集したい」「PDFにして印刷したい」といった要望に完璧に応えます。

裏側はどうなってるの？

これは、MP3からMIDIに変換できるツールにありがちな、適当に周波数を解析するようなものではありません。Minamo Scoreの裏側には、ゴリゴリの機械学習モデルと、涙ぐましいほどのノイズ除去アルゴリズムが詰まっています。

このツールの心臓部には、Googleが開発した音楽生成機械学習プロジェクトMagentaのOnsets and Framesモデルが鎮座しています。このツールはブラウザの裏側でこっそりと重たい学習済みモデルをダウンロードし、あなたのパソコンの計算資源をフル活用する準備を始めます。

そして、その処理であなたの大切なブラウザをフリーズさせるわけにはいきません。音声データは丸ごとAIに投げ込まれるわけではなく、十数秒から数十秒の細かいチャンクと呼ばれる単位に切り刻まれてから処理されます。音の途切れを防ぐために数秒のオーバーラップを持たせて処理をつなぎ合わせるという、工夫をしており、数十分の長大なクラシック音源であっても、ブラウザが息絶えることなく最後まで粘り強く耳コピを完遂できるようになっています。

もちろん、単にAIへ音声を放り込めば完璧な楽譜が出てくるほど、現実は甘くありません。このツールは、AIが少しでも音を聴き取りやすくなるように、前処理を行っています。Web Workerの内部では、まず不要な低周波ノイズを取り除くためにハイパスフィルターがかけられ、音量が均一化、そして入力された音源のステレオ幅や音量のピーク、無音の割合などを瞬時に解析し、その曲の特性に合わせて複数の処理パスを動的に生成しています。

例えば、音が密集していると判断されれば、小さな音を強調するダイナミクス処理を行った波形を用意し、低音が重要そうならベース帯域を強調した波形を用意し、さらにはステレオの左右チャンネルまで個別に解析に回すことで、異なる味付けをされた波形をすべて別々にAIに聴かせ、得られた複数の採譜結果を突き合わせて合意を取ることで、最終的な音符を決定しています。

それだけではただの音符の羅列。AIと波形解析の力技で抽出された直後のデータは、言わば音の破片の山であり、そのままでは人間が読める楽譜にはなりません。

そこで活躍するのが、音楽的な文脈を理解してノイズを間引く、高度なクリーニング処理です。プログラムは抽出された音符一つ一つに対して、「これは和音の一部か？」「これはベースラインの重要なアンカーか？」「これは内声で鳴っている重要な和音の構成音か？」といった尋問を行い、信頼度のスコアを計算します。

もし、ただのノイズや倍音の勘違いであれば容赦無く削除されますが、たとえ音が小さくても、直前に同じ音が鳴っていたり、他の音と綺麗な和音を構成していたりする場合は音楽的に意味があると判断されて救済されます。さらに、ヒストグラムを用いて発音タイミングの規則性から曲全体のテンポ（BPM）を推測し、複雑な音の開始位置を人間が読みやすい8分音符や16分音符のグリッドへと強制的に吸着させるクオンタイズ処理もしています。このようにして、機械が吐き出した無機質なデータは、私たちが慣れ親しんだ音楽の形へと整えられていくのです。

幾多の試練を乗り越えて抽出された音楽データは、最終的にMusicXMLという楽譜用の標準フォーマットへと変換されます。ツールは自力でXMLのタグを組み上げ、音符の長さや休符の計算、さらには右手と左手の譜表への振り分けまでを完璧にこなし、一枚の美しい楽譜データを生成します。そして、生成された楽譜は「OpenSheetMusicDisplay」という強力なライブラリによって画面上に美しくレンダリングされ、「Tone.js」が内蔵のピアノ音源を使ってその楽譜を実際に再生してくれます。

再生中には、今どこを弾いているのかを示すプレイヘッドが楽譜上を滑らかに動き、さらに画面下部のピアノロールが視覚的に音の洪水を表現するという、至れり尽くせりのインターフェースが提供されます。しかも、このツールはService Workerを搭載したPWA（Progressive Web App）として作られており、IndexedDBを使って処理途中のデータを保存するため、一度読み込めばオフラインでも動作し、途中でブラウザを閉じても作業を再開できるという驚異的な堅牢性を誇ります。

これは、ただの便利なツールという枠を超え、音楽への探求心を加速させる頼もしい相棒と言えるでしょう（それほど精度は高くありません）。これでもう「あの曲弾きたいけど楽譜が売ってないから」という言い訳は通用しなくなりました。テクノロジーの恩恵を存分に受けつつ、浮いた時間と体力でどんどん新しい曲に挑戦してみてください。あなたのブラウザが、文句ひとつ言わない最強の専属耳コピアシスタントとして待機していますよ。

https://funakamome.com/minamoscore