MP3は採譜の精度を下げる？WAVと比べて実測

なぜMP3で音符が変わることがあるのですか？

MP3とAACは、耳が気づきにくい細部を捨てます。主に、大きな音の隣にある小さな音と、高い周波数です。Basic Pitchのようなモデルは、音声を時間と周波数で表したものを読み取りますが、聴き手が無視する細部をモデルも無視する保証はありません。そのため、モデルのしきい値すれすれの音符は、スペクトルが少し変わっただけで現れたり消えたりすることがあります。

先行研究では、影響は小さいとされています。Urbanoらは、MFCC特徴量は約160 kbit/sから非可逆圧縮でも安定しており、ピッチクラスを追うクロマ特徴量は、コーデックやビットレートの影響をほとんど受けないことを見いだしました（ISMIR 2014）。彼らが測ったのは特徴量で、私たちが知りたかったのは採譜された音符のほうです。

実務上の理由もありました。録音と、その再生用のロスレスのコピーが、楽譜の保管容量の77%を占めていて、精度が少しも落ちない場合に限って、小さいコピーにしたかったのです。

テストの方法

すべての録音を、FFmpeg 8.1.1で各コーデックに通しました（LAMEは固定の320または192 kbit/s、AACはFFmpeg内蔵のエンコーダーで256 kbit/s）。その後、アップロードされたファイルを読み込むのと同じコードでデコードしました。対照として、誰にも聞き取れない0.01 dBだけロスレス音声を変えたものも用意し、コーデックがまったくなくても測定値がどれだけ動くかを確かめました。3つのエンジンはどれも決定的で、同じ入力からは同じ音符が出ます。

オンセットF1は、採譜された音符の音高が正解の音符から50セント以内、開始が50 ms以内のとき、その音符を正解と数えます。取りこぼした音符と余分な音符を同じように減点し、1.0が満点です。この指標は、精度に関する記事で詳しく説明しています。

楽器ひとつの場合、何が変わりましたか？

ほとんど変わりませんでした。ギター録音12本では、どの形式でもBasic PitchのオンセットF1は0.761から0.764の間にとどまり、ステレオファイルのサイズはWAVの14%から23%に縮みました。

ロスレスのスコアは0.763で、10月3日の記事の0.744とは異なります。10月4日以降、ScoreStarlingは楽器ひとつを1つの声部として書くようになり、ソロ5本の結果が変わったためです。どちらもBasic Pitch 0.4.0を使っています。

ピアノソロの場合は？

ピアノのモデルは、どの形式でも同じ音符を聞き取りました。演奏された音符に対するオンセットF1は、ロスレスで0.9427、対照で0.9426、MP3 320で0.9428、MP3 192で0.9433で、楽譜に書かれた音符の約92.2%を、どの形式でも検出しました。

それらの音符から拍と小節線を読み取る段階は、あまり安定しておらず、原因はコーデックではありませんでした。聞き取れない対照のあとでは、50演奏のうち5演奏で小節線の位置が変わり、MP3 320のあとでは7演奏で変わりました。そのうち4演奏は、対照と同じ演奏です。この段階はどんな変化にも反応するので、MP3による損失ではなく、測定のノイズとして数えます。ピアノでAACは試していません。

バンド全体の場合は？

Mireloでは、60秒のバンド曲で有料の比較を1回行いました。ロスレスのファイルもMP3も、音符とドラムの打音が842個ずつ返ってきて、そのうち829個（98.5%）は、開始がロスレスの結果から50 ms以内でした。

なぜ一部の音符が変わったのですか？

入力にどんな変更を加えても、モデルのしきい値すれすれにある数個の音符は動きます。Basic Pitchが検出した約2,740音のうち、聞き取れない対照で動いたのは1音、MP3 320で10音、AACで17音、MP3 192で14音で、1本の録音で7音を超えることはありませんでした。MP3 320は、5つの比較のうち3つでごくわずかに低く（0.0013〜0.0020）、1つは同じ、1つはごくわずかに高くなりました。AACとMP3 192は、ギターとSlakhの曲では上がり、私たちが合成したバンド曲では下がり、その幅は最大0.008でした。精度を本当に損なうコーデックなら、どこでもはっきり下がるはずですが、そうなったものはありませんでした。

コーデックが実際に変えるのは、両端のタイミングです。AACエンコーダーは先頭に無音のプライミングサンプルを加え、末尾をフレームの区切りまで埋めます。Appleは2112サンプルの遅延を文書で示しています。私たちのAACファイルは、デコードすると16〜733サンプル長くなりました。FFmpegはエンコーダー遅延を記録するXing/LAMEヘッダー付きでMP3を書き出すので、私たちのMP3ファイルは、デコードすると元の長さにぴったり戻りました。楽譜を録音に合わせて再生するときには、これが重要になります。

どのファイルをアップロードすればよいですか？

• 手元にあるファイルです。先にWAVをMP3に変換しても得るものはなく、MP3をWAVに戻しても失われたものは戻りません。
• 圧縮が必要なら、320 kbit/sのMP3が、S/N比で元の音にもっとも近く、長さも正確に保たれました。
• 低いビットレートは測っていません。測定は192 kbit/sまでなので、お使いの録音アプリが何で保存するかを確認してください。
• 形式よりも録り方のほうがはるかに重要です。聴きたいパートがひとつだけはっきり聞こえること、リバーブが少ないこと、BGMがないこと。確認すべき点は、ボイスメモのガイドにまとめています。

ScoreStarlingは現在、この方針で動いています。2026年10月5日から、WAV、AIFF、FLACのアップロードは320 kbit/sのMP3として保管し、そのコピーから採譜します。これでステレオ録音はWAVの23%のサイズで保管できます。MP3、M4A、Ogg、動画のファイルは届いたまま保管するので、MP3を楽譜に変換するときも、お手元のファイルをそのままアップロードしてください。

このテストからわからないこと

• Mireloではバンド曲1曲だけで、ピアノは録音ではなく合成した音です。
• 歌は含みません。実際に録音したテイクは非公開で、すでにAACファイルだったため、ロスレスの基準としては使えませんでした。
• 形式ごとにエンコーダーは1種類で、192 kbit/s未満のビットレートは試していません。
• オンセットF1がわかるのは音符が聞き取れたかどうかで、書かれた楽譜が読みやすいかどうかではありません。