Wie genau ist KI-Musiktranskription? Wir haben nachgemessen

Die Kurzantwort

Genau genug für einen ersten Entwurf mit einem Instrument, den du dann nach Gehör prüfst. Bei 12 öffentlich verfügbaren Gitarrenaufnahmen erreichte die Option „Ein Instrument oder Gesang“ von ScoreStarling bei unserem erneuten Durchlauf am 4. Oktober 2026 einen Onset-F1 von 0,763, und zwar auf einer Skala, bei der 1,0 bedeutet: jede Note mit der richtigen Tonhöhe zur richtigen Zeit gefunden und nichts Überflüssiges dabei. Zwei Tage zuvor kamen Basic Pitch allein auf 0,744 und Mirelos Audio-to-MIDI auf 0,471. Diese Werte prüfen die Tonhöhe und den Zeitpunkt, an dem jede Note beginnt. Sie sagen nicht, ob der Rhythmus sinnvoll notiert ist und ob man von der Seite gleich spielen kann.

Was misst der Onset-F1?

Der Onset-F1 vergleicht eine Transkription Note für Note mit einer Referenztranskription und bestraft fehlende und überzählige Noten gleichermaßen. Eine transkribierte Note gilt als Treffer, wenn ihre Tonhöhe höchstens 50 Cent (einen Viertelton) von einer Referenznote abweicht und sie höchstens 50 Millisekunden vor oder nach deren Beginn einsetzt. Jede Referenznote kann nur einmal zugeordnet werden.

Aus dem Abgleich ergeben sich zwei Anteile. Die Präzision ist der Anteil der Noten des Modells, die stimmen. Die Trefferquote (Recall) ist der Anteil der Referenznoten, die das Modell gefunden hat. Der F1-Wert verbindet beide als harmonisches Mittel und bleibt deshalb niedrig, sobald einer von beiden niedrig ist. Nimm eine Passage mit 100 Noten. Ein Modell, das 100 Noten schreibt, davon 75 richtige, erreicht 0,75. Ein Modell, das 90 der 100 findet, dafür aber 150 Noten schreibt, hat eine Trefferquote von 0,9, eine Präzision von 0,6 und einen F1 von 0,72. Die 60 überzähligen Noten kosten es Punkte.

Der Onset+Offset-F1 stellt eine weitere Bedingung: Jede Note muss auch innerhalb von 20 % der Länge der Referenznote enden oder innerhalb von 50 ms, wenn das mehr ist. Das Paper zu Basic Pitch von Spotify verwendet den Onset-F1 als Hauptmaß, weil sich Notenenden schwerer festlegen lassen, und nennt als Gründe Hall, das Haltepedal und die Art, wie die Annotationen erstellt werden. Wir geben beide an. Keiner von beiden prüft, welchem Instrument eine Note zugeordnet wurde, die Tonartvorzeichnung oder wie der Rhythmus geschrieben würde.

So haben wir getestet

Wir haben GuitarSet 1.1.0 (Xi et al., ISMIR 2018) verwendet, einen öffentlichen Datensatz mit 360 Gitarrenausschnitten von je etwa 30 Sekunden. Sechs Gitarristinnen und Gitarristen spielen dieselben 30 Leadsheets in fünf Stilen, zuerst als Begleitung („comp“) und dann als Solo darüber. Aufgenommen wurde mit einem hexaphonen Tonabnehmer, der jeder Saite ein eigenes Signal gibt und es den Autoren ermöglichte, die Noten-Annotationen weitgehend zu automatisieren.

Wir haben 12 vollständige Aufnahmen genommen, pro Person ein Solo und eine Begleitung, jeweils das Mono-Mikrofonsignal: insgesamt 433 Sekunden. Die Auswahl stand fest, bevor ein Modell lief. Für jede Person und jede Spielart haben wir die Datei genommen, deren SHA-256-Hash aus „scorestarling-v1:“ plus Dateiname an erster Stelle sortiert. Vorher hatten wir drei Aufnahmen mit bekannten Annotationsfehlern ausgeschlossen (GuitarSet-Issues #4 und #5: eine doppelte Note und falsche Zeitangaben). Die Ergebnisse je Aufnahme weiter unten nennen die 12 ausgewählten.

Ausgewertet haben wir mit mir_eval 0.8.2 und seinen oben beschriebenen Standardtoleranzen, gemittelt pro Aufnahme, sodass jede gleich viel zählt. Es wurde nichts angepasst: keine Zeitversätze, keine Filter, keine Verschiebung zur Ausrichtung. Basic Pitch 0.4.0 lief auf einem Mac, und zwei vollständige Durchläufe lieferten byte-identische Ausgaben. Die Audio-to-MIDI-API von Mirelo, die ihr Modell als a2m-1.1 auswies, hat dieselben 12 Aufnahmen am 2. Oktober 2026 verarbeitet. Die optionale Instrumentenliste, die ihre API laut dem Changelog von Mirelo seit dem 6. August 2026 akzeptiert, haben wir nicht mitgeschickt.

Vier Einschränkungen gelten für alles Folgende:

• Das Paper zu Basic Pitch nennt GuitarSet und Slakh unter seinen Trainingsdaten, deshalb begünstigen beide Tests es. Wir können nicht sagen, ob unsere 12 GuitarSet-Aufnahmen in seinem Trainingsanteil lagen. Der Band-Ausschnitt stammt aus dem Testanteil von Slakh.
• Zwölf Gitarrenaufnahmen und ein 60-sekündiger Band-Ausschnitt sind eine Stichprobe zur Diagnose, kein Benchmark. Für Gesang und für aufgenommene Bands gibt es keine Messung. Klavier ist nur an synthetisch erzeugtem Audio gemessen, mit einem anderen Modell (siehe die Fragen am Ende).
• Mirelo hat die Gitarrenaufnahmen einmal verarbeitet, am 2. Oktober. Die drei, bei denen es nichts zurückgab, haben wir nicht erneut versucht, etwa mit dem Hinweis, dass eine Akustikgitarre zu erwarten ist. Als wir den Band-Ausschnitt am 5. Oktober noch einmal schickten, kamen dieselben Noten zurück.
• Keine dieser Zahlen bewertet die geschriebene Partitur. Ein Maß auf Partiturebene wie MV2H, das auch Taktart, Stimmen und Notenwerte prüft, steht noch aus.

Wir haben ein eigenes Interesse am Ergebnis. ScoreStarling nutzt Basic Pitch für „Ein Instrument oder Gesang“ und Mirelo, unseren Partner für Bands, für „Band“. Deshalb legen wir Methode, Stichprobe und Grenzen hier vollständig offen.

Basic Pitch gegen Mirelo bei Gitarrenaufnahmen

Basic Pitch lag vorn: bei Sololinien weit, bei der Begleitung knapp.

Update vom 4. Oktober 2026: Wir haben dieselben 12 Aufnahmen nach zwei Änderungen noch einmal durch die Option „Ein Instrument oder Gesang“ von ScoreStarling laufen lassen. Eine Aufnahme, die durchgehend zu hoch oder zu tief klingt, wird jetzt zuerst auf A440 angeglichen, und eine Melodie wird jetzt einstimmig geschrieben, immer nur eine Note auf einmal. Das Ergebnis: 0,846 bei den Soli, 0,679 bei den Begleitungen und insgesamt 0,763, mit Notenenden 0,522. Die Tabelle zeigt weiterhin nur die Ergebnisse von Basic Pitch vom 2. Oktober.

Bei drei der sechs Solo-Aufnahmen gab Mirelo überhaupt keine Noten zurück. Sie zählen in seinem Solo-Durchschnitt als null, weil ein leeres Ergebnis genau das wäre, was man in der Praxis bekäme, und wir haben sie nicht erneut laufen lassen. Wo es Noten lieferte, war das Bild gemischt. Bei der ersten Aufnahme, 00_BN3-154-E_solo, lagen beide Engines bei den Notenanfängen gleichauf (0,809 für Basic Pitch, 0,814 für Mirelo). Mirelos Notenenden lagen weiter daneben (Onset+Offset-F1 0,320 gegenüber 0,524), und es setzte das Stück mit 154 BPM auf etwa 76,9 BPM, das halbe Tempo. Bei der Begleitung war Mirelo bei zwei der sechs Aufnahmen deutlich besser. Über alle 12 lag sein Onset+Offset-F1 bei 0,224.

Die 0,744 von Basic Pitch liegen nahe an dem, was seine Autoren auf ihrem eigenen GuitarSet-Testanteil mit 72 Aufnahmen angeben: 0,79 Onset-F1 und 0,56 mit Notenenden. Auch bei der Geschwindigkeit unterschieden sich die Engines. Basic Pitch verarbeitete die 433 Sekunden Audio auf einem Mac in 54 Sekunden, was keine Messung im Produktivbetrieb ist. Bei der ersten Aufnahme brauchte es 6,1 Sekunden und Mirelo 37.

Was passiert bei einer ganzen Band?

Ein Mix ist schwieriger, und dort lag Mirelo vorn. Wir haben die ersten 60 Sekunden von Track01881 aus dem Testanteil von Slakh2100 genommen, einem Datensatz mit 2.100 Songs, die mit samplebasierten virtuellen Instrumenten aus MIDI gerendert wurden, sodass die Referenznoten exakt sind. In dieser Minute hört man Stahlsaiten- und Jazzgitarre, Klavier, Bass, Vibraphon und Schlagzeug. Über alle Instrumente mit bestimmter Tonhöhe zusammengefasst und ohne zu beachten, welchem Instrument eine Note zugeordnet wurde, lag der Onset-F1 bei 0,520 für Basic Pitch und bei 0,672 für Mirelo, bewertet an der MIDI-Datei, die jede Engine zurückgibt.

Basic Pitch schreibt eine gemeinsame Stimme und kein Schlagzeug. Mirelo schreibt eine Stimme pro Instrument, deshalb lässt sich nur Mirelo nach Instrument bewerten, hier in General-MIDI-Instrumentenklassen zusammengefasst:

Onset-F1 von Mirelo je Instrument ein 60-sekündiger Band-Ausschnitt, 0 bis 1

Klavier0.827

Schlagzeug0.698

Gitarren0.681

Bass0.455

Vibraphon0.137

Die beiden Gitarren auseinanderzuhalten war schwieriger. Am 2. Oktober Stimme für Stimme aus der Notenliste von Mirelo bewertet, erreichte die Stahlsaitengitarre 0,364 und die Jazzgitarre 0,148. Die MIDI-Datei setzt ihre Noten etwa 20 ms früher an als diese Liste, deshalb weichen ihre Werte leicht ab. Mirelo schrieb außerdem 92 Noten für Instrumente, die im Song gar nicht vorkommen: Orgel, Synth-Pad, Violine und Cello. Schlagzeugschläge werden allein nach dem Zeitpunkt bewertet, egal welche Trommel getroffen wurde. Das ist ein einzelner Song, gerendert statt aufgenommen, verstehe es also als Tendenz, nicht als Rangliste.

Welche Noten sind am ehesten falsch?

Bei Basic Pitch die leisen. Basic Pitch setzt die MIDI-Anschlagstärke (Velocity) jeder Note auf das 127-Fache der mittleren Aktivierung des Modells über dieser Note, deshalb dient die Velocity zugleich als Konfidenzwert. Von den 2.715 Noten, die es für die 12 Gitarrenaufnahmen schrieb, waren beim Abgleich mit demselben 50-ms-Fenster die meisten Noten mit niedriger Velocity falsch:

Von Basic Pitch richtig getroffene Noten nach Velocity 2.715 Noten aus 12 Gitarrenaufnahmen

Unter 5021%

50–5940%

60–7967%

80–12786%

Die Velocity trennt richtige von falschen Noten mit einer AUC von 0,77, wobei 0,5 einem Münzwurf entspricht und 1,0 perfekt ist. Die Notenlänge kommt auf 0,53, eine kurze Note ist also kein brauchbares Warnzeichen. Würde man jede Note unter Velocity 50 löschen, stiege der Onset-F1 insgesamt von 0,744 auf 0,765, aber jede fünfte dieser Noten ist richtig. Deshalb führt die Partiturprüfung von ScoreStarling sie als fraglich auf, statt sie zu löschen, und überlässt die Entscheidung deinen Ohren. Wenn du Basic Pitch selbst ausführst, färbe die Noten in einer Pianorolle nach Velocity ein oder sortiere sie danach, dann erhältst du dieselbe Kurzliste.

Warum stimmen veröffentlichte Genauigkeitswerte nicht überein?

Sie messen Unterschiedliches an unterschiedlichen Aufnahmen, und manche sagen nicht, was sie gemessen haben.

Zwei Werte lassen sich nur vergleichen, wenn Maß, Toleranz und Aufnahmen übereinstimmen. Unser Ergebnis für Basic Pitch kann neben dem aus seinem Paper stehen, weil beide den Onset-F1 auf GuitarSet verwenden, wenn auch an unterschiedlichen Teilmengen. Neben dem von MuScriptor kann es nicht stehen. Die Seite von ScoreCloud sagt nicht, wie die Tonhöhengenauigkeit gezählt wurde, an wie vielen Aufnahmen und ob das Timing eine Rolle spielte. MuScriptor ist das offene Forschungsmodell, aus dem Mirelos Audio-to-MIDI Pro hervorgegangen ist, und Mirelo beschreibt sein Produktionsmodell als genauer. Mirelos Beitrag vom 17. September 2026 sagt, ein aktualisiertes Modell habe die Noten- und Instrumentengenauigkeit „in unseren Auswertungen“ verbessert, ohne Zahlen zu veröffentlichen.

Ergeben richtige Noten eine lesbare Partitur?

Nein. Der Onset-F1 vergleicht Noten in Sekunden und sagt nichts darüber, wie sich die geschriebene Partitur liest. Eine Partitur braucht außerdem eine Tonartvorzeichnung, sinnvoll gesetzte Versetzungszeichen, geschriebene Pausen, Stimmen und eine Taktart, und einfaches MIDI aus einem Modell wie Basic Pitch hat nichts davon. Aus denselben Noten von Basic Pitch erzeugte unser erstes Notationsmodul in allen 12 Fällen Partituren ohne Tonartvorzeichnung und ohne sichtbare Pausen. Der MIDI-Import von MuseScore Studio schrieb in 10 von 12 Fällen die annotierte Tonart und zeigte jede Pause. Mirelos eigenes MusicXML hatte die annotierte Tonart in 5 seiner 9 abgeschlossenen Fälle, immer auf einem einzigen Notensystem im Violinschlüssel.

Eine Transkription kann also gut abschneiden und trotzdem schwer lesbar sein, und eine aufgeräumte Seite kann trotzdem falsche Noten enthalten. Das vollständige Vorher-nachher steht in Warum MIDI-Importe in MuseScore chaotisch aussehen.

Welche Transkriptions-Engine solltest du nehmen?

Richte dich nach der Aufnahme. So lesen wir diese Ergebnisse:

• Ein Instrument oder eine Melodielinie: Basic Pitch. Bei Sologitarre lag es weit vorn, es ist kostenlos und Open Source, und seine README sagt, dass es am besten mit jeweils einem Instrument arbeitet.
• Eine Band oder ein Mix, in dem du getrennte Stimmen oder Schlagzeug brauchst: ein Mehrinstrumenten-Modell wie das von Mirelo, denn Basic Pitch schreibt nur eine gemeinsame Stimme.
• Gitarrenbegleitung: beide sind geeignet. Im Schnitt lagen sie dicht beieinander und waren jeweils bei anderen Aufnahmen besser. Wenn die Wahl wichtig ist, probiere beide an einem kurzen Ausschnitt aus.
• Gesang: Den haben wir noch nicht gemessen. Klavier: Wir haben nur unsere eigene Option „Klavier solo“ an synthetisch erzeugtem Audio gemessen, deshalb können wir dafür keine Engines in eine Rangfolge bringen.

Welche Engine du auch nimmst: Prüfe Rhythmus und Notenlängen nach Gehör. Die KI-Musiktranskription von ScoreStarling wählt die Engine anhand der gewählten Option:

Dateien dürfen bis zu 95 MiB groß sein. Gitarren-, Bass- und Ukulelenstimmen lassen sich auch als Tabs lesen, ohne Bendings, Slides oder Hammer-ons. Die Spezifikationen enthalten den Rest. Die Messungen oben vom 2. Oktober und vom erneuten Durchlauf am 4. Oktober schließen die Option „Klavier solo“ nicht ein.

Was diese Ergebnisse heute abdecken

Das Gitarrenergebnis vom 4. Oktober misst eine Version der Pipeline: Basic Pitch 0.4.0, ScoreStarling-Quellrevision 0775b4d, 12 Mikrofonaufnahmen aus GuitarSet. Der mittlere Onset-F1 beträgt 0,7626 und der Onset+Offset-F1 0,5224. Der Onset-F1 der Soli liegt bei 0,8462, der der Begleitung bei 0,6791. Es misst nicht jede Version, die seitdem im Einsatz war.

Das Slakh-Beispiel sind die ersten 60 Sekunden von Track01881, einem synthetisch erzeugten Mehrspur-Mix und keiner Live-Band. Das gespeicherte Ergebnis vom 2. Oktober hat für die Noten mit Tonhöhe einen Onset-F1 von 0,6722 und einen Onset+Offset-F1 von 0,1262. Der Onset-F1 des Schlagzeugs, 0,6983, ignoriert, welche Trommel getroffen wurde, und 92 Noten wurden Instrumentenklassen zugeordnet, die in der Referenz nicht vorkommen. Der Abgleich der Notenanfänge allein lässt die Stimmen deshalb brauchbarer erscheinen, als sie sind.

In einer separaten Offline-Untersuchung haben wir am 18. Oktober fünf echte Klavieraufnahmen aus dem SMD-Datensatz von je 60 Sekunden verglichen, mit einer Onset-Toleranz von 50 ms. Der mittlere Onset-F1 lag bei 0,9945 für Transkun v2 und bei 0,9871 für das frühere Kong-Modell. Das ist ein kleiner gepaarter Test, der noch nicht für Staging oder Produktion freigegeben ist. Er ist kein Messwert des laufenden Produkts, und sein Audio veröffentlichen wir hier nicht.

Keine dieser Notenmetriken bewertet die Zählzeit, die Taktart, den Auftakt, die Zuordnung zum Notensystem oder wie lesbar die Seite ist. Die 50 synthetisch erzeugten Klavier-Einspielungen in den Fragen am Ende messen einen anderen Teil dieses Problems. Wir haben weiterhin keinen veröffentlichten Benchmark mit geklärten Rechten für aufgenommenen Gesang, keine repräsentative Studie zu echten Bands und keinen gepaarten Genauigkeitstest mit Yamaha-Aufnahmen.

Hör dir die gespeicherten Testfälle an

Das sind die gespeicherten Ausgaben der Pipeline hinter den Messungen oben, dazu die Referenznoten des Datensatzes zum Vergleich. „Roh“ bedeutet: keine spätere redaktionelle Korrektur, nicht: perfekte Notation. Das Referenz-MIDI entsteht aus den Annotationen des Datensatzes und ist keine korrigierte ScoreStarling-Partitur. Seine Gitarrentonhöhen sind auf MIDI-Halbtöne gerundet, und es klingt nicht wie die aufgenommenen Instrumente.

GuitarSet-Solo, 02_BN1-147-Gb_solo, 19,6 Sekunden

• Aufnahme
• Roh-MIDI
• Referenz-MIDI
• Roh-MusicXML

Slakh Track01881, erste 60 Sekunden, synthetisch erzeugter Mix

• Aufnahme
• Roh-MIDI
• Referenz-MIDI
• Roh-MusicXML

GuitarSet von Q. Xi, R. M. Bittner, J. Pauwels, X. Ye und J. P. Bello sowie Slakh2100 von E. Manilow, G. Wichern, P. Seetharaman und J. Le Roux werden unter CC BY 4.0 verwendet. Die GuitarSet-Aufnahme ist unverändert; die Slakh-Aufnahme ist ein 60-sekündiger WAV-Ausschnitt. Vollständige Angaben zu Quelle und Änderungen stehen in den Nachweisen zu den Beispielen.

Quellen

1. GuitarSet 1.1.0 — Xi, Bittner, Pauwels, Ye und Bello, Zenodo (CC BY 4.0)
2. Projektseite von GuitarSet — die Autoren von GuitarSet
3. GuitarSet-Issues — marl/GuitarSet, GitHub
4. Slakh2100 — Manilow, Wichern, Seetharaman und Le Roux, Zenodo (CC BY 4.0)
5. Cutting Music Source Separation Some Slakh — Manilow et al., WASPAA 2019
6. A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation — Bittner et al., Spotify, 2022
7. Basic Pitch und die zugehörige Datei note_creation.py — Spotify, GitHub
8. mir_eval.transcription — Dokumentation von mir_eval
9. MuScriptor: An Open Model for Multi-Instrument Music Transcription — Rouard et al., 2026
10. Audio-to-MIDI Pro: full mixes to editable MIDI — Mirelo, 17. September 2026
11. Audio to MIDI converter und Changelog — Mirelo
12. How Accurate Is Automatic Music Transcription? — ScoreCloud

Fragen und Antworten

Kann KI Musik aus einer MP3-Datei transkribieren?

Ja, und zwar Note für Note als MIDI, mit Fehlern, die du korrigieren musst. Modelle wie Spotifys Basic Pitch arbeiten am besten mit einem einzelnen Instrument. Komplette Mixe brauchen ein Mehrinstrumenten-Modell und fallen weniger genau aus. In unserem Test vom 2. Oktober 2026 war das beste Ergebnis einer Gruppe ein Onset-F1 von 0,818, und zwar für Basic Pitch bei Sologitarre (0,846 bei einem erneuten Durchlauf am 4. Oktober, nach zwei Änderungen an der Art, wie ScoreStarling es einsetzt). Plane ein, einige Noten nach Gehör zu korrigieren.

Ist Basic Pitch genau genug, um daraus Noten zu machen?

Für einen ersten Entwurf mit einem Instrument: ja. Bei 12 Gitarrenaufnahmen erreichte es einen Onset-F1 von 0,744 für die Notenanfänge und 0,508, sobald auch die Notenenden zählten. Sein MIDI enthält keine Tonartvorzeichnung, keine Pausen und keine Stimmen; ein Notationsschritt muss sie ergänzen. Warum MIDI-Importe in MuseScore chaotisch aussehen zeigt, was dieser Schritt verändert.

Wie kann ich die Genauigkeit einer Transkription selbst messen?

Du brauchst eine Referenztranskription, der du vertraust, mit den Notenzeiten in Sekunden. Damit wertet die Open-Source-Bibliothek mir_eval aus, welche Noten übereinstimmen, und zwar mit den Toleranzen, die wir verwendet haben: 50 ms für den Anfang, 50 Cent für die Tonhöhe und für das Notenende 20 % der Notenlänge oder 50 ms. Ohne Referenz spielst du kurze Passagen in Schleife ab und vergleichst die Partitur nach Gehör mit der Aufnahme.

Warum hat Mirelo bei einigen Gitarrensoli keine Noten geliefert?

Das wissen wir nicht. Drei der sechs Solo-Aufnahmen kamen am 2. Oktober 2026 leer zurück. Wir haben sie ohne die optionale Instrumentenliste von Mirelo verarbeitet und nicht erneut versucht. Bei der Begleitung kam es nahe an Basic Pitch heran, und beim Ausschnitt mit mehreren Instrumenten lag es vorn.

Wie genau ist KI-Transkription bei Gesang oder Klavier?

Für Gesang haben wir noch keine eigenen Zahlen. Für Klavier gibt es sie nur bei synthetisch erzeugtem Audio. Wir haben am 6. Oktober 2026 die ersten Takte von 25 Stücken gemessen, die jeweils zweimal mit Rubato gespielt wurden. Unsere Option „Klavier solo“, die auf dem Klaviermodell von Kong und Kollegen aufbaut, hat etwa 92 % der notierten Noten erkannt, aber nur bei 35 der 50 Einspielungen die Zählzeiten richtig getroffen, und Zählzeiten, Taktart und Auftakt zusammen bei 26. Die Autoren von Basic Pitch haben es so gebaut, dass es über Instrumente hinweg funktioniert, Gesang eingeschlossen. Eine klare, trockene Aufnahme einer einzelnen Singstimme oder eines einzelnen Instruments gibt jedem Modell die besten Chancen.