Précision de la transcription musicale par IA : nos tests

La réponse courte

Assez précise pour une première version d’un seul instrument, que vous vérifiez ensuite à l’oreille. Sur 12 enregistrements de guitare publics, l’option Un instrument ou une voix de ScoreStarling a obtenu un F1 sur les attaques de 0,763 lors de notre nouveau passage du 4 octobre 2026, sur une échelle où 1,0 signifie que chaque note est trouvée à la bonne hauteur et au bon moment, sans rien en trop. Deux jours plus tôt, pris seuls, Basic Pitch obtenait 0,744 et l’Audio-to-MIDI de Mirelo 0,471. Ces scores vérifient la hauteur et l’instant où chaque note commence. Ils ne disent pas si le rythme est écrit de façon sensée ni si la page est prête à être jouée.

Que mesure le F1 sur les attaques (onset F1) ?

Le F1 sur les attaques compare une transcription à une transcription de référence, note par note, et sanctionne autant les notes manquées que les notes en trop. Une note transcrite correspond quand sa hauteur est à moins de 50 cents (un quart de ton) d’une note de référence et qu’elle commence à moins de 50 millisecondes de celle-ci. Chaque note de référence ne peut être appariée qu’une seule fois.

Cet appariement donne deux proportions. La précision est la part des notes du modèle qui correspondent. Le rappel est la part des notes de référence que le modèle a trouvées. Le F1 les combine par une moyenne harmonique : il reste bas dès que l’une des deux est basse. Prenons un passage de 100 notes. Un modèle qui écrit 100 notes, dont 75 sont correctes, obtient 0,75. Un modèle qui en trouve 90 sur 100 mais en écrit 150 pour y arriver a un rappel de 0,9, une précision de 0,6 et un F1 de 0,72. Les 60 notes en trop lui coûtent.

Le F1 sur les attaques et les fins de notes (onset+offset F1) ajoute une condition : chaque note doit aussi se terminer à moins de 20 % de la durée de la note de référence, ou à moins de 50 ms si cette valeur est plus longue. L’article de Spotify sur Basic Pitch prend le F1 sur les attaques comme indicateur principal, parce que la fin des notes est plus difficile à établir, et il en donne pour raisons la réverbération, la pédale de sustain et la manière dont les annotations sont réalisées. Nous donnons les deux. Aucun des deux ne vérifie l’instrument attribué à une note, l’armure ni la façon dont le rythme serait écrit.

Comment nous avons testé

Nous avons utilisé GuitarSet 1.1.0 (Xi et al., ISMIR 2018), un jeu de données public de 360 extraits de guitare d’environ 30 secondes chacun. Six guitaristes jouent les mêmes 30 grilles avec mélodie (lead sheets) dans cinq styles, d’abord en accompagnement (« comp »), puis en solo par-dessus. Il a été enregistré avec un micro hexaphonique, qui donne à chaque corde son propre signal et a permis aux auteurs d’automatiser en grande partie les annotations des notes.

Nous avons pris 12 enregistrements complets, un solo et un accompagnement par guitariste, à partir de l’audio du micro mono : 433 secondes au total. Le choix a été arrêté avant de lancer le moindre modèle. Pour chaque guitariste et chaque mode, nous avons gardé le fichier dont l’empreinte SHA-256 de « scorestarling-v1 : » suivi de son nom arrive en premier au tri. Auparavant, nous avions exclu trois enregistrements dont les annotations comportent des erreurs connues (issues #4 et #5 de GuitarSet : une note dupliquée et des instants erronés). Les résultats par enregistrement ci-dessous nomment les 12 retenus.

Le calcul a utilisé mir_eval 0.8.2 avec ses tolérances par défaut, décrites plus haut, et les scores sont moyennés par enregistrement pour que chacun compte à égalité. Rien n’a été ajusté : ni décalage temporel, ni filtrage, ni alignement. Basic Pitch 0.4.0 a tourné sur un Mac, et deux exécutions complètes ont donné des résultats identiques à l’octet près. L’API Audio-to-MIDI de Mirelo, qui indiquait son modèle comme a2m-1.1, a traité les mêmes 12 enregistrements le 2 octobre 2026. Nous n’avons pas envoyé la liste facultative d’instruments que son API accepte depuis le 6 août 2026, d’après le journal des modifications de Mirelo.

Quatre limites s’appliquent à tout ce qui suit :

• L’article sur Basic Pitch cite GuitarSet et Slakh parmi ses données d’entraînement : les deux tests lui sont donc favorables. Nous ne pouvons pas dire si nos 12 enregistrements GuitarSet figuraient dans son sous-ensemble d’entraînement. L’extrait de groupe provient du sous-ensemble de test de Slakh.
• Douze enregistrements de guitare et un extrait de groupe de 60 secondes forment un échantillon de diagnostic, pas un benchmark. Le chant et les prestations de groupe enregistrées ne sont pas mesurés. Le piano n’est mesuré que sur de l’audio synthétisé, avec un autre modèle (voir les questions à la fin).
• Mirelo a traité les enregistrements de guitare une seule fois, le 2 octobre. Nous n’avons pas relancé les trois pour lesquels il n’a rien renvoyé, par exemple en lui indiquant de s’attendre à une guitare acoustique. Renvoyé le 5 octobre, l’extrait de groupe a donné les mêmes notes.
• Aucun de ces chiffres n’évalue la partition écrite. Un indicateur au niveau de la partition, comme MV2H, qui vérifie aussi le chiffrage de la mesure, les voix et les valeurs de notes, reste à faire.

Nous avons un intérêt dans le résultat. ScoreStarling utilise Basic Pitch pour un instrument ou une voix, et Mirelo, notre partenaire pour les groupes, pour un groupe. C’est pourquoi la méthode, l’échantillon et les limites sont tous détaillés ici.

Basic Pitch contre Mirelo sur des enregistrements de guitare

Basic Pitch arrive en tête : très loin devant sur les lignes solo, de peu sur l’accompagnement.

Mise à jour du 4 octobre 2026 : nous avons repassé les mêmes 12 enregistrements dans l’option Un instrument ou une voix de ScoreStarling, après deux modifications. Une prise constamment trop haute ou trop basse est désormais recalée d’abord sur le la 440, et une mélodie est écrite une note à la fois. Elle a obtenu 0,846 sur les solos, 0,679 sur les accompagnements et 0,763 au total, soit 0,522 avec les fins de notes. Le tableau conserve les résultats du 2 octobre de Basic Pitch seul.

Mirelo n’a renvoyé aucune note pour trois des six enregistrements solo. Ils comptent pour zéro dans sa moyenne solo, car un résultat vide est ce qu’un utilisateur aurait reçu, et nous ne les avons pas relancés. Là où il a renvoyé des notes, le bilan est contrasté. Sur le premier enregistrement, 00_BN3-154-E_solo, les deux moteurs sont à égalité sur le début des notes (0,809 pour Basic Pitch, 0,814 pour Mirelo). Les fins de notes de Mirelo étaient plus éloignées de la référence (F1 sur les attaques et les fins de notes de 0,320 contre 0,524), et il a placé ce morceau à 154 BPM à environ 76,9 BPM, soit la moitié du tempo. Sur l’accompagnement, Mirelo a été nettement meilleur sur deux des six enregistrements. Sur les 12, son F1 sur les attaques et les fins de notes est de 0,224.

Les 0,744 de Basic Pitch sont proches de ce que ses auteurs rapportent sur leur propre sous-ensemble de test de GuitarSet, de 72 enregistrements : 0,79 de F1 sur les attaques, et 0,56 avec les fins de notes. Les moteurs diffèrent aussi par la vitesse. Basic Pitch a traité les 433 secondes d’audio en 54 secondes sur un Mac, ce qui n’est pas un temps de traitement en production. Sur le premier enregistrement, il a mis 6,1 secondes et Mirelo 37.

Que se passe-t-il avec un groupe complet ?

Un mixage est plus difficile, et là, Mirelo prend la tête. Nous avons pris les 60 premières secondes de Track01881, dans le sous-ensemble de test de Slakh2100, un jeu de données de 2 100 morceaux rendus à partir de MIDI avec des instruments virtuels à base d’échantillons, de sorte que les notes de référence sont exactes. Dans cette minute, on entend une guitare acoustique à cordes en acier et une guitare jazz, du piano, de la basse, du vibraphone et de la batterie. Sur l’ensemble des instruments à hauteur déterminée, sans tenir compte de l’instrument auquel une note a été attribuée, le F1 sur les attaques est de 0,520 pour Basic Pitch et de 0,672 pour Mirelo, calculé sur le fichier MIDI que renvoie chaque moteur.

Basic Pitch écrit une seule partie combinée et pas de batterie. Mirelo écrit une partie par instrument : seul Mirelo peut donc être évalué instrument par instrument, avec les instruments regroupés ici par classes General MIDI :

F1 sur les attaques de Mirelo par instrument un extrait de groupe de 60 secondes, de 0 à 1

Piano0.827

Batterie0.698

Guitares0.681

Basse0.455

Vibraphone0.137

Distinguer les deux guitares était plus difficile. Évaluées partie par partie à partir de la liste de notes de Mirelo le 2 octobre, la guitare acoustique à cordes en acier atteint 0,364 et la guitare jazz 0,148. Le fichier MIDI fait démarrer ses notes environ 20 ms plus tôt que cette liste, si bien que ses chiffres diffèrent légèrement. Mirelo a aussi écrit 92 notes pour des instruments absents du morceau : orgue, nappe de synthé, violon et violoncelle. Les coups de batterie ne sont évalués que sur leur instant, quel que soit l’élément de batterie frappé. C’est un seul morceau, rendu et non enregistré : voyez-y une tendance, pas un classement.

Quelles notes ont le plus de chances d’être fausses ?

Avec Basic Pitch, les plus douces. Basic Pitch fixe la vélocité MIDI de chaque note à 127 fois l’activation moyenne du modèle sur cette note : la vélocité sert donc aussi de score de confiance. Sur les 2 715 notes qu’il a écrites pour les 12 enregistrements de guitare, appariées avec la même fenêtre de 50 ms, la plupart des notes de faible vélocité étaient fausses :

Notes que Basic Pitch a trouvées correctes, par vélocité 2 715 notes issues de 12 enregistrements de guitare

Moins de 5021%

50–5940%

60–7967%

80–12786%

La vélocité sépare les notes correctes des notes fausses avec une AUC de 0,77, où 0,5 correspond à un tirage à pile ou face et 1,0 à la perfection. La durée de la note atteint 0,53 : une note courte n’est donc pas un bon signal d’alerte. Supprimer toutes les notes de vélocité inférieure à 50 ferait passer le F1 global sur les attaques de 0,744 à 0,765, mais une note sur cinq parmi celles-ci est correcte. C’est pourquoi le contrôle de la partition dans ScoreStarling les signale comme douteuses au lieu de les supprimer, et laisse la décision à vos oreilles. Si vous utilisez Basic Pitch vous-même, colorez ou triez les notes par vélocité dans un piano roll et vous obtenez la même courte liste.

Pourquoi les chiffres de précision publiés ne concordent-ils pas ?

Ils mesurent des choses différentes sur des enregistrements différents, et certains ne disent pas ce qu’ils ont mesuré.

Deux chiffres ne sont comparables que si l’indicateur, la tolérance et les enregistrements correspondent. Notre résultat pour Basic Pitch peut être placé à côté de celui de son article, puisque les deux utilisent le F1 sur les attaques sur GuitarSet, bien que sur des sous-ensembles différents. Il ne peut pas l’être à côté de celui de MuScriptor. La page de ScoreCloud ne dit pas comment la précision des hauteurs a été comptée, sur combien d’enregistrements, ni si la position dans le temps des notes comptait. MuScriptor est le modèle de recherche ouvert dont est issu l’Audio-to-MIDI Pro de Mirelo, et Mirelo décrit son modèle de production comme plus précis. L’article de Mirelo du 17 septembre 2026 dit qu’un modèle mis à jour a amélioré la précision des notes et des instruments « dans nos évaluations », sans publier de chiffres.

Des notes exactes font-elles une partition lisible ?

Non. Le F1 sur les attaques compare des notes en secondes et ne dit rien de la façon dont la partition écrite se lit. Une partition a aussi besoin d’une armure, de dièses et de bémols bien choisis, de silences écrits, de voix et d’un chiffrage de la mesure, et le MIDI brut d’un modèle comme Basic Pitch n’en contient aucun. À partir des mêmes notes de Basic Pitch, notre premier module de notation a produit des partitions sans armure et sans silences visibles dans les 12 cas. L’import MIDI de MuseScore Studio a écrit la tonalité annotée dans 10 cas sur 12 et a affiché tous les silences. Le MusicXML de Mirelo contenait la tonalité annotée dans 5 de ses 9 cas menés à terme, toujours sur une seule portée en clé de sol.

Une transcription peut donc obtenir un bon score et rester difficile à lire, et une page bien rangée peut contenir de mauvaises notes. Le détail complet avant et après se trouve dans Pourquoi un fichier MIDI importé paraît désordonné dans MuseScore.

Quel moteur de transcription choisir ?

Choisissez selon l’enregistrement. Voici comment nous lisons ces résultats :

• Un instrument ou une seule ligne mélodique : Basic Pitch. Il était très loin devant sur la guitare solo, il est gratuit et open source, et son README indique qu’il fonctionne mieux sur un instrument à la fois.
• Un groupe, ou un mixage où il vous faut des parties séparées ou la batterie : un modèle multi-instruments comme celui de Mirelo, puisque Basic Pitch écrit une seule partie combinée.
• Accompagnement à la guitare : l’un ou l’autre. Ils étaient proches en moyenne et chacun a mieux réussi sur des enregistrements différents ; si le choix compte, essayez les deux sur un court extrait.
• Chant : nous ne l’avons pas encore mesuré. Piano : nous n’avons mesuré que notre propre option Piano seul, sur de l’audio synthétisé, donc nous ne pouvons pas classer les moteurs pour cet instrument.

Quel que soit le moteur, vérifiez le rythme et la durée des notes à l’oreille. Avec la transcription musicale par IA de ScoreStarling, le moteur est choisi d’après l’option que vous retenez :

Les fichiers importés peuvent atteindre 95 Mo. Les parties de guitare, de basse et d’ukulélé peuvent aussi être affichées en tablature, sans tirés, glissés ni hammer-ons. Les caractéristiques techniques donnent le reste. Les résultats ci-dessus, du 2 octobre et du nouveau passage du 4 octobre, n’incluent pas l’option Piano seul.

Ce que couvrent ces résultats aujourd’hui

Le résultat guitare du 4 octobre mesure une version de la chaîne de traitement : Basic Pitch 0.4.0, révision 0775b4d du code source de ScoreStarling, 12 enregistrements GuitarSet au microphone. Son F1 moyen sur les attaques est de 0,7626 et son F1 sur les attaques et les fins de notes de 0,5224. Le F1 sur les attaques des solos est de 0,8462 et celui de l’accompagnement de 0,6791. Il ne mesure pas toutes les versions déployées depuis.

L’exemple Slakh correspond aux 60 premières secondes de Track01881, un mixage multipiste synthétisé, pas un groupe jouant en direct. Le résultat enregistré du 2 octobre donne un F1 sur les attaques des notes à hauteur déterminée de 0,6722 et un F1 sur les attaques et les fins de notes de 0,1262. Le F1 sur les attaques de la batterie, 0,6983, ignore quel élément a été frappé, et 92 notes sont allées à des classes d’instruments absentes de la référence. Ne comparer que les débuts de notes fait donc paraître les parties plus utilisables qu’elles ne le sont.

Dans une recherche hors ligne distincte, le 18 octobre, nous avons comparé cinq vrais enregistrements de piano du jeu de données SMD, de 60 secondes chacun, avec une tolérance de 50 ms sur les attaques. Le F1 moyen sur les attaques était de 0,9945 pour Transkun v2 et de 0,9871 pour le modèle de Kong précédent. C’est un petit test apparié qui n’a pas été admis en préproduction ni en production. Ce n’est pas un score du produit en ligne, et nous n’en publions pas l’audio ici.

Aucun de ces indicateurs portant sur les notes n’évalue la pulsation, le chiffrage de la mesure, l’anacrouse, l’attribution des portées ni la lisibilité de la page. Les 50 interprétations de piano synthétisées des questions à la fin mesurent une autre partie du problème. Nous n’avons toujours aucun benchmark publié, aux droits d’usage réglés, d’enregistrements de chant, aucune étude représentative de vrais groupes ni aucun test de précision apparié sur des enregistrements Yamaha.

Écouter les cas de test enregistrés

Voici les sorties enregistrées de la chaîne de traitement derrière les résultats ci-dessus, avec les notes de référence du jeu de données pour comparaison. « Brut » signifie qu’aucune correction éditoriale n’a été faite ensuite, pas que la notation est parfaite. Le MIDI de référence est produit à partir des annotations du jeu de données et n’est pas une partition ScoreStarling corrigée. Ses hauteurs de guitare sont arrondies au demi-ton MIDI, et il ne sonne pas comme les instruments enregistrés.

GuitarSet solo, 02_BN1-147-Gb_solo, 19,6 secondes

• Enregistrement
• MIDI brut
• MIDI de référence
• MusicXML brut

Slakh Track01881, 60 premières secondes, mixage synthétisé

• Enregistrement
• MIDI brut
• MIDI de référence
• MusicXML brut

GuitarSet de Q. Xi, R. M. Bittner, J. Pauwels, X. Ye et J. P. Bello, et Slakh2100 de E. Manilow, G. Wichern, P. Seetharaman et J. Le Roux, sont utilisés sous licence CC BY 4.0. L’enregistrement GuitarSet est inchangé ; l’enregistrement Slakh est un extrait WAV de 60 secondes. Les détails complets sur la source et les modifications figurent dans les attributions des exemples.

Sources

1. GuitarSet 1.1.0 — Xi, Bittner, Pauwels, Ye et Bello, Zenodo (CC BY 4.0)
2. Page du projet GuitarSet — les auteurs de GuitarSet
3. Issues de GuitarSet — marl/GuitarSet, GitHub
4. Slakh2100 — Manilow, Wichern, Seetharaman et Le Roux, Zenodo (CC BY 4.0)
5. Cutting Music Source Separation Some Slakh — Manilow et al., WASPAA 2019
6. A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation — Bittner et al., Spotify, 2022
7. Basic Pitch et son fichier note_creation.py — Spotify, GitHub
8. mir_eval.transcription — documentation de mir_eval
9. MuScriptor : An Open Model for Multi-Instrument Music Transcription — Rouard et al., 2026
10. Audio-to-MIDI Pro : full mixes to editable MIDI — Mirelo, 17 septembre 2026
11. Audio to MIDI converter et Changelog — Mirelo
12. How Accurate Is Automatic Music Transcription ? — ScoreCloud

Questions et réponses

L’IA peut-elle transcrire de la musique à partir d’un MP3 ?

Oui, en MIDI, note par note, avec des erreurs à corriger. Des modèles comme Basic Pitch de Spotify donnent leurs meilleurs résultats sur un seul instrument. Les mixages complets demandent un modèle multi-instruments et sont moins précis. Lors de notre test du 2 octobre 2026, le meilleur résultat d’une catégorie d’enregistrements était un F1 sur les attaques de 0,818, pour Basic Pitch sur de la guitare solo (0,846 lors d’un nouveau passage le 4 octobre, après deux modifications dans la façon dont ScoreStarling l’utilise). Prévoyez de corriger certaines notes à l’oreille.

Basic Pitch est-il assez précis pour produire une partition ?

Pour une première version d’un seul instrument, oui. Sur 12 enregistrements de guitare, son F1 sur les attaques (le début des notes) est de 0,744, et de 0,508 une fois les fins de notes prises en compte. Son MIDI ne contient ni armure, ni silences, ni voix : une étape de notation doit les ajouter. Pourquoi un fichier MIDI importé paraît désordonné dans MuseScore montre ce que change cette étape.

Comment mesurer soi-même la précision d’une transcription ?

Il vous faut une transcription de référence fiable, avec les instants des notes en secondes. Avec elle, la bibliothèque open source mir_eval évalue la correspondance des notes avec les tolérances que nous avons utilisées : 50 ms pour le début, 50 cents pour la hauteur et, pour la fin de la note, 20 % de sa durée ou 50 ms. Sans référence, lisez de courts passages en boucle et comparez la partition à l’enregistrement à l’oreille.

Pourquoi Mirelo n’a-t-il renvoyé aucune note pour certains solos de guitare ?

Nous l’ignorons. Trois des six enregistrements solo sont revenus vides le 2 octobre 2026. Nous les avons traités sans la liste facultative d’instruments de Mirelo et nous ne les avons pas relancés. Sur l’accompagnement, il est resté proche de Basic Pitch, et il a pris la tête sur l’extrait multi-instruments.

Quelle est la précision de l’IA pour le chant ou le piano ?

Pour le chant, nous n’avons pas encore nos propres chiffres. Pour le piano, seulement sur de l’audio synthétisé. Nous avons mesuré les premières mesures de 25 morceaux, chacun joué deux fois avec rubato, le 6 octobre 2026. Notre option Piano seul, fondée sur le modèle de piano de Kong et de ses collègues, a entendu environ 92 % des notes écrites, mais elle n’a trouvé la bonne pulsation que dans 35 des 50 interprétations, et la pulsation, le chiffrage de la mesure et l’anacrouse ensemble dans 26. Les auteurs de Basic Pitch l’ont conçu pour fonctionner quel que soit l’instrument, voix comprise. Un enregistrement net et sec d’une seule voix ou d’un seul instrument donne à n’importe quel modèle sa meilleure chance.