Precisión de la transcripción de música con IA: la medimos

La respuesta corta

Suficiente para un primer borrador de un instrumento, que luego compruebas de oído. Con 12 grabaciones públicas de guitarra, la opción Un instrumento o una voz de ScoreStarling obtuvo un F1 de ataque (onset F1) de 0,763 en nuestra repetición del 4 de octubre de 2026, en una escala en la que 1,0 significa que cada nota se encontró con la altura y el momento correctos y sin ninguna de más. Dos días antes, por sí solos, Basic Pitch obtuvo 0,744 y el Audio-to-MIDI de Mirelo, 0,471. Estas puntuaciones comprueban la altura y cuándo empieza cada nota. No te dicen si el ritmo está escrito con sentido ni si la página está lista para tocar desde ella.

¿Qué mide el F1 de ataque (onset F1)?

El F1 de ataque compara una transcripción con una transcripción de referencia nota por nota, y penaliza por igual las notas que faltan y las que sobran. Una nota transcrita coincide cuando su altura está dentro de 50 cents (un cuarto de tono) de una nota de referencia y empieza dentro de 50 milisegundos de ella. Cada nota de referencia solo puede coincidir una vez.

La comparación da dos proporciones. La precisión es la proporción de notas del modelo que coinciden. La exhaustividad (recall) es la proporción de notas de referencia que el modelo encontró. El F1 las combina con una media armónica, así que se mantiene bajo si cualquiera de las dos es baja. Imagina un pasaje de 100 notas. Un modelo que escribe 100 notas, 75 de ellas correctas, obtiene 0,75. Un modelo que encuentra 90 de las 100 pero escribe 150 notas para lograrlo tiene una exhaustividad de 0,9, una precisión de 0,6 y un F1 de 0,72. Las 60 notas de más le cuestan puntos.

El F1 de ataque y final (onset+offset F1) añade una condición más: cada nota también debe terminar dentro del 20 % de la duración de la nota de referencia, o dentro de 50 ms si ese margen es mayor. El artículo de investigación de Basic Pitch, de Spotify, usa el F1 de ataque como medida principal porque los finales de las notas son más difíciles de fijar, y señala como causas la reverberación, el pedal de resonancia y la manera de hacer las anotaciones. Nosotros informamos de las dos. Ninguna de las dos comprueba a qué instrumento se asignó una nota, ni la armadura, ni cómo se escribiría el ritmo.

Cómo lo probamos

Usamos GuitarSet 1.1.0 (Xi et al., ISMIR 2018), un conjunto de datos público de 360 fragmentos de guitarra de unos 30 segundos cada uno. Seis guitarristas tocan las mismas 30 lead sheets (melodía y acordes) en cinco estilos, primero como acompañamiento (“comp”) y después como solo encima. Se grabó con una pastilla hexafónica, que da a cada cuerda su propia señal y permitió a los autores automatizar en buena parte las anotaciones de las notas.

Tomamos 12 grabaciones completas, un solo y un acompañamiento por guitarrista, con el audio mono del micrófono: 433 segundos en total. La elección se fijó antes de ejecutar ningún modelo. Para cada guitarrista y modo, tomamos el archivo cuyo hash SHA-256 de “scorestarling-v1:” más su nombre queda primero en el orden. Antes excluimos tres grabaciones con errores de anotación conocidos (issues #4 y #5 de GuitarSet: una nota duplicada y tiempos incorrectos). Los resultados por grabación de más abajo nombran las 12 elegidas.

Para puntuar usamos mir_eval 0.8.2 con sus tolerancias predeterminadas, descritas arriba, y promediamos por grabación para que cada una cuente igual. No ajustamos nada: ni desfases de tiempo, ni filtrado, ni desplazamientos de alineación. Basic Pitch 0.4.0 se ejecutó en un Mac, y dos pasadas completas dieron salidas idénticas byte a byte. La API Audio-to-MIDI de Mirelo, que indicó que su modelo era a2m-1.1, procesó las mismas 12 grabaciones el 2 de octubre de 2026. No enviamos la lista opcional de instrumentos que su API acepta desde el 6 de agosto de 2026, según el registro de cambios de Mirelo.

Cuatro límites afectan a todo lo que sigue:

• El artículo de Basic Pitch cita GuitarSet y Slakh entre sus datos de entrenamiento, así que ambas pruebas lo favorecen. No podemos saber si nuestras 12 grabaciones de GuitarSet estaban en su partición de entrenamiento. El fragmento de banda sale de la partición de prueba de Slakh.
• Doce grabaciones de guitarra y un fragmento de banda de 60 segundos son una muestra de diagnóstico, no un benchmark. La voz cantada y las grabaciones reales de bandas no se han medido. El piano se mide solo con audio sintetizado y con otro modelo (consulta las preguntas del final).
• Mirelo procesó las grabaciones de guitarra una sola vez, el 2 de octubre. No hemos vuelto a probar las tres en las que no devolvió nada, por ejemplo indicándole que espere guitarra acústica. Al enviarlo de nuevo el 5 de octubre, el fragmento de banda devolvió las mismas notas.
• Ninguno de estos números puntúa la partitura escrita. Una medida a nivel de partitura como MV2H, que también comprueba la indicación de compás, las voces y la duración de las notas, está todavía por hacer.

Tenemos interés en el resultado. ScoreStarling usa Basic Pitch para un instrumento o una voz, y Mirelo, nuestro socio para bandas, para una banda. Por eso aquí se detallan el método, la muestra y los límites.

Basic Pitch frente a Mirelo en grabaciones de guitarra

Basic Pitch quedó por delante: muy por delante en las líneas solistas y por poco en el acompañamiento.

Actualización, 4 de octubre de 2026: volvimos a pasar las mismas 12 grabaciones por la opción Un instrumento o una voz de ScoreStarling tras dos cambios. Una toma que suena siempre algo alta o baja se reafina ahora primero a La de 440 Hz, y una melodía se escribe nota por nota. Obtuvo 0,846 en los solos, 0,679 en los acompañamientos y 0,763 en total, o 0,522 contando los finales de las notas. La tabla mantiene por separado los resultados de Basic Pitch del 2 de octubre.

Mirelo no devolvió ninguna nota en tres de las seis grabaciones de solos. Cuentan como cero en su promedio de solos, porque un resultado vacío es lo que habría recibido un usuario, y no las hemos vuelto a ejecutar. Donde sí devolvió notas, el panorama fue desigual. En la primera grabación, 00_BN3-154-E_solo, los dos motores quedaron a la par en el inicio de las notas (0,809 Basic Pitch, 0,814 Mirelo). Los finales de las notas de Mirelo se desviaron más (F1 de ataque y final de 0,320 frente a 0,524), y situó la pieza de 154 BPM en unos 76,9 BPM, la mitad del tempo. En el acompañamiento, Mirelo fue claramente mejor en dos de las seis grabaciones. En las 12, su F1 de ataque y final fue de 0,224.

Los 0,744 de Basic Pitch se acercan a lo que sus autores indican en su propia partición de prueba de GuitarSet, de 72 grabaciones: 0,79 de F1 de ataque, y 0,56 con los finales de las notas. Los motores también se distinguieron en la velocidad. Basic Pitch procesó los 433 segundos de audio en 54 segundos en un Mac, un tiempo que no es de producción. En la primera grabación tardó 6,1 segundos y Mirelo, 37.

¿Qué pasa con una banda completa?

Una mezcla es más difícil, y ahí Mirelo fue por delante. Tomamos los primeros 60 segundos de Track01881, de la partición de prueba de Slakh2100, un conjunto de datos de 2100 canciones generadas a partir de MIDI con instrumentos virtuales basados en muestras, así que las notas de referencia son exactas. En ese minuto se oyen guitarra de cuerdas de acero y de jazz, piano, bajo, vibráfono y batería. Agrupando todos los instrumentos con altura definida e ignorando a qué instrumento se asignó cada nota, el F1 de ataque fue de 0,520 para Basic Pitch y de 0,672 para Mirelo, calculado sobre el archivo MIDI que devuelve cada motor.

Basic Pitch escribe una sola parte combinada y no escribe batería. Mirelo escribe una parte por instrumento, así que solo Mirelo se puede puntuar por instrumento, aquí agrupados en clases de instrumentos de General MIDI:

F1 de ataque de Mirelo por instrumento un fragmento de banda de 60 segundos, de 0 a 1

Piano0.827

Batería0.698

Guitarras0.681

Bajo0.455

Vibráfono0.137

Distinguir las dos guitarras fue más difícil. Puntuadas parte por parte a partir de la lista de notas de Mirelo el 2 de octubre, la guitarra de cuerdas de acero llegó a 0,364 y la de jazz a 0,148. El archivo MIDI empieza sus notas unos 20 ms antes que esa lista, por lo que sus cifras difieren un poco. Mirelo también escribió 92 notas para instrumentos que no están en la canción: órgano, pad de sintetizador, violín y violonchelo. Los golpes de batería se puntúan solo por el momento en que suenan, sea cual sea la pieza de la batería que se golpee. Es una sola canción, sintetizada y no grabada, así que tómalo como una orientación, no como una clasificación.

¿Qué notas tienen más probabilidad de estar mal?

Con Basic Pitch, las más suaves. Basic Pitch fija la velocity (intensidad MIDI) de cada nota en 127 veces la activación media del modelo sobre esa nota, así que la velocity sirve también como puntuación de confianza. De las 2715 notas que escribió para las 12 grabaciones de guitarra, comparadas con la misma ventana de 50 ms, la mayoría de las de velocity baja estaban mal:

Notas que Basic Pitch acertó, por velocity 2715 notas de 12 grabaciones de guitarra

Menos de 5021%

50–5940%

60–7967%

80–12786%

La velocity separa las notas correctas de las erróneas con un AUC de 0,77, donde 0,5 equivale a lanzar una moneda y 1,0 es perfecto. La duración de la nota llega a 0,53, así que una nota corta no es una señal de alerta útil. Borrar todas las notas con velocity inferior a 50 subiría el F1 de ataque global de 0,744 a 0,765, pero una de cada cinco de esas notas es correcta. Por eso la revisión de la partitura de ScoreStarling las muestra como dudosas en lugar de borrarlas, y deja la decisión a tus oídos. Si ejecutas Basic Pitch por tu cuenta, colorea u ordena las notas por velocity en un piano roll y obtendrás la misma lista corta.

¿Por qué no coinciden las cifras de precisión publicadas?

Miden cosas distintas en grabaciones distintas, y algunas no dicen qué midieron.

Dos cifras solo se pueden comparar cuando coinciden la métrica, la tolerancia y las grabaciones. Nuestro resultado de Basic Pitch puede ponerse junto al de su artículo, ya que ambos usan el F1 de ataque sobre GuitarSet, aunque con subconjuntos distintos. No puede ponerse junto al de MuScriptor. La página de ScoreCloud no dice cómo se contó la precisión de la altura, con cuántas grabaciones, ni si el tiempo importaba. MuScriptor es el modelo de investigación abierto del que partió Audio-to-MIDI Pro de Mirelo, y Mirelo describe su modelo de producción como más preciso. La publicación de Mirelo del 17 de septiembre de 2026 dice que un modelo actualizado mejoró la precisión de las notas y los instrumentos “en nuestras evaluaciones”, sin publicar cifras.

¿Unas notas precisas dan una partitura legible?

No. El F1 de ataque compara notas en segundos y no dice nada de cómo se lee la partitura escrita. Una partitura necesita además armadura, sostenidos y bemoles con sentido, silencios escritos, voces e indicación de compás, y el MIDI simple de un modelo como Basic Pitch no trae nada de eso. A partir de las mismas notas de Basic Pitch, nuestro primer generador de partituras produjo partituras sin armadura y sin silencios visibles en los 12 casos. El importador de MIDI de MuseScore Studio escribió la armadura de la tonalidad anotada en 10 de 12 y mostró todos los silencios. El MusicXML propio de Mirelo traía la armadura de la tonalidad anotada en 5 de sus 9 casos completados, siempre en un único pentagrama en clave de sol.

Así que una transcripción puede puntuar bien y aun así ser difícil de leer, y una página ordenada puede seguir teniendo notas erróneas. El antes y después completo está en Por qué un archivo MIDI se ve desordenado al importarlo en MuseScore.

¿Qué motor de transcripción conviene usar?

Elige según la grabación. Así leemos estos resultados:

• Un instrumento o una línea melódica: Basic Pitch. Fue muy superior con los solos de guitarra, es gratis y de código abierto, y su README dice que funciona mejor con un instrumento a la vez.
• Una banda, o una mezcla en la que necesitas partes separadas o la batería: un modelo multiinstrumento como el de Mirelo, ya que Basic Pitch escribe una sola parte combinada.
• Acompañamiento de guitarra: cualquiera de los dos. Estuvieron cerca en promedio y cada uno salió mejor en grabaciones distintas, así que, si la elección importa, prueba ambos con un fragmento corto.
• Voz cantada: todavía no la hemos medido. Piano: solo hemos medido nuestra propia opción de piano solo, con audio sintetizado, así que no podemos clasificar motores para él.

Uses el motor que uses, comprueba de oído el ritmo y la duración de las notas. La transcripción de música con IA de ScoreStarling elige el motor según la opción que escojas:

Puedes subir archivos de hasta 95 MiB. Las partes de guitarra, bajo y ukelele también se pueden leer como TAB, sin bends, deslizamientos ni ligados ascendentes. Las especificaciones tienen el resto. Las mediciones anteriores, del 2 de octubre y de la repetición del 4 de octubre, no incluyen la opción Piano solo.

Qué cubren hoy estos resultados

El resultado de guitarra del 4 de octubre mide una sola versión del proceso de transcripción: Basic Pitch 0.4.0, revisión del código de ScoreStarling 0775b4d, 12 grabaciones de GuitarSet con micrófono. Su F1 de ataque medio es 0,7626 y su F1 de ataque y final, 0,5224. El F1 de ataque en los solos es 0,8462 y en el acompañamiento, 0,6791. No mide todas las versiones desplegadas desde entonces.

El ejemplo de Slakh son los primeros 60 segundos de Track01881, una mezcla multipista sintetizada, no una banda en vivo. El resultado guardado del 2 de octubre tiene un F1 de ataque de notas con altura definida de 0,6722 y un F1 de ataque y final de 0,1262. El F1 de ataque de la batería, 0,6983, ignora qué pieza de la batería se golpeó, y 92 notas fueron a clases de instrumento que no están en la referencia. Por eso, comparar solo el inicio de las notas hace que las partes parezcan más utilizables de lo que son.

En una investigación aparte, hecha offline, el 18 de octubre comparamos cinco grabaciones reales de piano del conjunto de datos SMD, de 60 segundos cada una, con una tolerancia de ataque de 50 ms. El F1 de ataque medio fue de 0,9945 para Transkun v2 y de 0,9871 para el modelo anterior de Kong. Es una prueba pareada pequeña que no se ha aprobado para el entorno de pruebas (staging) ni para producción. No es una puntuación del producto en uso, y no publicamos aquí su audio.

Ninguna de estas métricas de notas puntúa el pulso, la indicación de compás, la anacrusa, la asignación a pentagramas ni la legibilidad de la página. Las 50 interpretaciones de piano sintetizadas de las preguntas del final miden otra parte de ese problema. Seguimos sin tener un benchmark publicado y con los derechos resueltos de canto grabado, ni un estudio representativo de bandas reales, ni una prueba de precisión pareada con grabaciones de Yamaha.

Escucha los casos de prueba guardados

Estos son los resultados guardados del proceso que hay detrás de las mediciones anteriores, junto a las notas de referencia del conjunto de datos para comparar. En bruto significa sin corrección editorial posterior, no notación perfecta. El MIDI de referencia se hace a partir de las anotaciones del conjunto de datos y no es una partitura de ScoreStarling corregida. Sus alturas de guitarra se redondean a semitonos MIDI, y no suena como los instrumentos grabados.

Solo de GuitarSet, 02_BN1-147-Gb_solo, 19,6 segundos

• Grabación
• MIDI en bruto
• MIDI de referencia
• MusicXML en bruto

Slakh Track01881, primeros 60 segundos, mezcla sintetizada

• Grabación
• MIDI en bruto
• MIDI de referencia
• MusicXML en bruto

GuitarSet, de Q. Xi, R. M. Bittner, J. Pauwels, X. Ye y J. P. Bello, y Slakh2100, de E. Manilow, G. Wichern, P. Seetharaman y J. Le Roux, se usan bajo CC BY 4.0. La grabación de GuitarSet no está modificada; la de Slakh es un fragmento de 60 segundos en WAV. Los detalles completos de la fuente y de las modificaciones están en los créditos de las muestras.

Fuentes

1. GuitarSet 1.1.0 — Xi, Bittner, Pauwels, Ye y Bello, Zenodo (CC BY 4.0)
2. Página del proyecto GuitarSet — los autores de GuitarSet
3. Issues de GuitarSet — marl/GuitarSet, GitHub
4. Slakh2100 — Manilow, Wichern, Seetharaman y Le Roux, Zenodo (CC BY 4.0)
5. Cutting Music Source Separation Some Slakh — Manilow et al., WASPAA 2019
6. A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation — Bittner et al., Spotify, 2022
7. Basic Pitch y su note_creation.py — Spotify, GitHub
8. mir_eval.transcription — documentación de mir_eval
9. MuScriptor: An Open Model for Multi-Instrument Music Transcription — Rouard et al., 2026
10. Audio-to-MIDI Pro: full mixes to editable MIDI — Mirelo, 17 de septiembre de 2026
11. Audio to MIDI converter y Changelog — Mirelo
12. How Accurate Is Automatic Music Transcription? — ScoreCloud

Preguntas y respuestas

¿Puede la IA transcribir música a partir de un MP3?

Sí, a MIDI, nota por nota, con errores que tendrás que corregir. Modelos como Basic Pitch, de Spotify, funcionan mejor con un solo instrumento. Las mezclas completas necesitan un modelo multiinstrumento y salen con menos precisión. En nuestra prueba del 2 de octubre de 2026, el mejor resultado de grupo fue un F1 de ataque (onset F1) de 0,818, el de Basic Pitch con solos de guitarra (0,846 en una repetición del 4 de octubre, tras dos cambios en cómo lo usa ScoreStarling). Prepárate para corregir algunas notas de oído.

¿Es Basic Pitch lo bastante preciso para hacer una partitura?

Para un primer borrador de un instrumento, sí. Con 12 grabaciones de guitarra obtuvo un F1 de ataque de 0,744 para el inicio de las notas, y de 0,508 al contar también su final. Su MIDI no trae armadura, silencios ni voces, así que un paso de notación tiene que añadirlos. Por qué un archivo MIDI se ve desordenado al importarlo en MuseScore muestra qué cambia ese paso.

¿Cómo puedo medir por mi cuenta la precisión de una transcripción?

Necesitas una transcripción de referencia en la que confíes, con los tiempos de las notas en segundos. Con ella, la biblioteca de código abierto mir_eval puntúa las coincidencias de notas con las tolerancias que usamos: 50 ms para el inicio, 50 cents para la altura y, para el final de la nota, el 20 % de su duración o 50 ms. Sin una referencia, repite en bucle pasajes cortos y compara la partitura con la grabación de oído.

¿Por qué Mirelo no devolvió notas en algunos solos de guitarra?

No lo sabemos. Tres de las seis grabaciones de solos volvieron vacías el 2 de octubre de 2026. Las procesamos sin la lista opcional de instrumentos de Mirelo y no las hemos vuelto a probar. En el acompañamiento se acercó a Basic Pitch, y en el fragmento con varios instrumentos fue el mejor.

¿Qué precisión tiene la transcripción con IA para canto o piano?

Para el canto, todavía no tenemos números propios. Para el piano, solo con audio sintetizado. Medimos los compases iniciales de 25 piezas, cada una tocada dos veces con rubato, el 6 de octubre de 2026. Nuestra opción de piano solo, basada en el modelo de piano de Kong y colaboradores, detectó alrededor del 92 % de las notas escritas, pero acertó con el pulso solo en 35 de las 50 interpretaciones, y con el pulso, la indicación de compás y la anacrusa a la vez en 26. Los autores de Basic Pitch lo crearon para funcionar con distintos instrumentos, la voz incluida. Una grabación clara y seca de una sola voz o un solo instrumento le da a cualquier modelo su mejor oportunidad.