Qual a precisão da transcrição de música com IA? Nós medimos

A resposta curta

Precisa o bastante para um primeiro rascunho de um instrumento, que você depois confere de ouvido. Em 12 gravações públicas de violão, a opção de um instrumento do ScoreStarling obteve um F1 de ataque (onset) de 0,763 na nova rodada de 4 de outubro de 2026, numa escala em que 1,0 significa que todas as notas foram encontradas na altura e no momento certos, sem nenhuma a mais. Dois dias antes, isoladamente, o Basic Pitch obteve 0,744 e o Audio-to-MIDI do Mirelo, 0,471. Essas pontuações verificam a altura e o momento em que cada nota começa. Não dizem se o ritmo foi escrito de forma sensata nem se a página está pronta para tocar.

O que o F1 de ataque (onset) mede?

O F1 de ataque compara uma transcrição com uma transcrição de referência, nota por nota, e pune do mesmo jeito as notas que faltam e as notas a mais. Uma nota transcrita coincide com uma de referência quando sua altura fica a até 50 cents (um quarto de tom) dela e ela começa a até 50 milissegundos do início da outra. Cada nota de referência só pode ser pareada uma vez.

O pareamento gera duas proporções. A precisão é a parcela das notas do modelo que coincidem. O recall é a parcela das notas de referência que o modelo encontrou. O F1 combina as duas numa média harmônica, então fica baixo quando qualquer uma delas é baixa. Pense num trecho de 100 notas. Um modelo que escreve 100 notas, 75 delas certas, tem 0,75. Um modelo que encontra 90 das 100, mas escreve 150 notas para isso, tem recall de 0,9, precisão de 0,6 e F1 de 0,72. São as 60 notas a mais que o prejudicam.

O F1 de ataque e fim da nota (onset+offset) acrescenta mais uma condição: cada nota também precisa terminar a até 20% da duração da nota de referência, ou a até 50 ms, se esse valor for maior. O artigo do Basic Pitch, do Spotify, usa o F1 de ataque como medida principal porque o fim das notas é mais difícil de definir, e cita como motivos o reverb, o pedal de sustentação e a forma como as anotações são feitas. Nós informamos os dois. Nenhum deles verifica qual instrumento recebeu a nota, a armadura de clave ou como o ritmo seria escrito.

Como testamos

Usamos o GuitarSet 1.1.0 (Xi et al., ISMIR 2018), um conjunto de dados público com 360 trechos de violão de cerca de 30 segundos cada. Seis violonistas tocam as mesmas 30 lead sheets (melodia e cifra) em cinco estilos, primeiro como acompanhamento (“comp”) e depois como solo por cima dele. A gravação usou um captador hexafônico, que dá a cada corda seu próprio sinal e permitiu aos autores automatizar em grande parte a anotação das notas.

Pegamos 12 gravações completas, um solo e um comp por violonista, usando o áudio do microfone em mono: 433 segundos no total. A escolha foi fixada antes de qualquer modelo rodar. Para cada violonista e cada modo, escolhemos o arquivo cujo hash SHA-256 de “scorestarling-v1:” mais o nome dele vem primeiro na ordenação. Antes disso, excluímos três gravações com erros de anotação conhecidos (issues #4 e #5 do GuitarSet: uma nota duplicada e temporização errada). Os resultados por gravação abaixo listam as 12 escolhidas.

A pontuação usou o mir_eval 0.8.2 com as tolerâncias padrão, descritas acima, e a média foi calculada por gravação, para que cada uma conte igual. Nada foi ajustado: sem deslocamentos de tempo, sem filtros, sem correção de alinhamento. O Basic Pitch 0.4.0 rodou em um Mac, e duas execuções completas deram saídas idênticas byte a byte. A API Audio-to-MIDI do Mirelo, que informou seu modelo como a2m-1.1, processou as mesmas 12 gravações em 2 de outubro de 2026. Não enviamos a lista opcional de instrumentos que a API aceita desde 6 de agosto de 2026, segundo o changelog do Mirelo.

Quatro limites valem para tudo o que vem a seguir:

• O artigo do Basic Pitch lista o GuitarSet e o Slakh entre os dados de treinamento, então os dois testes o favorecem. Não sabemos dizer se as nossas 12 gravações do GuitarSet estavam na divisão de treinamento dele. O trecho de banda vem da divisão de teste do Slakh.
• Doze gravações de violão e um trecho de banda de 60 segundos são uma amostra de diagnóstico, não um benchmark. Voz e gravações reais de banda não foram medidas. O piano foi medido apenas em áudio sintetizado, com outro modelo (veja as perguntas no final).
• O Mirelo processou as gravações de violão uma única vez, em 2 de outubro. Não repetimos as três em que ele não devolveu nada, por exemplo avisando que o instrumento era um violão. Enviado de novo em 5 de outubro, o trecho de banda voltou com as mesmas notas.
• Nenhum desses números avalia a partitura escrita. Uma medida no nível da partitura, como o MV2H, que também verifica fórmula de compasso, vozes e valores das notas, ainda está por fazer.

Temos interesse no resultado. O ScoreStarling usa o Basic Pitch para um instrumento ou uma voz e o Mirelo, nosso parceiro para bandas, para uma banda. Por isso o método, a amostra e os limites estão todos descritos aqui.

Basic Pitch vs Mirelo em gravações de violão

O Basic Pitch saiu na frente: bem à frente nas linhas solo e por pouco no acompanhamento.

Atualização, 4 de outubro de 2026: rodamos as mesmas 12 gravações de novo na opção de um instrumento do ScoreStarling, depois de duas mudanças nela. Uma gravação que fica sempre um pouco acima ou abaixo da afinação agora é reafinada para Lá 440 antes da transcrição, e uma melodia é escrita uma nota por vez. O resultado foi 0,846 nos solos, 0,679 nos acompanhamentos e 0,763 no geral, ou 0,522 contando o fim das notas. A tabela mantém os resultados do Basic Pitch isolado de 2 de outubro.

O Mirelo não devolveu nenhuma nota em três das seis gravações de solo. Elas contam como zero na média de solo dele, porque um resultado vazio é o que um usuário teria recebido, e não as rodamos de novo. Onde ele devolveu notas, o quadro foi misto. Na primeira gravação, 00_BN3-154-E_solo, os dois mecanismos empataram no início das notas (0,809 para o Basic Pitch, 0,814 para o Mirelo). O fim das notas do Mirelo ficou mais longe da referência (F1 de ataque e fim de 0,320 contra 0,524), e ele pôs a peça de 154 BPM em cerca de 76,9 BPM, metade do andamento. No acompanhamento, o Mirelo foi claramente melhor em duas das seis gravações. Nas 12, o F1 de ataque e fim dele foi 0,224.

Os 0,744 do Basic Pitch ficam perto do que os autores dele relatam na própria divisão de teste do GuitarSet, de 72 gravações: 0,79 de F1 de ataque e 0,56 contando o fim das notas. Os mecanismos também diferiram em velocidade. O Basic Pitch processou os 433 segundos de áudio em 54 segundos num Mac, o que não é um tempo de produção. Na primeira gravação, levou 6,1 segundos, e o Mirelo, 37.

O que acontece com uma banda inteira?

Uma mixagem é mais difícil, e nela o Mirelo ficou na frente. Pegamos os primeiros 60 segundos da Track01881, da divisão de teste do Slakh2100, um conjunto de dados de 2.100 músicas renderizadas a partir de MIDI com instrumentos virtuais baseados em samples, então as notas de referência são exatas. Nesse minuto se ouvem violão de cordas de aço, guitarra jazz, piano, baixo, vibrafone e bateria. Somando todos os instrumentos de altura definida e ignorando a que instrumento cada nota foi atribuída, o F1 de ataque foi 0,520 para o Basic Pitch e 0,672 para o Mirelo, calculado sobre o arquivo MIDI que cada mecanismo devolve.

O Basic Pitch escreve uma única parte combinada e nenhuma bateria. O Mirelo escreve uma parte por instrumento, então só ele pode ser avaliado por instrumento, aqui agrupado em classes de instrumentos do General MIDI:

F1 de ataque do Mirelo por instrumento um trecho de banda de 60 segundos, de 0 a 1

Piano0.827

Bateria0.698

Violão e guitarra0.681

Baixo0.455

Vibrafone0.137

Separar o violão da guitarra foi mais difícil. Avaliado parte por parte a partir da lista de notas do Mirelo em 2 de outubro, o violão de aço chegou a 0,364 e a guitarra jazz, a 0,148. O arquivo MIDI começa suas notas cerca de 20 ms antes dessa lista, por isso os valores dele diferem um pouco. O Mirelo também escreveu 92 notas para instrumentos que não estão na música: órgão, pad de sintetizador, violino e violoncelo. Os toques de bateria são avaliados só pela temporização, seja qual for o tambor tocado. É uma única música, renderizada e não gravada, então tome isso como uma direção, não como um ranking.

Quais notas têm mais chance de estar erradas?

No caso do Basic Pitch, as notas mais fracas. Ele define a velocity MIDI de cada nota como 127 vezes a ativação média do modelo sobre essa nota, então a velocity também serve como índice de confiança. Entre as 2.715 notas que ele escreveu para as 12 gravações de violão, pareadas com a mesma janela de 50 ms, a maioria das notas de baixa velocity estava errada:

Notas que o Basic Pitch acertou, por velocity 2.715 notas de 12 gravações de violão

Abaixo de 5021%

50–5940%

60–7967%

80–12786%

A velocity separa as notas certas das erradas com uma AUC de 0,77, em que 0,5 é cara ou coroa e 1,0 é perfeito. A duração da nota chega a só 0,53, então uma nota curta não é um bom sinal de alerta. Excluir todas as notas com velocity abaixo de 50 subiria o F1 de ataque geral de 0,744 para 0,765, mas uma em cada cinco dessas notas está correta. Por isso a revisão de partitura do ScoreStarling as lista como duvidosas em vez de excluí-las, e deixa a decisão para os seus ouvidos. Se você roda o Basic Pitch por conta própria, basta colorir ou ordenar as notas por velocity em um piano roll para obter a mesma lista de suspeitas.

Por que os números de precisão publicados não batem?

Eles medem coisas diferentes em gravações diferentes, e alguns não dizem o que mediram.

Dois números só podem ser comparados quando a métrica, a tolerância e as gravações coincidem. O nosso resultado do Basic Pitch pode ficar ao lado do que o artigo dele traz, já que os dois usam o F1 de ataque no GuitarSet, ainda que em subconjuntos diferentes. Ele não pode ficar ao lado do número do MuScriptor. A página do ScoreCloud não diz como a precisão da altura foi contada, em quantas gravações, nem se a temporização das notas pesou. O MuScriptor é o modelo de pesquisa aberto de onde saiu o Audio-to-MIDI Pro do Mirelo, e o Mirelo descreve o modelo que usa em produção como mais preciso. A publicação do Mirelo de 17 de setembro de 2026 diz que um modelo atualizado melhorou a precisão das notas e dos instrumentos “em nossas avaliações”, sem divulgar números.

Notas precisas dão uma partitura legível?

Não. O F1 de ataque compara notas em segundos e não diz nada sobre como a partitura escrita se lê. Uma partitura também precisa de armadura de clave, sustenidos e bemóis coerentes, pausas escritas, vozes e uma fórmula de compasso, e o MIDI simples de um modelo como o Basic Pitch não tem nada disso. A partir das mesmas notas do Basic Pitch, o nosso primeiro gerador de notação produziu partituras sem armadura de clave e sem nenhuma pausa visível nos 12 casos. O importador de MIDI do MuseScore Studio escreveu a tonalidade anotada em 10 dos 12 e mostrou todas as pausas. O MusicXML do próprio Mirelo trazia a tonalidade anotada em 5 dos 9 casos que ele concluiu, sempre numa única pauta em clave de sol.

Ou seja, uma transcrição pode pontuar bem e ainda ser difícil de ler, e uma página arrumada pode conter notas erradas. O antes e depois completo está em Por que as importações de MIDI ficam bagunçadas no MuseScore.

Qual mecanismo de transcrição usar?

Escolha conforme a gravação. É assim que lemos estes resultados:

• Um instrumento ou uma linha melódica: Basic Pitch. Ele ficou bem à frente no violão solo, é grátis e de código aberto, e o README dele diz que funciona melhor com um instrumento por vez.
• Uma banda, ou uma mixagem em que você precisa de partes separadas ou de bateria: um modelo para vários instrumentos, como o do Mirelo, já que o Basic Pitch escreve uma única parte combinada.
• Acompanhamento de violão: qualquer um. Ficaram próximos na média e cada um se saiu melhor em gravações diferentes; se a escolha importa, teste os dois num trecho curto.
• Voz: ainda não medimos. Piano: medimos apenas a nossa própria opção de piano solo, em áudio sintetizado, então não dá para classificar os mecanismos nesse caso.

Seja qual for o mecanismo, confira o ritmo e a duração das notas de ouvido. A transcrição de música com IA do ScoreStarling escolhe o mecanismo conforme a opção que você marca:

Os arquivos enviados podem ter até 95 MiB. As partes de violão, baixo e ukulele também podem ser lidas como TAB, sem bends, slides nem ligados (hammer-on). As especificações trazem o resto. As medições acima, de 2 de outubro e da nova rodada de 4 de outubro, não incluem a opção de piano solo.

O que esses resultados cobrem hoje

O resultado de violão de 4 de outubro mede uma versão do pipeline: Basic Pitch 0.4.0, revisão do código-fonte do ScoreStarling 0775b4d, 12 gravações de microfone do GuitarSet. O F1 de ataque médio é 0,7626, e o F1 de ataque e fim, 0,5224. O F1 de ataque dos solos é 0,8462 e o dos acompanhamentos, 0,6791. Ele não mede todas as versões publicadas em produção desde então.

O exemplo do Slakh são os primeiros 60 segundos da Track01881, uma mixagem multipista sintetizada, não uma banda ao vivo. O resultado salvo de 2 de outubro tem F1 de ataque de 0,6722 para as notas de altura definida e F1 de ataque e fim de 0,1262. O F1 de ataque da bateria, 0,6983, ignora qual tambor foi tocado, e 92 notas foram para classes de instrumentos que não estão na referência. Por isso, comparar só o início das notas faz as partes parecerem mais utilizáveis do que são.

Em uma pesquisa offline à parte, em 18 de outubro, comparamos cinco gravações reais de piano do conjunto SMD, de 60 segundos cada, com tolerância de 50 ms no ataque. O F1 de ataque médio foi 0,9945 para o Transkun v2 e 0,9871 para o modelo anterior de Kong. É um teste pareado pequeno, que ainda não foi aceito para homologação (staging) nem para produção. Não é uma pontuação do produto em uso, e não publicamos o áudio dele aqui.

Nenhuma dessas métricas de notas avalia a pulsação, a fórmula de compasso, a anacruse, a atribuição das notas à pauta ou a legibilidade da página. As 50 execuções de piano sintetizadas, nas perguntas do final, medem outra parte desse problema. Ainda não temos um benchmark publicado e com direitos liberados de canto gravado, nem um estudo representativo de bandas reais, nem um teste pareado de precisão em gravações da Yamaha.

Ouça os casos de teste salvos

São as saídas salvas do pipeline por trás das medições acima, com as notas de referência do conjunto de dados para comparar. “Bruto” quer dizer sem correção editorial posterior, não notação perfeita. O MIDI de referência é feito a partir das anotações do conjunto de dados e não é uma partitura corrigida do ScoreStarling. As alturas de violão dele são arredondadas para semitons MIDI, e ele não soa como os instrumentos gravados.

Solo do GuitarSet, 02_BN1-147-Gb_solo, 19,6 segundos

• Gravação
• MIDI bruto
• MIDI de referência
• MusicXML bruto

Slakh Track01881, primeiros 60 segundos, mixagem sintetizada

• Gravação
• MIDI bruto
• MIDI de referência
• MusicXML bruto

O GuitarSet, de Q. Xi, R. M. Bittner, J. Pauwels, X. Ye e J. P. Bello, e o Slakh2100, de E. Manilow, G. Wichern, P. Seetharaman e J. Le Roux, são usados sob a licença CC BY 4.0. A gravação do GuitarSet está inalterada; a do Slakh é um trecho de 60 segundos em WAV. A fonte completa e os detalhes das modificações estão nos créditos das amostras.

Fontes

1. GuitarSet 1.1.0 — Xi, Bittner, Pauwels, Ye e Bello, Zenodo (CC BY 4.0)
2. Página do projeto GuitarSet — os autores do GuitarSet
3. Issues do GuitarSet — marl/GuitarSet, GitHub
4. Slakh2100 — Manilow, Wichern, Seetharaman e Le Roux, Zenodo (CC BY 4.0)
5. Cutting Music Source Separation Some Slakh — Manilow et al., WASPAA 2019
6. A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation — Bittner et al., Spotify, 2022
7. Basic Pitch e seu note_creation.py — Spotify, GitHub
8. mir_eval.transcription — documentação do mir_eval
9. MuScriptor: An Open Model for Multi-Instrument Music Transcription — Rouard et al., 2026
10. Audio-to-MIDI Pro: full mixes to editable MIDI — Mirelo, 17 de setembro de 2026
11. Audio to MIDI converter e Changelog — Mirelo
12. How Accurate Is Automatic Music Transcription? — ScoreCloud

Perguntas e respostas

A IA consegue transcrever música de um MP3?

Sim, em MIDI, nota por nota, com erros que você vai precisar corrigir. Modelos como o Basic Pitch, do Spotify, funcionam melhor com um instrumento só. Mixagens completas pedem um modelo para vários instrumentos e saem menos precisas. No nosso teste de 2 de outubro de 2026, o melhor resultado entre os grupos de gravações foi um F1 de ataque de 0,818, do Basic Pitch em violão solo (0,846 em uma nova rodada de 4 de outubro, depois de duas mudanças no modo como o ScoreStarling o usa). Prepare-se para corrigir algumas notas de ouvido.

O Basic Pitch é preciso o bastante para gerar partitura?

Para um primeiro rascunho de um instrumento, sim. Em 12 gravações de violão, ele chegou a 0,744 de F1 de ataque no início das notas e a 0,508 quando o fim das notas entrou na conta. O MIDI dele não traz armadura de clave, pausas nem vozes, então uma etapa de notação precisa acrescentá-las. Por que as importações de MIDI ficam bagunçadas no MuseScore mostra o que essa etapa muda.

Como posso medir a precisão de uma transcrição por conta própria?

Você precisa de uma transcrição de referência em que confie, com os instantes das notas em segundos. Com ela, a biblioteca de código aberto mir_eval avalia as notas que coincidem, com as tolerâncias que usamos: 50 ms para o início, 50 cents para a altura e, para o fim da nota, 20% da duração dela ou 50 ms. Sem uma referência, repita trechos curtos em loop e compare a partitura com a gravação de ouvido.

Por que o Mirelo não devolveu nenhuma nota em alguns solos de violão?

Não sabemos. Três das seis gravações de solo voltaram vazias em 2 de outubro de 2026. Rodamos essas gravações sem a lista opcional de instrumentos do Mirelo e não tentamos de novo. No acompanhamento, ele chegou perto do Basic Pitch e ficou na frente no trecho com vários instrumentos.

Qual é a precisão da transcrição por IA para canto ou piano?

Para canto, ainda não temos números próprios. Para piano, só em áudio sintetizado. Medimos os compassos iniciais de 25 peças, cada uma tocada duas vezes com rubato, em 6 de outubro de 2026. Nossa opção de piano solo, construída sobre o modelo de piano de Kong e colegas, ouviu cerca de 92% das notas escritas, mas acertou a pulsação em apenas 35 das 50 execuções, e a pulsação, a fórmula de compasso e a anacruse juntas em 26. Os autores do Basic Pitch o criaram para funcionar com vários instrumentos, inclusive a voz. Uma gravação nítida e seca de uma voz ou de um instrumento dá a qualquer modelo a melhor chance.