AI 음악 채보, 얼마나 정확할까? 직접 측정해 봤어요

짧은 답

악기 하나의 초안으로는 충분히 정확하고, 그 초안은 귀로 확인해야 해요. 공개된 기타 녹음 12개에서 ScoreStarling의 ‘악기 하나 또는 목소리’ 옵션은 2026년 10월 4일 재실행에서 온셋 F1 0.763을 기록했어요. 이 척도에서 1.0은 모든 음을 맞는 음높이와 시점에 찾았고 불필요한 음이 하나도 없다는 뜻이에요. 이틀 앞서 각각 단독으로 돌렸을 때는 Basic Pitch가 0.744, Mirelo의 Audio-to-MIDI가 0.471이었어요. 이 점수는 음높이와 각 음이 시작하는 시점만 확인해요. 리듬이 알맞게 적혔는지, 그 악보를 보고 바로 연주할 수 있는지는 알려 주지 않아요.

온셋 F1은 무엇을 재나요?

온셋(음의 시작점) F1은 채보 결과를 기준 채보와 음 하나하나 비교하고, 빠뜨린 음과 불필요하게 더한 음을 똑같이 감점해요. 채보한 음은 기준 음과 음높이가 50센트(사분음) 이내이고 시작 시점이 50밀리초 이내일 때 일치로 쳐요. 기준 음 하나는 한 번만 짝지을 수 있어요.

이 짝짓기에서 두 가지 비율이 나와요. 정밀도는 모델이 쓴 음 중 일치하는 음의 비율이에요. 재현율은 기준 음 중 모델이 찾아낸 음의 비율이에요. F1은 둘을 조화평균으로 합친 값이라, 둘 중 하나라도 낮으면 낮게 나와요. 음이 100개인 구간을 예로 들어 볼게요. 음 100개를 쓰고 그중 75개가 맞은 모델은 0.75예요. 100개 중 90개를 찾았지만 그러려고 음을 150개 쓴 모델은 재현율이 0.9, 정밀도가 0.6, F1이 0.72예요. 불필요한 음 60개가 점수를 깎아요.

온셋+오프셋 F1은 조건이 하나 더 붙어요. 음이 끝나는 시점도 기준 음 길이의 20% 이내여야 하고, 20%가 50ms보다 짧으면 50ms 이내면 돼요. Spotify의 Basic Pitch 논문은 음이 끝나는 시점을 정하기가 더 어렵다는 이유로 온셋 F1을 주된 지표로 써요. 그 이유로 리버브, 서스테인 페달, 어노테이션을 만드는 방식을 들어요. 저희는 두 값을 모두 실었어요. 어느 쪽도 음에 어떤 악기가 배정됐는지, 조표가 맞는지, 리듬을 어떻게 적을지는 확인하지 않아요.

테스트 방법

저희는 GuitarSet 1.1.0(Xi 외, ISMIR 2018)을 썼어요. 약 30초짜리 기타 발췌본 360개로 이루어진 공개 데이터셋이에요. 기타리스트 여섯 명이 같은 리드 시트 30곡을 다섯 가지 스타일로 연주해요. 먼저 반주(“comp”)를 치고, 그 위에 솔로를 얹어요. 녹음에는 헥사포닉 픽업을 썼어요. 줄마다 따로 신호가 나오기 때문에, 제작진이 음 어노테이션을 대부분 자동으로 만들 수 있었어요.

기타리스트마다 솔로 하나와 반주 하나씩, 전체 길이의 녹음 12개를 골랐어요. 모노 마이크 오디오를 썼고, 길이는 모두 합쳐 433초예요. 어떤 모델이든 돌리기 전에 선택 기준을 정해 두었어요. 기타리스트와 연주 방식(솔로, 반주)마다 “scorestarling-v1:” 뒤에 파일 이름을 붙인 문자열의 SHA-256 해시가 정렬했을 때 맨 앞에 오는 파일을 골랐어요. 그에 앞서 어노테이션 오류가 알려진 녹음 세 개는 뺐어요(GuitarSet 이슈 #4, #5: 중복된 음과 잘못된 타이밍). 고른 12개는 아래 녹음별 결과에서 확인할 수 있어요.

채점에는 mir_eval 0.8.2를 썼고, 허용 오차는 위에서 설명한 기본값 그대로예요. 녹음마다 따로 계산한 뒤 평균을 내서 모든 녹음이 똑같은 비중을 갖게 했어요. 따로 조정한 것은 없어요. 타이밍 보정도, 필터링도, 정렬 이동도 하지 않았어요. Basic Pitch 0.4.0은 Mac에서 돌렸고, 전체를 두 번 돌렸을 때 출력이 바이트 단위로 똑같았어요. Mirelo의 Audio-to-MIDI API는 모델을 a2m-1.1이라고 밝혔고, 2026년 10월 2일에 같은 녹음 12개를 처리했어요. Mirelo의 changelog에 따르면 이 API는 2026년 8월 6일부터 선택 사항인 악기 목록을 받지만, 저희는 그 목록을 보내지 않았어요.

이어지는 모든 내용에는 네 가지 한계가 있어요:

• Basic Pitch 논문은 GuitarSet과 Slakh를 학습 데이터에 포함한다고 밝혀요. 그래서 두 테스트 모두 Basic Pitch에 유리해요. 저희가 고른 GuitarSet 녹음 12개가 학습용 분할에 들어 있었는지는 알 수 없어요. 밴드 발췌본은 Slakh의 테스트 분할에서 가져왔어요.
• 기타 녹음 12개와 60초짜리 밴드 발췌본 하나는 상태를 짚어 보는 진단용 표본이지 벤치마크가 아니에요. 노래와 실제로 녹음된 밴드 연주는 측정하지 않았어요. 피아노는 다른 모델로, 합성 오디오에서만 측정했어요(글 끝의 질문 참고).
• Mirelo는 기타 녹음을 10월 2일에 한 번만 돌렸어요. 결과가 비어 있던 세 개는 다시 시도해 보지 않았어요. 예를 들어 어쿠스틱 기타가 들어 있다고 알려 주는 방법도 써 보지 않았어요. 밴드 발췌본은 10월 5일에 다시 보냈더니 같은 음이 나왔어요.
• 이 숫자 중 어느 것도 적힌 악보 자체를 평가하지 않아요. 박자, 성부, 음가까지 확인하는 MV2H 같은 악보 단위 지표는 아직 해 보지 못했어요.

저희도 이 결과와 이해관계가 있어요. ScoreStarling은 악기 하나 또는 목소리에는 Basic Pitch를, 밴드에는 밴드 채보 파트너인 Mirelo를 써요. 그래서 방법, 표본, 한계를 여기에 빠짐없이 적어 두었어요.

기타 녹음에서 Basic Pitch와 Mirelo 비교

Basic Pitch가 앞섰어요. 솔로 선율에서는 큰 차이로, 반주에서는 근소한 차이로요.

2026년 10월 4일 업데이트: 같은 녹음 12개를 ScoreStarling의 ‘악기 하나 또는 목소리’ 옵션으로 다시 돌렸어요. 그 사이 이 옵션에 두 가지를 바꿨어요. 일정하게 음정이 높거나 낮은 녹음은 이제 먼저 A440으로 맞추고, 멜로디는 한 번에 음 하나씩 적어요. 결과는 솔로 0.846, 반주 0.679, 전체 0.763이고, 음의 끝까지 따지면 0.522예요. 표에는 Basic Pitch 단독으로 낸 10월 2일 결과를 그대로 뒀어요.

Mirelo는 솔로 녹음 여섯 개 중 세 개에서 음을 하나도 돌려주지 않았어요. 사용자가 받았을 결과가 빈 파일이므로 Mirelo의 솔로 평균에서 이 세 개는 0점으로 셌고, 다시 돌려 보지는 않았어요. 음을 돌려준 경우에는 결과가 엇갈렸어요. 첫 번째 녹음 00_BN3-154-E_solo에서는 두 엔진이 음의 시작에서 비슷했어요(Basic Pitch 0.809, Mirelo 0.814). 음이 끝나는 시점은 Mirelo가 더 많이 어긋났고(온셋+오프셋 F1 0.320 대 0.524), 154 BPM인 곡을 약 76.9 BPM, 즉 절반 템포로 잡았어요. 반주에서는 여섯 개 중 두 개에서 Mirelo가 확실히 나았어요. 12개 전체에서 Mirelo의 온셋+오프셋 F1은 0.224였어요.

Basic Pitch의 0.744는 제작진이 자체 GuitarSet 테스트 분할(녹음 72개)에서 보고한 값과 비슷해요. 온셋 F1이 0.79이고, 음의 끝까지 따지면 0.56이에요. 두 엔진은 속도도 달랐어요. Basic Pitch는 오디오 433초를 Mac에서 54초에 처리했어요. 실제 서비스에서의 처리 시간은 아니에요. 첫 번째 녹음에서는 Basic Pitch가 6.1초, Mirelo가 37초 걸렸어요.

밴드 전체 연주라면 어떨까요?

여러 악기가 섞인 믹스는 더 어렵고, 여기서는 Mirelo가 앞섰어요. Slakh2100의 테스트 분할에서 Track01881의 처음 60초를 가져왔어요. Slakh2100은 MIDI를 샘플 기반 가상 악기로 렌더링해 만든 2,100곡의 데이터셋이라 기준 음이 정확해요. 이 1분 동안 스틸 스트링 기타와 재즈 기타, 피아노, 베이스, 비브라폰, 드럼이 들려요. 음높이가 있는 악기를 모두 합치고, 음에 어떤 악기가 배정됐는지는 따지지 않았을 때 온셋 F1은 Basic Pitch가 0.520, Mirelo가 0.672였어요. 각 엔진이 돌려준 MIDI 파일로 채점한 값이에요.

Basic Pitch는 모든 음을 합친 파트 하나를 쓰고 드럼은 쓰지 않아요. Mirelo는 악기마다 파트를 따로 쓰기 때문에 악기별 채점은 Mirelo만 할 수 있어요. 여기서는 General MIDI 악기군으로 묶었어요:

악기별 Mirelo 온셋 F1 60초짜리 밴드 발췌본 하나, 0~1

피아노0.827

드럼0.698

기타0.681

베이스0.455

비브라폰0.137

두 기타를 구분하는 일은 더 어려웠어요. 10월 2일에 Mirelo의 음 목록을 파트별로 채점하면 스틸 스트링 기타는 0.364, 재즈 기타는 0.148이었어요. MIDI 파일은 그 목록보다 음이 약 20ms 일찍 시작하기 때문에 수치가 조금 달라요. 또 Mirelo는 곡에 없는 악기, 즉 오르간, 신스 패드, 바이올린, 첼로에도 음 92개를 썼어요. 드럼 타격은 어떤 드럼을 쳤는지와 상관없이 타이밍만으로 채점해요. 녹음이 아니라 렌더링한 곡 하나일 뿐이니, 순위가 아니라 경향으로 받아들이세요.

어떤 음이 틀리기 쉬울까요?

Basic Pitch에서는 작게 잡힌 음이에요. Basic Pitch는 각 음의 MIDI 벨로시티를, 그 음 구간에서 모델이 낸 평균 활성값에 127을 곱한 값으로 정해요. 그래서 벨로시티가 확신도 점수 역할도 해요. 기타 녹음 12개에서 Basic Pitch가 쓴 음 2,715개를 같은 50ms 기준으로 맞춰 보니, 벨로시티가 낮은 음은 대부분 틀렸어요:

벨로시티별로 Basic Pitch가 맞힌 음 기타 녹음 12개의 음 2,715개

50 미만21%

50–5940%

60–7967%

80–12786%

벨로시티는 AUC 0.77로 맞은 음과 틀린 음을 가려내요. AUC 0.5는 동전 던지기, 1.0은 완벽하다는 뜻이에요. 음 길이는 0.53에 그쳐서, 짧은 음이라는 점은 쓸 만한 경고 신호가 아니에요. 벨로시티 50 미만인 음을 모두 지우면 전체 온셋 F1이 0.744에서 0.765로 오르지만, 그런 음 다섯 개 중 하나는 맞는 음이에요. 그래서 ScoreStarling의 악보 검토는 이런 음을 지우지 않고 의심스러운 음으로 목록에 올리고, 판단은 귀에 맡겨요. Basic Pitch를 직접 돌린다면 피아노 롤에서 벨로시티에 따라 음에 색을 입히거나 정렬해 보세요. 같은 후보 목록을 얻을 수 있어요.

공개된 정확도 수치가 서로 다른 이유는?

서로 다른 녹음에서 서로 다른 것을 재기 때문이에요. 무엇을 쟀는지 밝히지 않은 것도 있어요.

두 수치를 비교하려면 지표, 허용 오차, 녹음이 같아야 해요. 저희가 낸 Basic Pitch 결과는 논문의 결과와 나란히 놓을 수 있어요. 둘 다 GuitarSet에서 온셋 F1을 쓰기 때문이에요. 다만 쓴 부분 집합은 서로 달라요. MuScriptor의 수치와는 나란히 놓을 수 없어요. ScoreCloud 페이지는 음높이 정확도를 어떻게 셌는지, 녹음 몇 개로 쟀는지, 타이밍을 따졌는지 밝히지 않아요. MuScriptor는 Mirelo의 Audio-to-MIDI Pro의 바탕이 된 공개 연구 모델이고, Mirelo는 실제 서비스 모델이 더 정확하다고 설명해요. Mirelo가 2026년 9월 17일에 올린 글은 업데이트한 모델이 음과 악기 정확도를 “자체 평가에서” 개선했다고 하지만, 수치는 공개하지 않았어요.

음이 정확하면 읽기 좋은 악보가 될까요?

아니요. 온셋 F1은 음을 초 단위로 비교할 뿐, 적힌 악보가 얼마나 읽기 좋은지는 알려 주지 않아요. 악보에는 조표, 알맞은 올림표와 내림표, 쉼표, 성부, 박자가 필요한데, Basic Pitch 같은 모델이 내놓는 순수 MIDI에는 이 중 어느 것도 없어요. 같은 Basic Pitch 음으로 저희가 처음 만든 악보 작성 모듈은 12개 모두 조표가 없고 쉼표도 보이지 않는 악보를 만들었어요. MuseScore Studio의 MIDI 가져오기는 12개 중 10개에서 어노테이션에 표기된 조를 적었고 쉼표를 모두 표시했어요. Mirelo가 직접 내놓은 MusicXML은 완료된 9개 중 5개에서 어노테이션에 표기된 조를 담았고, 늘 높은음자리표 보표 하나에 적혀 있었어요.

그래서 채보 점수가 높아도 읽기 어려운 악보일 수 있고, 깔끔해 보이는 악보에도 틀린 음이 있을 수 있어요. 전후 비교는 MuseScore MIDI 가져오기: 악보가 지저분한 이유와 해결법에 모두 있어요.

어떤 채보 엔진을 써야 할까요?

녹음에 따라 고르세요. 저희는 결과를 이렇게 읽어요:

• 악기 하나 또는 멜로디 라인 하나: Basic Pitch. 솔로 기타에서 크게 앞섰고, 무료 오픈 소스이며, README에도 한 번에 악기 하나일 때 가장 잘 작동한다고 나와 있어요.
• 밴드, 또는 파트를 따로 받거나 드럼이 필요한 믹스: Mirelo 같은 다악기 모델. Basic Pitch는 합친 파트 하나만 쓰기 때문이에요.
• 기타 반주: 어느 쪽이든 괜찮아요. 평균은 비슷했고, 녹음에 따라 잘한 쪽이 갈렸어요. 선택이 중요하다면 짧은 구간으로 둘 다 써 보세요.
• 목소리: 아직 측정하지 못했어요. 피아노: 저희 ‘피아노 솔로’ 옵션만 합성 오디오에서 측정했기 때문에, 엔진 순위는 매길 수 없어요.

어떤 엔진을 쓰든 리듬과 음 길이는 귀로 확인하세요. ScoreStarling의 AI 음악 채보는 고른 옵션에 따라 엔진을 정해요:

업로드는 최대 95MiB까지 가능해요. 기타, 베이스, 우쿨렐레 파트는 TAB으로도 볼 수 있지만 벤딩, 슬라이드, 해머링은 표기하지 않아요. 나머지는 사양에서 확인하세요. 위의 측정값(10월 2일 결과와 10월 4일 재실행)에는 ‘피아노 솔로’ 옵션이 들어 있지 않아요.

이 결과가 지금 다루는 범위

10월 4일의 기타 결과는 파이프라인의 한 버전을 측정한 값이에요. Basic Pitch 0.4.0, ScoreStarling 소스 리비전 0775b4d, GuitarSet 마이크 녹음 12개가 그 조건이에요. 평균 온셋 F1은 0.7626, 온셋+오프셋 F1은 0.5224예요. 솔로의 온셋 F1은 0.8462, 반주는 0.6791이에요. 그 뒤에 배포된 모든 버전을 측정한 값은 아니에요.

Slakh 예시는 Track01881의 처음 60초로, 실제 밴드가 아니라 합성한 멀티트랙 믹스예요. 저장해 둔 10월 2일 결과에서 음높이가 있는 음의 온셋 F1은 0.6722, 온셋+오프셋 F1은 0.1262예요. 드럼 온셋 F1 0.6983은 어떤 드럼을 쳤는지 따지지 않은 값이고, 음 92개는 기준에 없는 악기군에 배정됐어요. 그래서 음의 시작 시점만 맞춰 보면 파트가 실제보다 쓸 만해 보여요.

10월 18일에는 따로 오프라인 조사를 했어요. SMD 데이터셋의 실제 피아노 녹음 다섯 개(각 60초)를 온셋 허용 오차 50ms로 비교했어요. 평균 온셋 F1은 Transkun v2가 0.9945, 앞서 쓴 Kong 모델이 0.9871이었어요. 같은 녹음으로 두 모델을 짝지어 비교한 작은 테스트이고, 스테이징이나 운영 환경에 도입하기로 승인된 것도 아니에요. 실제 제품의 점수가 아니고, 이 오디오는 여기에 공개하지 않아요.

이 음 단위 지표는 어느 것도 박, 박자, 못갖춘마디, 보표 배정, 악보가 얼마나 읽기 좋은지를 채점하지 않아요. 글 끝의 질문에서 다룬 합성 피아노 연주 50회는 그 문제의 다른 부분을 재요. 녹음된 노래에 대해 권리 문제를 정리해 공개한 벤치마크도, 실제 밴드를 대표하는 연구도, Yamaha 녹음으로 짝지어 비교한 정확도 테스트도 아직 없어요.

저장해 둔 테스트 사례 들어 보기

위 측정의 바탕이 된, 저장해 둔 파이프라인 출력이에요. 비교할 수 있도록 데이터셋의 기준 음도 함께 실었어요. ‘원본’은 이후에 사람이 손으로 고치지 않았다는 뜻이지, 완벽한 악보라는 뜻이 아니에요. 기준 MIDI는 데이터셋의 어노테이션으로 만들었고, 고쳐 놓은 ScoreStarling 악보가 아니에요. 기타 음높이는 MIDI 반음에 맞춰 반올림했고, 녹음된 악기와는 소리가 달라요.

GuitarSet 솔로, 02_BN1-147-Gb_solo, 19.6초

• 녹음
• 원본 MIDI
• 기준 MIDI
• 원본 MusicXML

Slakh Track01881, 처음 60초, 합성 믹스

• 녹음
• 원본 MIDI
• 기준 MIDI
• 원본 MusicXML

Q. Xi, R. M. Bittner, J. Pauwels, X. Ye, J. P. Bello의 GuitarSet과 E. Manilow, G. Wichern, P. Seetharaman, J. Le Roux의 Slakh2100은 CC BY 4.0 라이선스로 사용했어요. GuitarSet 녹음은 그대로이고, Slakh 녹음은 60초 분량의 WAV 발췌본이에요. 출처와 수정 내용은 샘플 저작자 표시에 자세히 나와 있어요.

출처

1. GuitarSet 1.1.0 — Xi, Bittner, Pauwels, Ye, Bello, Zenodo (CC BY 4.0)
2. GuitarSet 프로젝트 페이지 — GuitarSet 저자
3. GuitarSet 이슈 — marl/GuitarSet, GitHub
4. Slakh2100 — Manilow, Wichern, Seetharaman, Le Roux, Zenodo (CC BY 4.0)
5. Cutting Music Source Separation Some Slakh — Manilow 외, WASPAA 2019
6. A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation — Bittner 외, Spotify, 2022
7. Basic Pitch 및 note_creation.py — Spotify, GitHub
8. mir_eval.transcription — mir_eval 문서
9. MuScriptor: An Open Model for Multi-Instrument Music Transcription — Rouard 외, 2026
10. Audio-to-MIDI Pro: full mixes to editable MIDI — Mirelo, 2026년 9월 17일
11. Audio to MIDI converter 및 Changelog — Mirelo
12. How Accurate Is Automatic Music Transcription? — ScoreCloud

질문과 답변

AI가 MP3를 채보할 수 있나요?

네, 음 하나하나를 MIDI로 바꿔 줘요. 다만 직접 고쳐야 할 오류가 있어요. Spotify의 Basic Pitch 같은 모델은 악기 하나일 때 가장 잘 작동해요. 여러 악기가 섞인 믹스는 다악기 모델이 필요하고, 정확도도 더 낮아요. 2026년 10월 2일 테스트에서 가장 좋은 그룹 결과는 솔로 기타에서 Basic Pitch가 낸 온셋 F1 0.818이었어요(ScoreStarling이 이 모델을 쓰는 방식을 두 가지 바꾼 뒤 10월 4일에 다시 돌렸더니 0.846). 일부 음은 귀로 확인하며 고친다고 생각하세요.

Basic Pitch로 악보를 만들 만큼 정확한가요?

악기 하나의 초안으로는 충분해요. 기타 녹음 12개에서 음의 시작은 온셋 F1 0.744, 음의 끝까지 따지면 0.508이었어요. 이 MIDI에는 조표, 쉼표, 성부가 없어서 악보로 옮기는 단계에서 채워 넣어야 해요. 그 단계가 무엇을 바꾸는지는 MuseScore MIDI 가져오기: 악보가 지저분한 이유와 해결법에서 볼 수 있어요.

채보 정확도를 직접 재려면 어떻게 하나요?

믿을 수 있는 기준 채보가 필요하고, 음의 시각은 초 단위로 적혀 있어야 해요. 기준 채보가 있으면 오픈 소스 라이브러리 mir_eval이 저희가 쓴 허용 오차로 음의 일치 여부를 채점해 줘요. 시작은 50ms, 음높이는 50센트, 음의 끝은 음 길이의 20% 또는 50ms예요. 기준 채보가 없다면 짧은 구간을 반복 재생하면서 악보와 녹음을 귀로 비교하세요.

Mirelo는 왜 일부 기타 솔로에서 음을 돌려주지 않았나요?

저희도 몰라요. 2026년 10월 2일에 솔로 녹음 여섯 개 중 세 개가 빈 결과로 돌아왔어요. Mirelo에서 선택 사항으로 받는 악기 목록 없이 돌렸고, 다시 시도해 보지는 않았어요. 반주에서는 Basic Pitch에 근접했고, 여러 악기가 든 발췌본에서는 앞섰어요.

노래나 피아노에서는 AI 채보가 얼마나 정확한가요?

노래는 아직 저희만의 수치가 없어요. 피아노는 합성 오디오에서만 측정했어요. 2026년 10월 6일에 25곡의 첫 몇 마디를 루바토를 넣어 두 번씩 연주한 오디오로 측정했어요. Kong 등의 피아노 모델을 바탕으로 만든 저희 ‘피아노 솔로’ 옵션은 악보에 적힌 음의 약 92%를 찾아냈어요. 하지만 연주 50회 중 박을 정확히 찾은 것은 35회뿐이고, 박, 박자, 못갖춘마디를 모두 맞힌 것은 26회였어요. Basic Pitch는 제작진이 목소리를 포함해 여러 악기에서 쓸 수 있도록 만든 모델이에요. 목소리든 악기든 하나만 또렷한 드라이 녹음으로 담으면 어떤 모델이든 가장 좋은 결과가 나올 가능성이 높아요.