짧은 답
초안을 녹음과 나란히 몇 마디씩 재생하면서 다섯 가지 오류를 찾으세요. 한 옥타브 위의 가짜 음, 조각난 음 하나, 틀린 조, 틀린 박자, 엉뚱한 곳의 마디선이에요. 자동 채보는 대개 음의 대부분을 제대로 듣고도 악보로는 엉망으로 적어요. 퍼블릭 도메인 〈엘리제를 위하여〉 녹음을 ‘피아노 솔로’로 채보한 저희 초안에는 연주된 음 130개가 모두 있었고, 불필요한 음이 67개 더 있었어요. 그중 66개는 배음이었고, 곡은 A단조 3/8박자가 아니라 E장조 6/8박자로 적혀 있었어요. 편집기에 있는 도구로 악보를 고치는 AI 교정은 두 번 돌렸을 때 모두 불필요한 음을 전부 지우고 조, 박자, 못갖춘마디를 바로잡았어요. 기타에서는 도움이 덜 됐고, 저희 테스트에서 AI 교정이 초안이 놓친 음을 되살린 적은 없어요.
자동 채보에서는 무엇이 잘못되나요?
채보 모델이 알아내는 것은 음높이와 시점이에요. 하지만 악보에는 사람이 읽을 수 있는 조, 박자, 마디선, 음가도 필요해요. 저희가 초안에서 보는 문제의 대부분은 다섯 가지 오류예요:
- 가짜 음. 피아노 현은 음마다 배음을 함께 내는데, 모델이 위쪽 한 옥타브 음을 같은 순간에 눌린 별개의 건반으로 들을 수 있어요.
- 조각난 음. 길게 끈 음이 둘로 나뉘어 나오고, 가수가 음으로 미끄러져 들어가는 소리가 그 앞의 짧은 틀린 음으로 나오고, 비브라토가 두 음높이 사이의 떨림으로 나올 수 있어요.
- 틀린 조. 음높이는 모두 맞아도 조표가 틀릴 수 있어요. 〈엘리제를 위하여〉는 올림표가 없는 A단조인데, 곡 속의 G♯과 D♯ 때문에 모델이 E장조라고 추측해요.
- 틀린 박자. 음가가 2배나 절반으로 나오거나(3/8박자가 6/8박자로), 3/4박자 곡이 4/4박자로 읽혀요.
- 엉뚱한 곳의 마디선. 여린박으로 시작하는 곡은 첫 마디가 짧아야 하고, 박이 일정한 녹음도 감지한 템포가 분당 1박에 못 미치는 만큼만 어긋나도 마디선에서 점점 벗어나요.
채보를 직접 확인하려면 어떻게 하나요?
악보를 녹음과 나란히 몇 마디씩 재생하면서 다음 신호를 찾아보세요:
| 보이는 것 | 보통 의미하는 것 | 할 일 |
|---|---|---|
| 한 옥타브 간격으로 쌓인 음인데, 녹음에서는 그렇게 연주되지 않음 | 위쪽 음이 가짜 음 | 위쪽 음 삭제 |
| 조표에 맞지 않는 음에서 악구가 마무리됨 | 조가 틀림 | 악구가 끝나는 음과 화음을 기준으로 조를 정한 뒤 올림표와 내림표를 다시 표기 |
| 첫 악구에서 강박이 마디 한가운데에 놓임 | 박자나 첫 마디선이 틀림 | 박자를 바꾸거나 첫 마디를 짧은 못갖춘마디로 만들기 |
| 노래에서, 2도 떨어진 더 긴 음 바로 앞에 붙은 아주 짧은 음 | 멜로디의 음이 아니라 음으로 미끄러져 들어가는 소리 | 짧은 음을 지우고 그 길이를 본음에 넘기기 |
| 부드럽게 이어 연주한 구간에 쉼표와 붙임줄이 흩어져 있음 | 음은 맞는데 길이가 잘못 적힘 | 리듬을 긴 음으로 다시 적기 |
ScoreStarling에서는 마디를 선택하고 Starling에게 한 문장만 말하면 이 모두를 할 수 있어요. 예를 들어 “1~8마디는 A단조, 3/8박자에 음 하나짜리 못갖춘마디예요. 올림표와 내림표를 다시 표기하고 마디를 다시 나눠 주세요”처럼요. 모든 답변은 실행 취소할 수 있어요.
AI 교정은 무엇을 하나요?
ScoreStarling의 Starling Refine은 채보가 끝난 뒤에 실행돼요. 언어 모델이 초안을 읽고, 사람이 편집기에서 쓰는 도구와 같은 도구로 정해진 순서에 따라 고쳐요. 이 순서는 저희가 써 본 모델 중 가장 강한 모델에서 가져왔어요. 그 모델은 같은 도구로 시간이나 단계 제한 없이 초안 여섯 개를 교정했어요:
- 정리코드가 음과 녹음을 바탕으로 가짜 음과 한 음의 조각들을 찾아요
- 구조박자, 템포, 첫 강박, 조
- 읽기곡 전체를 한 번 읽고, 되풀이되는 악구와 맞춰 봐요
- 쓰기음이름 표기, 양손 배정, 긴 음, 읽기 쉬운 리듬
- 마무리끝 뒤의 빈 마디를 지우고 악보 페이지를 확인
녹음이 판단 기준이라고 알려 주고, 다시 채보하거나 편곡하거나 쉽게 만들거나 조옮김하지 말라고 지시해 둬요. 마지막 메시지에서 무엇을 바꿨는지, 어느 마디를 다시 들어 봐야 하는지 알려 줘요.
‘피아노 솔로’나 ‘악기 하나 또는 목소리’를 고르는 업로드 양식에서 켤 수 있고, 완성된 악보에서 나중에 실행할 수도 있어요. 나중에 실행하면 새 버전으로 저장되고 원본은 그대로 남아요. Plus 구독 중에는 무료이고, Plus가 없는 계정은 한 달에 한 번 무료로 써 볼 수 있어요(요금, 2026년 10월 24일 확인).
고친 채보는 어떤 모습인가요?
〈엘리제를 위하여〉 테스트의 도입부를 초안 상태와 교정 후 상태로 나란히 볼 수 있어요. 초안은 읽기 어렵지만 연주된 음은 모두 들어 있어요. 교정은 복사본처럼 겹친 음을 지우고, 베토벤이 쓴 조와 박자를 맞추고, 양손에 보표를 하나씩 배정했어요.
교정 전: 채보 결과
Starling Refine 후
피아노 오디오 악보 변환 페이지에 있는 19초짜리 〈짐노페디 1번〉 녹음은 다른 방식으로 어긋났어요. 초안은 4/4박자이고, 왼손 화음이 위쪽 보표의 멜로디 사이에 섞여 있었어요. 교정을 두 번 돌렸을 때 모두 여덟 마디 전체가 사티의 음 그대로(음높이, 음가, 보표까지 모두) 3/4박자 D장조로 끝났어요.
교정 전: 채보 결과
Starling Refine 후
얼마나 잘 작동하나요?
기준 채보가 있는 녹음마다 2026년 10월 12일에 두 번씩 돌렸고, 실제로 쓰는 모델인 OpenAI의 GPT-6.1 Sol을 썼어요. 기준 음과 음높이가 같고 시작이 0.1초 이내이면 맞은 음으로 셌어요. F1은 놓친 음과 불필요한 음을 함께 반영하는 값이라, 1.0은 모든 음이 맞고 다른 음이 하나도 없다는 뜻이에요.
| 녹음 | 초안 F1 | 교정 후 F1 | 불필요한 음 | 교정 후 조와 박자 |
|---|---|---|---|---|
| 〈엘리제를 위하여〉 도입부(피아노, 24초) | 0.795 | 1.000 | 67 → 0 | A단조, 3/8박자(초안: E장조, 6/8박자) |
| 보사노바 기타 솔로(GuitarSet) | 0.839 | 0.887 | 25 → 12 | E장조, 4/4박자 |
| 보사노바 반주(GuitarSet) | 0.696 | 0.716 | 46 → 26 | E장조, 4/4박자 |
연구용 데이터셋의 노래 녹음 두 개도 돌려 봤어요. 라이선스 때문에 이 사이트에는 올릴 수 없는 녹음이에요. F1은 0.78에서 0.89로, 0.79에서 0.87로 올랐고, 음으로 시작하는 마디의 비율은 약 3분의 1에서 열 마디 중 아홉 마디 이상으로 올랐어요.
녹음 일곱 개, 그중 여섯 개는 1분 미만이라서 벤치마크가 아니라 진단용 표본이에요. 기타 녹음은 얻은 것이 적은데, 초안의 오류 대부분이 놓친 음이나 하나로 합쳐진 음이고, 교정으로는 이를 되살릴 수 없기 때문이에요.
무엇을 못 하나요?
- 초안이 놓친 음을 되살리지 못해요. 표의 향상은 모두 불필요한 음을 지워서 얻은 것이고, 놓친 음은 어느 테스트에서나 놓친 채로 남았어요.
- 실제 음과 불필요한 음을 완벽히 가려내지 못해요. 기준 채보가 있는 녹음 다섯 개 중 네 개에서 불필요한 음과 함께 실제 음도 하나에서 여섯 개 지웠어요. 반주에서는 117개 중 6개를 지웠어요.
- 기준 채보가 없는 녹음은 대신 판단해 주지 못해요. 2분 48초짜리 팝 피아노 녹음에서는 초안의 한 옥타브 위 가짜 음을 지우고 왼손 음형을 아래쪽 보표에 남겼지만, 지운 음이 모두 가짜였는지는 귀로만 확인할 수 있어요.
- 밴드 녹음에는 쓸 수 없어요. 한 믹스에 파트가 여러 개 들어 있기 때문이에요.
시간은 얼마나 걸리나요?
채보가 끝난 뒤 몇 분 걸려요. 19초에서 82초 길이의 테스트 녹음에서는 1분에서 4분, 2분 48초짜리 피아노 녹음에서는 3분 미만이었어요. 교정이 끝나면 악보가 준비되고, 무엇을 바꿨는지 몇 문장으로 알려 줘요.
출처
- Für Elise, Internet Archive, Public Domain Mark 1.0
- Erik Satie, Gymnopédie No. 1, Wikimedia Commons
- GuitarSet 1.1.0, Xi, Bittner, Pauwels, Ye, Bello, Zenodo (CC BY 4.0)
- High-resolution Piano Transcription with Pedals by Regressing Onset and Offset Times, Kong 외, 2020
- A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation, Bittner 외, Spotify, 2022
- ScoreStarling 요금, 2026년 10월 24일 확인
질문과 답변
피아노 채보에 한 옥타브 높은 음이 왜 생기나요?
피아노 현은 음을 낼 때 배음도 함께 울리는데, 가장 강한 배음이 한 옥타브 위의 음이에요. 채보 모델은 이 소리를 같은 순간에 눌린 또 다른 건반으로 들을 수 있어요. 24초짜리 〈엘리제를 위하여〉 녹음의 초안에서 불필요한 음 67개 중 66개는 연주 중인 음의 한 옥타브 위이거나 다른 배음에 해당하는 높이에 있었어요.
채보한 악보의 조가 왜 틀리게 나오나요?
음이 모두 맞아도 조표는 틀릴 수 있어요. 조는 소리가 아니라 음악을 해석한 결과이기 때문이에요. 저희 〈엘리제를 위하여〉 초안은 음높이가 모두 맞았지만, A단조가 아니라 올림표 4개(E장조)로 나왔어요. 악구가 어디서 마무리되는지 보세요. 악구가 끝나는 음과 화음이 대개 그 곡의 조예요.
AI가 채보를 완벽하게 고칠 수 있나요?
아니요. 교정은 있으면 안 되는 것을 지우고, 있는 것을 고쳐 쓰는 작업이에요. 저희 테스트에서는 초안이 놓친 음을 되살린 적이 한 번도 없었어요. 녹음 다섯 개 중 네 개에서는 불필요한 음과 함께 실제 음도 하나에서 여섯 개씩 지웠어요. 확신이 없었다고 알려 주는 마디는 다시 들어 보세요.
AI 교정이 제 음악을 바꾸나요?
바꾸지 않도록 만들었어요. 편곡하거나 쉽게 만들거나 조옮김하지 말라고 지시해 두었어요. 변경은 하나하나 같은 악보의 새 버전으로 저장되기 때문에, 실행 취소를 누르면 버전을 거슬러 올라가 원래 채보 상태로 돌아가요.
