블로그리서치

ChatGPT가 악보를 읽을 수 있을까요?

같은 피아노 악보 한 페이지를 깨끗한 PDF와 휴대폰 사진으로 ChatGPT 모델에 주고, 모든 음을 인쇄된 악보와 대조해 채점한 다음, 같은 파일을 ScoreStarling으로도 읽었어요.

글쓴이
게시일
업데이트
분량
11분 분량

짧은 답

깨끗한 페이지라면 평판보다 훨씬 잘 읽어요. 2026년 10월 13일 테스트에서 ChatGPT 모델 7개 중 가장 좋은 모델은 인쇄된 바흐 미뉴에트 16마디를 101개 중 1~2개만 틀리게 읽었고, 조와 박자표는 매번 맞혔어요. 모델이 가장 큰 영향을 줘요. 같은 깨끗한 PDF에서 가장 약한 모델은 약 90개를 틀렸어요. 페이지를 사진으로 찍으면 결과가 들쭉날쭉해서, 강한 모델도 틀린 음이 1개에서 37개까지 오갔어요. ChatGPT 앱에서는 읽은 내용으로 MIDI 파일을 만들 수 있었지만 실수도 그대로였고, 편집할 수 있는 악보는 나오지 않았어요. ScoreStarling 같은 악보 인식기를 연결하면 같은 채팅에서 PDF를 악보로 읽어서, 들어 보고 악보 조옮김을 하고 MusicXML이나 MIDI로 다운로드할 수 있어요.

테스트 내용

Mutopia Project가 조판한 퍼블릭 도메인 악보 세 페이지를 썼고, 각 답의 모든 음을 인쇄된 악보와 대조해 채점했어요.

테스트에 쓴 세 페이지
페이지내용채점한 마디음 개수
A. 깨끗한 PDF〈미뉴에트 G장조〉, BWV Anh. 114(크리스티안 페촐트의 작품으로 알려짐), 한 페이지1–16101
B. 휴대폰 사진같은 페이지를 비스듬히 찍은 모양에 조명이 고르지 않고 그림자가 있음; 휴대폰 촬영을 흉내 내려고 PDF로 저희가 만들었음1–16101
C. 더 어려운 페이지쇼팽, 왈츠 B단조, Op. 69 No. 2: 못갖춘마디, 임시표, 왼손 화음못갖춘마디와 1~8마디91

ChatGPT 구독에서 쓸 수 있는 모델 7개(gpt-6.1-sol, gpt-6-astra, gpt-6-sol, gpt-6-luna, gpt-5.6-sol, gpt-5.6-terra, gpt-5.6-luna)에 각 페이지를 세 번씩 보냈어요. 이미지를 첨부해 모델에 직접 요청한 것이고, ChatGPT 앱의 브라우징이나 코드 도구는 쓰지 않았어요. 앱이 어떤 모델을 골라 줄지는 요금제와 설정에 따라 달라요. gpt-6.1-sol에는 음악가가 물을 만한 질문 네 가지도 했어요. 1~4마디의 조, 박자표, 음, 처음 8마디를 F장조로 조옮김한 결과, 재생해 볼 수 있는 버전이나 MIDI 파일, 그리고 5마디에서 어려운 점이에요. 오류를 세기 위해 모든 모델에게 채점 대상 마디의 모든 음을 옥타브와 길이까지 적어 달라고 요청했어요.

그다음 ChatGPT 앱(chatgpt.com)에서도, 기본 설정인 “Medium thinking”(중간 수준 사고)의 GPT-6로 같은 질문을 PDF로 한 번, 사진으로 한 번 하고 스크린샷을 찍었어요.

A 페이지: Mutopia Project가 인쇄한 대로의 〈미뉴에트 G장조〉 첫 페이지로, 한 줄에 보표가 둘B 페이지: 같은 페이지를 탁자 위에서 비스듬하게 찍은 사진으로, 오른쪽 아래로 갈수록 어둡고 그림자가 있음
테스트한 미뉴에트 페이지 두 장이에요. 왼쪽은 깨끗한 PDF, 오른쪽은 이 PDF로 만든 사진으로, 급하게 찍은 휴대폰 사진처럼 기울어지고 조명이 고르지 않으며 그림자가 있어요.
C 페이지: 쇼팽 왈츠 B단조의 도입부로, 못갖춘마디, 임시표, 왼손 화음이 있음
더 어려운 페이지: 쇼팽 왈츠 B단조, Op. 69 No. 2의 도입부예요.

같은 페이지를 직접 써 볼 수 있어요. 깨끗한 PDF와 사진이에요.

각 음은 한 번씩 계산하므로 세 음짜리 화음은 3개로 계산해요. 음높이가 틀렸거나, 빠졌거나, 불필요하게 더해진 음은 음높이 오류이고, 음높이는 맞는데 길이가 틀린 것은 리듬 오류예요. 마디 전체를 2도 높게 읽으면 그 마디의 모든 음이 틀린 것으로 계산해요. 장식음과 꾸밈음은 세지 않았어요.

ChatGPT가 혼자서도 잘하는 것

깨끗한 페이지에 강한 모델이라면 꽤 많은 것을 해내요. 강한 모델의 답은 모두 조와 박자표를 정확히 말했어요. gpt-6-astra는 깨끗한 미뉴에트를 세 번 시도해 틀린 음 1개, 2개, 1개로 읽었고, 쇼팽은 하나도 틀리지 않았어요. gpt-6.1-sol은 미뉴에트에서 1개, 5개, 0개, 쇼팽에서 0개, 0개, 2개였어요. 8마디를 G장조에서 F장조로 조옮김해 달라고 하자 모든 음을 온음 내리고, 조표를 내림표 1개로 바꾸고, 모르덴트와 꾸밈음을 그대로 남겼어요. 5마디의 연습 조언도 알맞았어요. 모르덴트는 박을 늦추지 않고 가볍게 연주하고, 8분음표는 고르게 연주하고, 왼손은 세 박 내내 누르고 있으라는 것이었어요.

앱의 ChatGPT가 미뉴에트, G장조, 3/4박자를 짚고 1~4마디의 음을 표로 보여 줌. 3마디 오른손의 첫 음 D5에 테두리가 있음
ChatGPT 앱이 깨끗한 PDF를 읽은 모습이에요. 곡, 조, 박자표를 맞혔고 1~4마디의 음 23개 중 22개가 맞았어요. 테두리를 두른 음이 틀렸어요. 3마디는 D5가 아니라 E5로 시작해요.

틀리는 곳

저희 테스트에서 문제가 된 것은 세 가지예요. 약한 모델, 사진, 파일이에요.

미뉴에트 1~16마디예요. 모델마다 세 번 시도 중 가장 나쁜 결과이고(Astra는 gpt-6-astra, Sol은 gpt-6.1-sol, Luna는 gpt-6-luna, 5.6 Luna는 gpt-5.6-luna), ScoreStarling은 PDF를 한 번 읽었어요. 모든 실행은 아래 결과 표에 있어요.

인쇄된 악보

5
57

gpt-6.1-sol, 깨끗한 PDF(1~16마디에서 5개 틀림)

5
57

gpt-6.1-sol, 휴대폰 사진(37개 틀림)

5
57

gpt-6-luna, 깨끗한 PDF(62개 틀림)

5
57
미뉴에트 5~8마디를 인쇄된 그대로, 그리고 각 모델이 읽은 대로 나란히 보여 줘요. 틀린 음은 주황색이에요. gpt-6.1-sol은 깨끗한 PDF에서도 한 번 7마디를 3도 높게 읽었고, 사진에서는 세 마디를 높게 읽었어요. 더 빠른 모델은 오른손 대부분을 틀렸어요.

약한 모델

무엇보다 모델이 가장 큰 차이를 만들었어요. 같은 깨끗한 PDF에서 gpt-6-sol과 gpt-5.6-sol은 시도마다 1~5개를 틀렸고, gpt-5.6-terra는 한 번 37개를 틀렸고, gpt-6-luna는 약 60개를 틀렸는데 대부분 마디가 2도 어긋난 경우였고, gpt-5.6-luna는 86~97개를 틀렸어요. 쇼팽에서는 gpt-6-sol이 최대 42개, gpt-5.6-sol이 최대 59개를 틀렸어요. gpt-6-luna는 사진과 쇼팽에서 세 번 중 두 번 답하기를 거부했고, 한 번은 “모든 음과 음가를 믿을 수 있게 채보할 수 없다”고 했어요. 어떤 모델이 답하는지는 쓰는 요금제와 설정에 따라 달라서, 여기 나온 최고 결과는 전형적인 결과가 아니라 가장 좋은 경우예요.

사진

사진은 모든 모델의 결과를 예측하기 어렵게 만들었어요. gpt-6-astra는 사진으로 찍은 페이지를 틀린 음 1개, 1개, 13개로 읽었고, gpt-6.1-sol은 11개, 37개, 18개였어요. 실수는 무작위가 아니었어요. 한 번은 7마디의 F♯4 G4 A4 B4 G4가 A4 B4 C5 D5 B4가 되어, 마디 전체가 3도 높아졌어요. 다른 한 번은 5~7마디와 11~15마디의 오른손을 내내 2도 높게 읽었어요. 음높이는 오선 위의 위치인데, 기울어지고 그림자가 진 페이지에서는 줄을 하나 잘못 세기 쉬워요.

사진을 읽는 앱의 ChatGPT: 1~4마디의 같은 표에서 왼손 음 두 개, 1마디의 D3와 2마디의 G3에 테두리가 있음
ChatGPT 앱이 사진을 읽은 모습이에요. 이번에는 오른손이 맞지만 왼손 음 두 개가 틀렸어요. 1마디의 두 번째 음은 D3가 아니라 A3이고, 2마디는 G3가 아니라 B3예요.

모델이 말을 바꾸기도 해요. 사진 대화에서 3~4마디를 2도 낮게 읽었다가, 조옮김을 요청하자 “앞서 읽은 내용 정정”으로 시작해 바로잡았어요. 같은 그림이라도 질문에 따라 다른 음이 나올 수 있어요.

파일

“재생해 볼 수 있는 버전이나 MIDI 파일”을 직접 요청하자, 모델은 음악용 텍스트 형식인 ABC 표기법으로 써 주고 온라인 ABC 플레이어에 붙여 넣으라고 안내했어요. ChatGPT 앱은 더 해 줬어요. 코드 도구를 써서 1~4마디의 MIDI 파일을 다운로드하도록 내놓았어요. 이 파일은 모델이 읽은 내용을 음으로 바꾼 것이라서 3마디의 틀린 음이 그대로 들어 있었고, 저희가 물은 네 마디만 담겨 있었어요. MusicXML도, 보거나 편집할 악보도 여전히 없었어요. 음 하나를 고치려면 다른 소프트웨어에서 MIDI를 열거나 다시 요청해야 해요.

MIDI 요청에 다운로드 카드로 답하는 앱의 ChatGPT: 미뉴에트 G장조, 1~4마디, 피아노, 양손, G장조, 3/4박자, 110 BPM
MIDI 요청에 대한 ChatGPT 앱의 답으로, 읽은 네 마디가 담긴 파일이에요. 파일 속 음을 직접 읽어 보니 3마디는 E5가 아니라 위의 답과 같은 D5로 시작해요.

채팅 모델에게 악보 읽기가 어려운 이유는 무엇인가요?

같은 기호도 놓인 자리에 따라 뜻이 달라져요. 검은 음표 머리는 어느 줄에 있느냐에 따라 G가 되기도 B가 되기도 하고, 음자리표, 조표, 마디 앞쪽의 임시표, 옥타브 기호가 모두 그 음을 바꿔요. 페이지를 읽는다는 것은 모든 음에 대해 이 모두를 한꺼번에 맞힌다는 뜻이에요. 그림을 잘 설명하는 범용 모델도 줄 하나쯤 틀릴 수 있고, 사진에서는 줄 자체가 휘고 흐려져요.

ChatGPT에서 ScoreStarling으로 같은 악보 읽기

ScoreStarling은 연결 가이드에 나온 대로 MCP를 통해 ChatGPT, Claude와 연결돼요. 깨끗한 PDF는 악보 인식기로 가는데, 오픈 소스 Audiveris를 바탕으로 한 광학 악보 인식(OMR) 엔진이 페이지를 악보로 바꿔요. 그런 다음 어시스턴트가 그 악보를 페이지와 비교해서 인식기가 잘못 읽은 곳을 고쳐요.

깨끗한 PDF

인식기는 미뉴에트 1~16마디의 음 101개를 모두 맞혔고, 쇼팽 발췌의 음 91개도 모두 맞혔어요. 조와 박자표도 맞았어요. 놓친 것은 하나뿐으로, 미뉴에트 8마디 앞의 꾸밈음이에요. 결과는 바로 재생할 수 있는 악보로 열렸고, 한 번에 F장조로 조옮김할 수 있었고(32마디 전체, 조표 포함), MusicXML, MIDI, PDF, MP3로 다운로드할 수 있었어요.

ScoreStarling이 PDF에서 읽은 미뉴에트를 악보에서 재생하는 모습

MusicXMLMIDI

ScoreStarling을 연결한 ChatGPT: 왼쪽에는 PDF가 32마디, 음 203개의 재생 가능한 피아노 악보가 되었다는 답변, 오른쪽에는 재생 버튼이 있는 Menuet in G 악보 패널
ChatGPT 앱에서 ScoreStarling으로 같은 PDF를 읽은 모습이에요. 미뉴에트 32마디 전체가 채팅 옆에서 재생하고 편집할 수 있는 악보로 열려요.

휴대폰 사진

인식기는 비스듬한 사진에서 실패했어요. 12마디와 음 56개(203개 중)만 찾았고, 피아노를 악기 둘로 나누었고, 조를 C장조로 적었어요. 사진, 손글씨, 숫자보(간보), 리드 시트는 ScoreStarling이 다른 방식으로 처리해요. 어시스턴트가 그림을 읽어 음악을 ABC로 쓰고, ScoreStarling이 그것으로 재생 가능한 악보를 만들어요. 이 방식의 정확도는 어시스턴트가 읽은 만큼이에요. gpt-6.1-sol이 이 일을 했을 때 첫 버전에는 7~8마디에서 틀린 음 6개가 있었어요. 그다음 악보를 사진과 비교해 보라고 하자 그 마디들을 놓쳤고, 왼손이 한 옥타브 낮다고 판단해 옮기는 바람에 틀린 음이 43개가 됐어요.

인쇄된 악보

3

모델이 사진 읽기 결과를 “검토”한 뒤

3
1~4마디예요. 악보를 사진과 비교해 보라는 요청에 모델은 오른손은 그대로 두고 왼손 전체를 한 옥타브 올려서(주황색), 맞았던 베이스를 틀리게 바꿔 놓았어요.

가능하면 인식기에는 PDF나 평평하게 스캔한 파일을 주세요. 페이지를 펴고 밝기를 고르게 해 주는 휴대폰의 문서 스캔 모드는 일반 사진보다 스캔에 가까워요. 얼마나 도움이 되는지는 측정하지 못했어요.

결과 한눈에 비교

시도마다 틀린 음 개수, 2026년 10월 13일 테스트. 불필요하게 더해진 음도 오류로 세므로 개수가 전체 음 수보다 클 수 있음
방법A. 깨끗한 PDF(101)B. 휴대폰 사진(101)C. 쇼팽(91)
gpt-6-astra 단독1, 2, 113, 1, 10, 0, 0
gpt-6.1-sol 단독1, 5, 011, 37, 180, 0, 2
gpt-6-sol 단독5, 1, 516, 13, 714, 42, 9
gpt-5.6-sol 단독5, 5, 323, 19, 2236, 59, 39
gpt-5.6-terra 단독4, 37, 520, 2, 12, 13, 2
gpt-6-luna 단독62, 58, 5867; 두 번 거부52; 두 번 거부
gpt-5.6-luna 단독87, 97, 8684, 110, 9391, 79, 85
ScoreStarling 인식기0(꾸밈음 하나 놓침)실패: 12마디, 음 56개, 잘못된 조0
gpt-6.1-sol이 ABC를 쓰고 ScoreStarling이 악보를 만듦—처음 6; 자체 검토 후 43—
결과로 받는 것
ChatGPT 단독ScoreStarling을 연결한 ChatGPT
조와 박자표모든 답에서 맞음PDF에서는 맞고 사진에서는 틀림
재생ABC 텍스트, 앱에서는 다른 곳에서 열 MIDI 파일채팅의 악보 패널에서 재생, MP3 다운로드
MusicXML과 MIDI앱에서 읽은 마디의 MIDI 파일, MusicXML은 없음가능, Plus 구독 중
조옮김 결과음 목록과 ABC재생, 편집, 다운로드할 수 있는 조옮김된 악보

AI가 읽은 악보를 3분 안에 확인하는 방법

무엇이 페이지를 읽었든 결과는 초안으로 보고, 인식기가 자주 틀리는 곳을 확인하세요.

  1. 조표, 박자표, 첫 마디의 음을 페이지와 비교하세요.
  2. 마디 전체가 2도 위나 아래로 밀리지 않았는지 보세요. 첫 음과 마지막 음을 페이지와 비교하면 돼요.
  3. 마디 중간의 임시표와, 그것이 같은 마디의 뒤쪽 음에도 이어지는지 확인하세요.
  4. 왼손의 가장 낮은 음에 옥타브 실수가 없는지 확인하세요.
  5. 점음표나 붙임줄이 있는 마디 몇 개는 박을 세어 보세요.
  6. 빠진 꾸밈음, 장식음, 도돌이표가 없는지 보세요.
  7. 페이지를 따라 보면서 재생해 보세요. 틀린 음은 눈으로 보는 것보다 귀로 듣는 쪽이 찾기 쉬워요.

Claude와 다른 어시스턴트

여기서는 ChatGPT 모델만 채점했어요. Claude도 이미지를 읽고 같은 방식으로 MCP를 통해 ScoreStarling에 연결되므로, 인식기, 재생, 조옮김, 다운로드가 Claude에서도 똑같이 작동해요.

ScoreStarling으로 악보를 읽으면 비용이 얼마나 드나요?

PDF나 이미지를 읽으면 곡당 10크레딧이 들고, 무료 계정에는 매월 100크레딧이 지급돼요. 편집, 듣기, 새 PDF에는 크레딧이 들지 않아요. MusicXML과 MIDI는 Plus 구독 중에 쓸 수 있어요(2026년 10월 25일 확인). 녹음을 악보로 바꾸는 일은 별개의 작업이에요. 그 내용은 ChatGPT나 Claude로 녹음을 악보로 만들 수 있나요?

출처

  1. Mutopia Project, Menuet in G, BWV Anh. 114, Allen Garvin 조판, 퍼블릭 도메인.
  2. Mutopia Project, Walzer Nr. 10 h-moll, Op. 69 No. 2, Roland Goretzki 조판, 퍼블릭 도메인.
  3. Audiveris, ScoreStarling 인식기의 바탕이 되는 오픈 소스 광학 악보 인식 엔진.
  4. ABC 음악 표준.

질문과 답변

ChatGPT가 악보 PDF를 읽을 수 있나요?

PDF가 깨끗하고 모델이 강하다면 대개 읽어요. 2026년 10월 13일 저희 테스트에서 gpt-6-astra는 바흐 미뉴에트 16마디(음 101개)를 세 번 시도해 틀린 음 1개, 2개, 1개로 읽었고, gpt-6.1-sol은 1개, 5개, 0개였어요. 7개 모델 중 가장 약한 모델은 86~97개가 틀렸어요. 믿고 쓰기 전에 음을 확인하세요.

사진에서는 ChatGPT가 왜 음을 틀리나요?

음높이는 오선 위의 위치로 정해지기 때문에, 기울어지거나 그림자가 진 사진에서는 줄이나 칸을 하나 잘못 세기 쉬워요. 저희 테스트에서 사진의 전형적인 실수는 마디 전체를 2도 높게 또는 낮게 읽는 것이었어요. 가장 좋은 모델도 세 번 중 한 번은 101개 중 13개를 틀렸고, 다른 모델은 최대 37개까지 틀렸어요.

ChatGPT가 악보를 조옮김할 수 있나요?

읽은 음을 조옮김해서 목록이나 ABC 텍스트로 써 줄 수 있어요. 읽은 내용이 맞았을 때는 8마디를 G장조에서 F장조로 조옮김한 결과도 맞았어요. 하지만 받는 것은 텍스트이고, 악보 제작 프로그램에서 열 수 있는 악보 파일이 아니에요.

ChatGPT가 악보를 MIDI로 변환할 수 있나요?

읽은 음으로 MIDI 파일을 만들 수 있지만 실수도 그대로 들어가요. 2026년 10월 13일 ChatGPT 앱에서는 1~4마디의 MIDI 파일을 만들었는데 틀린 음 하나가 그대로 담겼어요. 앱의 도구 없이 모델에 직접 요청했을 때는 대신 ABC 텍스트를 썼어요. ScoreStarling 같은 악보 인식기를 연결하면 같은 채팅에서 페이지 전체의 MIDI와 MusicXML을 받을 수 있어요.

Claude가 악보를 읽을 수 있나요?

Claude도 악보 이미지를 볼 수 있어요. 이번 테스트에서는 채점하지 않았어요. Claude도 ChatGPT와 같은 방식으로 MCP를 통해 ScoreStarling에 연결할 수 있어서, 아래의 읽기, 재생, 내보내기가 Claude에서도 똑같이 작동해요.

PDF 악보 MIDI 변환