部落格技術
ChatGPT 和 Claude 能把錄音轉成樂譜嗎?
AI 助理單憑自己處理不了你的錄音。本文介紹 MCP 連接器補上了什麼、如何在 Claude 和 ChatGPT 中設定,以及我們還沒驗證過的部分。
先說結論
單靠它們自己不行。AI 聊天助理可以聊音樂,也能用文字寫出音符,但沒辦法根據你自己的錄音給出一份可靠、可編輯的樂譜;我們在 2026年10月3日查閱了兩家公司的說明文件,都沒有提到可以把音訊轉成樂譜。透過 MCP 串接扒譜工具後,兩者就都能做到:工具負責辨識音符、排版樂譜,助理負責把你的要求變成工具呼叫。ScoreStarling 就是這樣和 Claude、ChatGPT 搭配運作的:它正在等待兩邊應用程式目錄的審核,不過你現在就能用網址新增。
直接讓 ChatGPT 或 Claude 扒譜會怎樣?
你得到的是對音樂的文字描述,或者助理自己寫出的音符,而不是你這個檔案的轉譜結果。Claude 說明中心列出的可上傳檔案是文件(PDF、DOCX、CSV、TXT 等)和圖片(JPEG、PNG、GIF、WebP),裡面沒有任何音訊格式。OpenAI 的音訊檔案轉錄指南講的是把語音錄音轉成逐字稿,沒有提到音樂或記譜。以上兩項均於 2026年10月3日查閱。
助理能做的,是用文字寫音樂。例如 ABC 記譜法就是純文字,軟體可以把它畫成五線譜;MCP Apps 的官方範例 Sheet Music Server 會把助理寫出的 ABC 渲染成可以播放的樂譜。記錄靈感時這很有用,但它不是轉譜:沒有任何東西測量過你錄音裡的音高和節奏,所以每個音你都得靠耳朵核對。
一份能用的轉譜,背後是一連串工作:從音訊裡找出每個音的音高、起點和時值;把音符對齊到拍子和拍號上;決定調號、選定變音記號的寫法、放好休止符、分開聲部;最後排版成譜,存成打譜軟體能開啟的格式。每一步都有專門的軟體。第一步由 Spotify 開源的 Basic Pitch 完成,我們在自己的伺服器上用它處理單一樂器或人聲,它的作者說它一次只處理一種樂器時效果最好。中間幾步由 MuseScore Studio 4.7.5 的 MIDI 匯入功能替我們完成,最後由 Verovio 用 Leipzig 音樂字型排版。
串接 MCP 工具後有什麼不同?
助理可以把音樂交給專門的軟體處理,而你照樣用日常的話提出要求。用官方文件的話來說,模型上下文協定(Model Context Protocol)是「一個將 AI 應用程式連接到外部系統的開源標準」。服務商會架設一個提供工具的 MCP 伺服器,連上它的助理就能在對話中途呼叫這些工具。在 Claude 裡,你自己新增的伺服器叫作自訂連接器;在 ChatGPT 裡,它是你在開發者模式下建立的應用程式。
連接 ScoreStarling 時,瀏覽器會開啟我們的登入頁面。你授權之後,助理只能處理你自己的專案,碰不到別人的。之後的分工如下:
| 環節 | AI 助理 | ScoreStarling 的工具 |
|---|---|---|
| 你的要求 | 理解「第 1 小節最後一個音,高八度」指的是什麼,並選擇工具 | 回傳樂譜的音符、小節和版本,讓要求能對應到具體的音符 |
| 錄音 | 轉交你的附件(ChatGPT),或從程式碼沙箱上傳(Claude) | 簽發一次性上傳連結,10 分鐘後失效 |
| 轉譜 | 查詢任務狀態,而不是重新上傳 | 辨識音符(單一樂器或人聲用 Basic Pitch),寫成樂譜並用 Verovio 排版 |
| 修改 | 把你的話變成一次精確的編輯,自己的建議則以預覽形式給出 | 執行編輯,支援復原和儲存版本;產生附音訊的預覽 |
| 匯出 | 在對話裡把檔案交給你,或引導你到面板的 Download 選單 | 產生 PDF、MusicXML、MIDI、MP3 或 WAV;連結一小時後失效 |
這些工具和網頁工作區操作的是同一份已儲存的樂譜,所以在對話裡做的修改,開啟工作區就能看到。
從錄音到 PDF,一次完整的對話是什麼樣子?
幾句簡單的話,就能從錄音一路走到最終檔案:轉譜、修改、預覽、匯出,中間隨時試聽。下面的步驟用的是我們連線指南裡的範例提示詞。這些步驟大多已在 ChatGPT 的真實對話中實際跑過,只是沒有在同一段對話裡一次走完:2026年10月5日轉了一段附件錄音;10月6日測試了從連結轉譜、樂譜面板、播放、預覽、套用、復原和下載。在 Claude 中,10月6日有一份直接用音符寫成的樂譜在面板裡開啟並成功播放;從 Claude 上傳錄音仍在測試中。
- 附上錄音,然後說:「用 ScoreStarling 把這段語音備忘錄轉成樂譜,速度大約 84 BPM。」如果知道速度,就告訴它。沒給速度時,ScoreStarling 會根據錄音估算;如果演奏帶有搖擺或彈性速度,估出來的可能是一個相關但不同的速度。
- 檔案在兩款應用程式裡的傳遞方式不同。ChatGPT 會把附件直接交給轉譜工具。Claude 會在程式碼沙箱裡讀取檔案,向 ScoreStarling 申請一次性上傳連結,再把檔案傳過去,所以沙箱需要網路存取權限。如果你用的應用程式無法上傳,助理可以開啟 ScoreStarling 的上傳面板,你也可以在網頁工作區上傳這段錄音。
- 我們的伺服器會依你給的速度或偵測到的速度轉譜。人聲或單一樂器先按 4/4 拍記譜,之後可以修改;鋼琴獨奏還會自動判斷拍號和小節線。如果你的應用程式能顯示面板,助理會在對話中的面板開啟樂譜。同一個專案也在工作區裡:工作區能把轉譜結果和你的錄音同步播放,支援交叉淡化和重複播放,方便你聽出兩者哪裡對不上。
- 聽到問題就改:「我的 ScoreStarling 樂譜裡,第 1 小節最後一個音應該高八度。」助理會讀取樂譜找到這個音,然後做出精確的修改。你明確說出的修改會立即生效,也可以復原。
- 改動較大時,先試再定:「把我的 ScoreStarling 樂譜升高一個全音,先讓我聽聽預覽。」工具會產生移調後的樂譜和音訊作為預覽。在你接受之前,樂譜不會變動;你也可以直接捨棄這個預覽。
- 匯出:「把我的 ScoreStarling 樂譜匯出成 PDF 和 MusicXML。」你可以在對話裡或面板的 Download 選單拿到這兩個檔案,連結一小時後失效。PDF 可以直接列印,樂譜解鎖前頁尾會有一行小字;MusicXML 可以在 MuseScore、Dorico、Sibelius 或 Finale 裡開啟繼續編輯。匯出 MusicXML 需要先解鎖樂譜,一次性花費 15 點,助理會在扣點之前先徵求你的同意。
指南裡還有兩句值得記下來。「用長笛播放我的 ScoreStarling 旋律」會更換播放和匯出音訊時使用的 General MIDI 音色。「我的 ScoreStarling 帳號裡還有任務在執行嗎?」能讓你在開始新任務前查看進度,因為免費帳號同時只能執行一個任務。
如何在 Claude 中連接 ScoreStarling?
把 ScoreStarling 新增為自訂連接器(custom connector)。Anthropic 說明中心表示,免費版、Pro、Max、Team 和 Enterprise 方案都能使用自訂連接器,免費版帳號限一個(2026年10月3日查閱)。
- 開啟 Customize → Connectors,點選 + Add,再點選 Add custom connector。名稱填 ScoreStarling,網址填
https://mcp.scorestarling.com/mcp。 - 在 Authentication 下選擇 Sign in now,在 OAuth client 下選擇 Register automatically。Claude 推薦的是使用它公開的身分(published identity),但這個選項需要用戶端 ID 中繼資料文件(client ID metadata documents),而我們的登入伺服器暫時還不支援。
- 登入 ScoreStarling。在對話中點選輸入框裡的 +,開啟 Connectors,然後啟用 ScoreStarling。
在 Team 和 Enterprise 方案中,需要先由擁有者在 Organization settings → Connectors 裡新增連接器,成員再點選 Connect。要轉譜你附上的錄音,必須允許 Claude 的程式碼沙箱存取 ScoreStarling,指南裡有這項設定的說明。從 Claude 上傳仍在測試中,所以上傳面板和工作區仍是備用方案。Claude 設定步驟裡還有一個按鈕,可以幫你自動填好表單;由於 Anthropic 沒有為這個捷徑提供說明文件,旁邊也列出了手動步驟。
在 Claude Code 裡只需要一行指令,然後在工作階段中輸入 /mcp 登入:
claude mcp add --transport http --scope user scorestarling https://mcp.scorestarling.com/mcp
如何在 ChatGPT 中連接 ScoreStarling?
使用開發者模式。OpenAI 向網頁版的 Plus、Pro、Business、Enterprise 和 Education 帳號提供這項功能(2026年10月3日查閱)。下面的選單名稱取自 ChatGPT 英文介面,中文介面中的名稱可能不同。
- 在 Settings → Security and login 中開啟 Developer mode。在 Business、Enterprise 和 Edu 工作空間中,可能需要管理員先允許。
- 開啟 Plugins,點選 +,把應用程式命名為 ScoreStarling,並貼上
https://mcp.scorestarling.com/mcp。驗證方式選擇 OAuth,使用動態用戶端註冊(dynamic client registration);不需要 API 金鑰。 - 登入 ScoreStarling。應用程式會出現在 Drafts 下;在輸入框的 Developer mode 工具裡點選它即可。
OpenAI 的指南把開發者模式標為高風險功能,並說明寫入操作預設需要確認,所以工具修改內容之前,ChatGPT 會先徵求你的同意。ScoreStarling 正在等待 ChatGPT 應用程式目錄的審核,所以目前在目錄裡還搜尋不到。如果找不到 Developer mode 或 + 按鈕,ChatGPT 設定步驟裡說明了該檢查什麼。
目前還有哪些做不到?
有些功能還在測試,有些不在服務範圍內。產品限制於 2026年10月7日確認,用戶端選單於 10月3日查閱。
- ScoreStarling 可以免費開始使用。單一樂器或人聲、鋼琴獨奏、匯入、編輯,以及下載 PDF、MP3 和 WAV 都免費;2026年內每個帳號每月可免費獲得 100 點,2027年1月起改為 50 點。樂團轉譜要用點數,解鎖樂譜的 MusicXML 和 MIDI 需要 15 點(詳見價格)。在對話中,ScoreStarling 只會使用你已有的點數,不會向你販售任何東西。免費帳號同時只能處理一份樂譜,Plus 帳號可以同時處理五份。
- ChatGPT 和 Claude 的目錄裡都還沒有它:我們在 2026年10月6日向兩邊提交了申請,目前正在等待審核。上架之前,在 ChatGPT 中需要使用開發者模式。
- 在我們的測試中,對話裡的樂譜面板在 ChatGPT 和 Claude 中都能開啟,ChatGPT 也已經成功把附件錄音傳給 ScoreStarling;從 Claude 和其他用戶端上傳仍在測試中。每一步都可以改用網頁工作區完成。
- 上傳檔案最大 100 MiB,無論選哪一種,都只處理錄音的前 5 分鐘。你可以上傳音訊或影片、貼上連結,或者直接在瀏覽器裡錄音。請依錄音裡的內容選擇對應的選項,詳見選項說明。
- 不指定速度時會自動偵測。人聲或單一樂器先按 4/4 拍記譜,之後可以修改;鋼琴獨奏會自動判斷 4/4、3/4、6/8 或 12/8 拍,以及小節線和弱起小節;樂團樂譜的拍號依演奏判斷,或在開始前手動選擇。所有估算結果都需要檢查。TAB 譜不記推弦、滑音和搥弦;匯入的樂譜和簡譜檢視另有各自的限制。
- 遠端 MCP 現在也能辨識樂譜 PDF 和圖片、讀取樂譜檔案,並能根據 ABC 或 MusicXML 文字建立樂譜。這類記譜文字可以由助理自己寫;作曲由助理完成。ScoreStarling 的外掛程式(含兩個技能)也在等待目錄審核。WebMCP Beta 則是另一條途徑,供在瀏覽器中開啟工作區的 AI 代理使用。
- 它不會產生新的錄音。匯出的 MP3 和 WAV 是用 General MIDI 音色把樂譜合成出來的音訊,不是從你的錄音裡分離出的分軌。
- 每份轉譜結果都只是初稿。我們 10月2日的比較測試測的是吉他錄音和一段樂團片段,沒有測人聲或鋼琴獨奏,結果已發表在《AI 扒譜到底有多準?我們實測了一下》一文中。分享樂譜之前,請先聽一遍並修正。
除了 ScoreStarling,還有哪些辦法?
也有其他服務把音樂工具串接到 AI 助理。以下內容依據各家自己的頁面,於 2026年10月3日查閱。
- Mirelo 在
https://mcp.mirelo.ai/mcp提供託管的 MCP 伺服器。用 Mirelo 帳號登入即可,不需要 API 金鑰;它的指南涵蓋 Claude、開發者模式下的 ChatGPT、Cursor、Claude Code 和 Codex。它在 2026年7月30日的發布公告中說,Audio-to-MIDI 可用於現有錄音;其外掛程式儲存庫中的 Audio-to-MIDI 技能會回傳可下載的 MIDI 和 MusicXML,不指定速度時會自動偵測。它的其他工具大多用來產生和編輯音效。Mirelo 同時也是 ScoreStarling 樂團轉譜的合作夥伴,所以我們對它並不中立。 - Melogen 的 MCP 伺服器適用於開發者模式下的 ChatGPT,透過 OAuth 登入;它能把 PDF、PNG 或 JPG 格式的印刷樂譜辨識成 MIDI 和 MusicXML,還能分析歌曲的速度、調性和結構。它公開的外掛程式裡沒有把錄音轉成樂譜的工具。
- 如果你更想全部在自己的電腦上執行,可以試試 audio2score-mcp:這是一個開源的本機伺服器,把 Basic Pitch 和 music21 串接起來,輸出
.mid和.musicxml檔案,並附有 Claude Code 的設定說明。它不需要帳號,最近一次提交是在 2026年8月20日。 - 不用 AI 助理的話,直接在 ScoreStarling 的網頁工作區上傳錄音,得到的是同樣的樂譜。
我們在《樂譜 MCP 伺服器盤點:各自能做什麼》一文中並排比較了其中 26 個,包括操控 MuseScore 的伺服器和用 music21 分析樂譜的伺服器。
參考資料
- What is the Model Context Protocol (MCP)?——Model Context Protocol 文件
- Upload files to Claude——Claude 說明中心
- Get started with custom connectors using remote MCP——Claude 說明中心
- Create and edit files with Claude——Claude 說明中心
- ChatGPT Developer mode——OpenAI
- File transcription——OpenAI API 文件
- Example: Sheet Music Server——MCP Apps(modelcontextprotocol/ext-apps),GitHub
- Basic Pitch——Spotify,GitHub
- Mirelo MCP: sound design for any AI agent——Mirelo
- Generate Sound Effects in Claude, ChatGPT and Cursor——Mirelo 部落格,2026年7月30日
- Mirelo plugins for Cursor and Claude——Mirelo,GitHub
- Melogen Music Intelligence for ChatGPT and MCP——Melogen AI
- audio2score-mcp——David7ce,GitHub
常見問題
在 ChatGPT 或 Claude 裡使用樂譜連接器,需要付費方案嗎?
ChatGPT 需要:開發者模式只開放給網頁版的 Plus、Pro、Business、Enterprise 和 Education 帳號。Claude 的所有方案都能新增自訂連接器,免費版限一個。以上兩項均於 2026年10月3日查閱。在 ScoreStarling 上,單一樂器或人聲、鋼琴獨奏和編輯都免費;樂團轉譜要用點數,解鎖樂譜的 MusicXML 和 MIDI 也要用點數。2026年內,每個帳號每月可免費獲得 100 點,2027年1月起改為每月 50 點(2026年10月7日確認)。
ScoreStarling 已經上架 ChatGPT 或 Claude 的應用程式目錄了嗎?
還沒有。我們在 2026年10月6日向兩邊的目錄提交了申請,目前正在等待審核。在此之前,請依連線指南的說明,用網址 https://mcp.scorestarling.com/mcp 新增 ScoreStarling。任何人都可以用 Google 帳號或電子郵件登入。
能扒整個樂團的錄音嗎?
可以:選擇樂團即可。樂團轉譜以每分鐘 40 點計費,開始前會先顯示價格。樂團錄音由我們的合作夥伴 Mirelo 轉譜,和所有轉譜結果一樣,需要你檢查一遍。單一樂器或人聲、鋼琴獨奏都免費。無論選哪一種,都只處理錄音的前 5 分鐘,上傳檔案最大 100 MiB。
AI 助理會不經我同意就改動樂譜嗎?
你明確說出的修改,例如「把第 1 小節最後一個音升高八度」,會立即生效,也可以復原。助理自己提出的修改,以及你要求先試聽的修改,都會以預覽的形式出現;在你接受之前,樂譜不會有任何變動。
AI 助理能根據我的錄音寫出吉他譜嗎?
可以,2026年10月8日起支援。向助理要六線譜(TAB),ScoreStarling 就會依你指定的調音和移調夾位置,為吉他、貝斯或烏克麗麗聲部顯示六線譜:可以放在五線譜下方,也可以只顯示六線譜。助理還能把某個音移到另一條弦上,或者把六線譜以文字形式貼進回答裡。推弦、滑音和搥弦目前不會標出。另有一個在本機執行的開源 MCP 伺服器 fingerstyle-tab-mcp,也能把吉他錄音轉成文字六線譜;我們在《樂譜 MCP 伺服器盤點:各自能做什麼》一文中把它和其他伺服器列在一起。