部落格技術

ChatGPT 和 Claude 能把錄音轉成樂譜嗎?

AI 助理單憑自己處理不了你的錄音。本文介紹 MCP 連接器補上了什麼、如何在 Claude 和 ChatGPT 中設定,以及我們還沒驗證過的部分。

先說結論

單靠它們自己不行。AI 聊天助理可以聊音樂,也能用文字寫出音符,但沒辦法根據你自己的錄音給出一份可靠、可編輯的樂譜;我們在 2026年10月3日查閱了兩家公司的說明文件,都沒有提到可以把音訊轉成樂譜。透過 MCP 串接扒譜工具後,兩者就都能做到:工具負責辨識音符、排版樂譜,助理負責把你的要求變成工具呼叫。ScoreStarling 就是這樣和 Claude、ChatGPT 搭配運作的:它正在等待兩邊應用程式目錄的審核,不過你現在就能用網址新增。

直接讓 ChatGPT 或 Claude 扒譜會怎樣?

你得到的是對音樂的文字描述,或者助理自己寫出的音符,而不是你這個檔案的轉譜結果。Claude 說明中心列出的可上傳檔案是文件(PDF、DOCX、CSV、TXT 等)和圖片(JPEG、PNG、GIF、WebP),裡面沒有任何音訊格式。OpenAI 的音訊檔案轉錄指南講的是把語音錄音轉成逐字稿,沒有提到音樂或記譜。以上兩項均於 2026年10月3日查閱。

助理能做的,是用文字寫音樂。例如 ABC 記譜法就是純文字,軟體可以把它畫成五線譜;MCP Apps 的官方範例 Sheet Music Server 會把助理寫出的 ABC 渲染成可以播放的樂譜。記錄靈感時這很有用,但它不是轉譜:沒有任何東西測量過你錄音裡的音高和節奏,所以每個音你都得靠耳朵核對。

一份能用的轉譜,背後是一連串工作:從音訊裡找出每個音的音高、起點和時值;把音符對齊到拍子和拍號上;決定調號、選定變音記號的寫法、放好休止符、分開聲部;最後排版成譜,存成打譜軟體能開啟的格式。每一步都有專門的軟體。第一步由 Spotify 開源的 Basic Pitch 完成,我們在自己的伺服器上用它處理單一樂器或人聲,它的作者說它一次只處理一種樂器時效果最好。中間幾步由 MuseScore Studio 4.7.5 的 MIDI 匯入功能替我們完成,最後由 Verovio 用 Leipzig 音樂字型排版。

串接 MCP 工具後有什麼不同?

助理可以把音樂交給專門的軟體處理,而你照樣用日常的話提出要求。用官方文件的話來說,模型上下文協定(Model Context Protocol)是「一個將 AI 應用程式連接到外部系統的開源標準」。服務商會架設一個提供工具的 MCP 伺服器,連上它的助理就能在對話中途呼叫這些工具。在 Claude 裡,你自己新增的伺服器叫作自訂連接器;在 ChatGPT 裡,它是你在開發者模式下建立的應用程式。

連接 ScoreStarling 時,瀏覽器會開啟我們的登入頁面。你授權之後,助理只能處理你自己的專案,碰不到別人的。之後的分工如下:

連接後的對話中,誰負責什麼
環節AI 助理ScoreStarling 的工具
你的要求理解「第 1 小節最後一個音,高八度」指的是什麼,並選擇工具回傳樂譜的音符、小節和版本,讓要求能對應到具體的音符
錄音轉交你的附件(ChatGPT),或從程式碼沙箱上傳(Claude)簽發一次性上傳連結,10 分鐘後失效
轉譜查詢任務狀態,而不是重新上傳辨識音符(單一樂器或人聲用 Basic Pitch),寫成樂譜並用 Verovio 排版
修改把你的話變成一次精確的編輯,自己的建議則以預覽形式給出執行編輯,支援復原和儲存版本;產生附音訊的預覽
匯出在對話裡把檔案交給你,或引導你到面板的 Download 選單產生 PDF、MusicXML、MIDI、MP3 或 WAV;連結一小時後失效

這些工具和網頁工作區操作的是同一份已儲存的樂譜,所以在對話裡做的修改,開啟工作區就能看到。

從錄音到 PDF,一次完整的對話是什麼樣子?

幾句簡單的話,就能從錄音一路走到最終檔案:轉譜、修改、預覽、匯出,中間隨時試聽。下面的步驟用的是我們連線指南裡的範例提示詞。這些步驟大多已在 ChatGPT 的真實對話中實際跑過,只是沒有在同一段對話裡一次走完:2026年10月5日轉了一段附件錄音;10月6日測試了從連結轉譜、樂譜面板、播放、預覽、套用、復原和下載。在 Claude 中,10月6日有一份直接用音符寫成的樂譜在面板裡開啟並成功播放;從 Claude 上傳錄音仍在測試中。

  1. 附上錄音,然後說:「用 ScoreStarling 把這段語音備忘錄轉成樂譜,速度大約 84 BPM。」如果知道速度,就告訴它。沒給速度時,ScoreStarling 會根據錄音估算;如果演奏帶有搖擺或彈性速度,估出來的可能是一個相關但不同的速度。
  2. 檔案在兩款應用程式裡的傳遞方式不同。ChatGPT 會把附件直接交給轉譜工具。Claude 會在程式碼沙箱裡讀取檔案,向 ScoreStarling 申請一次性上傳連結,再把檔案傳過去,所以沙箱需要網路存取權限。如果你用的應用程式無法上傳,助理可以開啟 ScoreStarling 的上傳面板,你也可以在網頁工作區上傳這段錄音。
  3. 我們的伺服器會依你給的速度或偵測到的速度轉譜。人聲或單一樂器先按 4/4 拍記譜,之後可以修改;鋼琴獨奏還會自動判斷拍號和小節線。如果你的應用程式能顯示面板,助理會在對話中的面板開啟樂譜。同一個專案也在工作區裡:工作區能把轉譜結果和你的錄音同步播放,支援交叉淡化和重複播放,方便你聽出兩者哪裡對不上。
  4. 聽到問題就改:「我的 ScoreStarling 樂譜裡,第 1 小節最後一個音應該高八度。」助理會讀取樂譜找到這個音,然後做出精確的修改。你明確說出的修改會立即生效,也可以復原。
  5. 改動較大時,先試再定:「把我的 ScoreStarling 樂譜升高一個全音,先讓我聽聽預覽。」工具會產生移調後的樂譜和音訊作為預覽。在你接受之前,樂譜不會變動;你也可以直接捨棄這個預覽。
  6. 匯出:「把我的 ScoreStarling 樂譜匯出成 PDF 和 MusicXML。」你可以在對話裡或面板的 Download 選單拿到這兩個檔案,連結一小時後失效。PDF 可以直接列印,樂譜解鎖前頁尾會有一行小字;MusicXML 可以在 MuseScore、Dorico、Sibelius 或 Finale 裡開啟繼續編輯。匯出 MusicXML 需要先解鎖樂譜,一次性花費 15 點,助理會在扣點之前先徵求你的同意。

指南裡還有兩句值得記下來。「用長笛播放我的 ScoreStarling 旋律」會更換播放和匯出音訊時使用的 General MIDI 音色。「我的 ScoreStarling 帳號裡還有任務在執行嗎?」能讓你在開始新任務前查看進度,因為免費帳號同時只能執行一個任務。

如何在 Claude 中連接 ScoreStarling?

把 ScoreStarling 新增為自訂連接器(custom connector)。Anthropic 說明中心表示,免費版、Pro、Max、Team 和 Enterprise 方案都能使用自訂連接器,免費版帳號限一個(2026年10月3日查閱)。

  1. 開啟 Customize → Connectors,點選 + Add,再點選 Add custom connector。名稱填 ScoreStarling,網址填 https://mcp.scorestarling.com/mcp。
  2. 在 Authentication 下選擇 Sign in now,在 OAuth client 下選擇 Register automatically。Claude 推薦的是使用它公開的身分(published identity),但這個選項需要用戶端 ID 中繼資料文件(client ID metadata documents),而我們的登入伺服器暫時還不支援。
  3. 登入 ScoreStarling。在對話中點選輸入框裡的 +,開啟 Connectors,然後啟用 ScoreStarling。

在 Team 和 Enterprise 方案中,需要先由擁有者在 Organization settings → Connectors 裡新增連接器,成員再點選 Connect。要轉譜你附上的錄音,必須允許 Claude 的程式碼沙箱存取 ScoreStarling,指南裡有這項設定的說明。從 Claude 上傳仍在測試中,所以上傳面板和工作區仍是備用方案。Claude 設定步驟裡還有一個按鈕,可以幫你自動填好表單;由於 Anthropic 沒有為這個捷徑提供說明文件,旁邊也列出了手動步驟。

在 Claude Code 裡只需要一行指令,然後在工作階段中輸入 /mcp 登入:

claude mcp add --transport http --scope user scorestarling https://mcp.scorestarling.com/mcp

如何在 ChatGPT 中連接 ScoreStarling?

使用開發者模式。OpenAI 向網頁版的 Plus、Pro、Business、Enterprise 和 Education 帳號提供這項功能(2026年10月3日查閱)。下面的選單名稱取自 ChatGPT 英文介面,中文介面中的名稱可能不同。

  1. 在 Settings → Security and login 中開啟 Developer mode。在 Business、Enterprise 和 Edu 工作空間中,可能需要管理員先允許。
  2. 開啟 Plugins,點選 +,把應用程式命名為 ScoreStarling,並貼上 https://mcp.scorestarling.com/mcp。驗證方式選擇 OAuth,使用動態用戶端註冊(dynamic client registration);不需要 API 金鑰。
  3. 登入 ScoreStarling。應用程式會出現在 Drafts 下;在輸入框的 Developer mode 工具裡點選它即可。

OpenAI 的指南把開發者模式標為高風險功能,並說明寫入操作預設需要確認,所以工具修改內容之前,ChatGPT 會先徵求你的同意。ScoreStarling 正在等待 ChatGPT 應用程式目錄的審核,所以目前在目錄裡還搜尋不到。如果找不到 Developer mode 或 + 按鈕,ChatGPT 設定步驟裡說明了該檢查什麼。

目前還有哪些做不到?

有些功能還在測試,有些不在服務範圍內。產品限制於 2026年10月7日確認,用戶端選單於 10月3日查閱。

  • ScoreStarling 可以免費開始使用。單一樂器或人聲、鋼琴獨奏、匯入、編輯,以及下載 PDF、MP3 和 WAV 都免費;2026年內每個帳號每月可免費獲得 100 點,2027年1月起改為 50 點。樂團轉譜要用點數,解鎖樂譜的 MusicXML 和 MIDI 需要 15 點(詳見價格)。在對話中,ScoreStarling 只會使用你已有的點數,不會向你販售任何東西。免費帳號同時只能處理一份樂譜,Plus 帳號可以同時處理五份。
  • ChatGPT 和 Claude 的目錄裡都還沒有它:我們在 2026年10月6日向兩邊提交了申請,目前正在等待審核。上架之前,在 ChatGPT 中需要使用開發者模式。
  • 在我們的測試中,對話裡的樂譜面板在 ChatGPT 和 Claude 中都能開啟,ChatGPT 也已經成功把附件錄音傳給 ScoreStarling;從 Claude 和其他用戶端上傳仍在測試中。每一步都可以改用網頁工作區完成。
  • 上傳檔案最大 100 MiB,無論選哪一種,都只處理錄音的前 5 分鐘。你可以上傳音訊或影片、貼上連結,或者直接在瀏覽器裡錄音。請依錄音裡的內容選擇對應的選項,詳見選項說明。
  • 不指定速度時會自動偵測。人聲或單一樂器先按 4/4 拍記譜,之後可以修改;鋼琴獨奏會自動判斷 4/4、3/4、6/8 或 12/8 拍,以及小節線和弱起小節;樂團樂譜的拍號依演奏判斷,或在開始前手動選擇。所有估算結果都需要檢查。TAB 譜不記推弦、滑音和搥弦;匯入的樂譜和簡譜檢視另有各自的限制。
  • 遠端 MCP 現在也能辨識樂譜 PDF 和圖片、讀取樂譜檔案,並能根據 ABC 或 MusicXML 文字建立樂譜。這類記譜文字可以由助理自己寫;作曲由助理完成。ScoreStarling 的外掛程式(含兩個技能)也在等待目錄審核。WebMCP Beta 則是另一條途徑,供在瀏覽器中開啟工作區的 AI 代理使用。
  • 它不會產生新的錄音。匯出的 MP3 和 WAV 是用 General MIDI 音色把樂譜合成出來的音訊,不是從你的錄音裡分離出的分軌。
  • 每份轉譜結果都只是初稿。我們 10月2日的比較測試測的是吉他錄音和一段樂團片段,沒有測人聲或鋼琴獨奏,結果已發表在《AI 扒譜到底有多準?我們實測了一下》一文中。分享樂譜之前,請先聽一遍並修正。

除了 ScoreStarling,還有哪些辦法?

也有其他服務把音樂工具串接到 AI 助理。以下內容依據各家自己的頁面,於 2026年10月3日查閱。

  • Mirelo 在 https://mcp.mirelo.ai/mcp 提供託管的 MCP 伺服器。用 Mirelo 帳號登入即可,不需要 API 金鑰;它的指南涵蓋 Claude、開發者模式下的 ChatGPT、Cursor、Claude Code 和 Codex。它在 2026年7月30日的發布公告中說,Audio-to-MIDI 可用於現有錄音;其外掛程式儲存庫中的 Audio-to-MIDI 技能會回傳可下載的 MIDI 和 MusicXML,不指定速度時會自動偵測。它的其他工具大多用來產生和編輯音效。Mirelo 同時也是 ScoreStarling 樂團轉譜的合作夥伴,所以我們對它並不中立。
  • Melogen 的 MCP 伺服器適用於開發者模式下的 ChatGPT,透過 OAuth 登入;它能把 PDF、PNG 或 JPG 格式的印刷樂譜辨識成 MIDI 和 MusicXML,還能分析歌曲的速度、調性和結構。它公開的外掛程式裡沒有把錄音轉成樂譜的工具。
  • 如果你更想全部在自己的電腦上執行,可以試試 audio2score-mcp:這是一個開源的本機伺服器,把 Basic Pitch 和 music21 串接起來,輸出 .mid 和 .musicxml 檔案,並附有 Claude Code 的設定說明。它不需要帳號,最近一次提交是在 2026年8月20日。
  • 不用 AI 助理的話,直接在 ScoreStarling 的網頁工作區上傳錄音,得到的是同樣的樂譜。

我們在《樂譜 MCP 伺服器盤點:各自能做什麼》一文中並排比較了其中 26 個,包括操控 MuseScore 的伺服器和用 music21 分析樂譜的伺服器。

參考資料

  1. What is the Model Context Protocol (MCP)?——Model Context Protocol 文件
  2. Upload files to Claude——Claude 說明中心
  3. Get started with custom connectors using remote MCP——Claude 說明中心
  4. Create and edit files with Claude——Claude 說明中心
  5. ChatGPT Developer mode——OpenAI
  6. File transcription——OpenAI API 文件
  7. Example: Sheet Music Server——MCP Apps(modelcontextprotocol/ext-apps),GitHub
  8. Basic Pitch——Spotify,GitHub
  9. Mirelo MCP: sound design for any AI agent——Mirelo
  10. Generate Sound Effects in Claude, ChatGPT and Cursor——Mirelo 部落格,2026年7月30日
  11. Mirelo plugins for Cursor and Claude——Mirelo,GitHub
  12. Melogen Music Intelligence for ChatGPT and MCP——Melogen AI
  13. audio2score-mcp——David7ce,GitHub

常見問題

在 ChatGPT 或 Claude 裡使用樂譜連接器,需要付費方案嗎?

ChatGPT 需要:開發者模式只開放給網頁版的 Plus、Pro、Business、Enterprise 和 Education 帳號。Claude 的所有方案都能新增自訂連接器,免費版限一個。以上兩項均於 2026年10月3日查閱。在 ScoreStarling 上,單一樂器或人聲、鋼琴獨奏和編輯都免費;樂團轉譜要用點數,解鎖樂譜的 MusicXML 和 MIDI 也要用點數。2026年內,每個帳號每月可免費獲得 100 點,2027年1月起改為每月 50 點(2026年10月7日確認)。

ScoreStarling 已經上架 ChatGPT 或 Claude 的應用程式目錄了嗎?

還沒有。我們在 2026年10月6日向兩邊的目錄提交了申請,目前正在等待審核。在此之前,請依連線指南的說明,用網址 https://mcp.scorestarling.com/mcp 新增 ScoreStarling。任何人都可以用 Google 帳號或電子郵件登入。

能扒整個樂團的錄音嗎?

可以:選擇樂團即可。樂團轉譜以每分鐘 40 點計費,開始前會先顯示價格。樂團錄音由我們的合作夥伴 Mirelo 轉譜,和所有轉譜結果一樣,需要你檢查一遍。單一樂器或人聲、鋼琴獨奏都免費。無論選哪一種,都只處理錄音的前 5 分鐘,上傳檔案最大 100 MiB。

AI 助理會不經我同意就改動樂譜嗎?

你明確說出的修改,例如「把第 1 小節最後一個音升高八度」,會立即生效,也可以復原。助理自己提出的修改,以及你要求先試聽的修改,都會以預覽的形式出現;在你接受之前,樂譜不會有任何變動。

AI 助理能根據我的錄音寫出吉他譜嗎?

可以,2026年10月8日起支援。向助理要六線譜(TAB),ScoreStarling 就會依你指定的調音和移調夾位置,為吉他、貝斯或烏克麗麗聲部顯示六線譜:可以放在五線譜下方,也可以只顯示六線譜。助理還能把某個音移到另一條弦上,或者把六線譜以文字形式貼進回答裡。推弦、滑音和搥弦目前不會標出。另有一個在本機執行的開源 MCP 伺服器 fingerstyle-tab-mcp,也能把吉他錄音轉成文字六線譜;我們在《樂譜 MCP 伺服器盤點:各自能做什麼》一文中把它和其他伺服器列在一起。

帶來任何音樂帶走一份樂譜