博客技术

ChatGPT 和 Claude 能把录音转成乐谱吗?

AI 助手单凭自己处理不了你的录音。本文介绍 MCP 连接器补上了什么、如何在 Claude 和 ChatGPT 中设置,以及我们还没验证过的部分。

先说结论

单靠它们自己不行。AI 聊天助手可以聊音乐,也能用文本写出音符,但没法根据你自己的录音给出一份可靠、可编辑的乐谱;我们在 2026年10月3日查阅了两家公司的文档,都没有提到可以把音频转成乐谱。通过 MCP 接入扒谱工具后,两者就都能做到:工具负责识别音符、排版乐谱,助手负责把你的要求变成工具调用。ScoreStarling 就是这样和 Claude、ChatGPT 配合的:它正在等待两边应用目录的审核,不过你现在就能通过地址添加。

直接让 ChatGPT 或 Claude 扒谱会怎样?

你得到的是对音乐的文字描述,或者助手自己写出的音符,而不是对你这个文件的转谱。Claude 帮助中心列出的可上传文件是文档(PDF、DOCX、CSV、TXT 等)和图片(JPEG、PNG、GIF、WebP),里面没有任何音频格式。OpenAI 的音频文件转录指南讲的是把语音录音转成文字稿,没有提到音乐或记谱。以上两项均于 2026年10月3日查阅。

助手能做的,是用文本写音乐。比如 ABC 记谱法就是纯文本,软件可以把它画成五线谱;MCP Apps 的官方示例 Sheet Music Server 会把助手写出的 ABC 渲染成可以播放的乐谱。记录灵感时这很有用,但它不是转谱:没有任何东西测量过你录音里的音高和节奏,所以每个音你都得靠耳朵核对。

一份能用的转谱,背后是一连串工作:从音频里找出每个音的音高、起点和时值;把音符对齐到拍子和拍号上;确定调号、选定变音记号的写法、放好休止符、分开声部;最后排版成谱,存成打谱软件能打开的格式。每一步都有专门的软件。第一步由 Spotify 开源的 Basic Pitch 完成,我们在自己的服务器上用它处理单件乐器或人声,它的作者说它一次只处理一件乐器时效果最好。中间几步由 MuseScore Studio 4.7.5 的 MIDI 导入功能替我们完成,最后由 Verovio 用 Leipzig 音乐字体排版。

接入 MCP 工具后有什么不同?

助手可以把音乐交给专门的软件处理,而你照样用日常的话提要求。用官方文档的话来说,模型上下文协议(Model Context Protocol)是“一个把 AI 应用连接到外部系统的开源标准”。服务方运行一个提供工具的 MCP 服务器,连上它的助手就能在对话中途调用这些工具。在 Claude 里,你自己添加的服务器叫作自定义连接器;在 ChatGPT 里,它是你在开发者模式下创建的应用。

连接 ScoreStarling 时,浏览器会打开我们的登录页面。你授权之后,助手只能处理你自己的项目,碰不到别人的。之后的分工如下:

连接后的对话中,谁负责什么
环节AI 助手ScoreStarling 的工具
你的要求理解“第 1 小节最后一个音,高八度”指的是什么,并选择工具返回乐谱的音符、小节和版本,让要求能对应到具体的音符
录音转交你的附件(ChatGPT),或从代码沙箱上传(Claude)签发一次性上传链接,10 分钟后失效
转谱查询任务状态,而不是重新上传识别音符(单件乐器或人声用 Basic Pitch),写成乐谱并用 Verovio 排版
修改把你的话变成一次精确的编辑,自己的建议则以预览形式给出执行编辑,支持撤销和版本保存;生成带音频的预览
导出在对话里把文件交给你,或者引导你去面板的 Download 菜单生成 PDF、MusicXML、MIDI、MP3 或 WAV;链接一小时后失效

这些工具和网页工作台操作的是同一份已保存的乐谱,所以在对话里做的修改,打开工作台就能看到。

从录音到 PDF,一次完整的对话是什么样的?

几句简单的话,就能从录音走到最终文件:转谱、修改、预览、导出,中间随时试听。下面的步骤用的是我们连接指南里的示例提示词。这些步骤大多已在 ChatGPT 的真实对话中跑通,只是没有在同一段对话里一次走完:2026年10月5日转了一段附件录音;10月6日测试了从链接转谱、乐谱面板、播放、预览、应用、撤销和下载。在 Claude 中,10月6日一份直接用音符写成的乐谱在面板里打开并成功播放;从 Claude 上传录音仍在测试中。

  1. 附上录音,然后说:“用 ScoreStarling 把这段语音备忘录转成乐谱,速度大约 84 BPM。”如果知道速度,就告诉它。没给速度时,ScoreStarling 会根据录音估算;如果演奏带摇摆或弹性速度,估出来的可能是一个相关但不同的速度。
  2. 文件在两款应用里的传递方式不同。ChatGPT 会把附件直接交给转谱工具。Claude 会在代码沙箱里读取文件,向 ScoreStarling 申请一次性上传链接,再把文件传过去,所以沙箱需要联网权限。如果你用的应用里没法上传,助手可以打开 ScoreStarling 的上传面板,你也可以在网页工作台上传这段录音。
  3. 我们的服务器会按你给的速度或检测到的速度转谱。人声或单件乐器先按 4/4 拍记谱,之后可以修改;钢琴独奏还会自动判断拍号和小节线。如果你的应用能显示面板,助手会在对话里的面板中打开乐谱。同一个项目也在工作台里:工作台能把转谱结果和你的录音同步播放,支持交叉淡化和循环播放,方便你听出两者哪里对不上。
  4. 听到问题就改:“我的 ScoreStarling 乐谱里,第 1 小节最后一个音应该高八度。”助手会读取乐谱找到这个音,然后做出精确的修改。你明确说出的修改会立即生效,也可以撤销。
  5. 改动较大时,先试再定:“把我的 ScoreStarling 乐谱升高一个全音,先让我听听预览。”工具会生成移调后的乐谱和音频作为预览。在你接受之前,乐谱不会变化;你也可以直接放弃这个预览。
  6. 导出:“把我的 ScoreStarling 乐谱导出为 PDF 和 MusicXML。”你可以在对话里或面板的 Download 菜单拿到这两个文件,链接一小时后失效。PDF 可以直接打印,乐谱解锁前页脚会有一行小字;MusicXML 可以在 MuseScore、Dorico、Sibelius 或 Finale 里打开继续编辑。导出 MusicXML 需要先解锁乐谱,一次性花费 15 积分,助手会在花积分之前先征求你的同意。

指南里还有两句值得一记。“用长笛播放我的 ScoreStarling 旋律”会更换播放和导出音频时用的 General MIDI 音色。“我的 ScoreStarling 账号里还有任务在运行吗?”能让你在开始新任务前查看任务进度,因为免费账号同时只能运行一个任务。

如何在 Claude 中连接 ScoreStarling?

把 ScoreStarling 添加为自定义连接器(custom connector)。Anthropic 帮助中心表示,免费版、Pro、Max、Team 和 Enterprise 套餐都能使用自定义连接器,免费版账号限一个(2026年10月3日查阅)。

  1. 打开 Customize → Connectors,选择 + Add,再选择 Add custom connector。名称填 ScoreStarling,地址填 https://mcp.scorestarling.com/mcp。
  2. 在 Authentication 下选择 Sign in now,在 OAuth client 下选择 Register automatically。Claude 推荐的是使用它公开的身份(published identity),但这个选项依赖客户端 ID 元数据文档(client ID metadata documents),而我们的登录服务器暂时还不支持。
  3. 登录 ScoreStarling。在对话中点击输入框里的 +,打开 Connectors,然后开启 ScoreStarling。

在 Team 和 Enterprise 套餐中,需要由所有者先在 Organization settings → Connectors 里添加连接器,成员再选择 Connect。要转谱你附上的录音,必须允许 Claude 的代码沙箱访问 ScoreStarling,指南里有这项设置的说明。从 Claude 上传仍在测试中,所以上传面板和工作台仍是备用方案。Claude 设置步骤里还有一个按钮,可以替你自动填好表单;Anthropic 没有为这个快捷方式提供文档,所以旁边也列出了手动步骤。

在 Claude Code 里只需一条命令,然后在会话中输入 /mcp 登录:

claude mcp add --transport http --scope user scorestarling https://mcp.scorestarling.com/mcp

如何在 ChatGPT 中连接 ScoreStarling?

使用开发者模式。OpenAI 向网页版的 Plus、Pro、Business、Enterprise 和 Education 账号提供这项功能(2026年10月3日查阅)。下面的菜单名称取自 ChatGPT 英文界面,中文界面中的叫法可能不同。

  1. 在 Settings → Security and login 中打开 Developer mode。在 Business、Enterprise 和 Edu 工作空间中,可能需要管理员先允许。
  2. 打开 Plugins,选择 +,把应用命名为 ScoreStarling,并粘贴 https://mcp.scorestarling.com/mcp。认证方式选择 OAuth,使用动态客户端注册(dynamic client registration);不需要 API 密钥。
  3. 登录 ScoreStarling。应用会出现在 Drafts 下;在输入框的 Developer mode 工具里选中它即可。

OpenAI 的指南把开发者模式标为高风险功能,并说明写入操作默认需要确认,所以工具修改内容之前,ChatGPT 会先征求你的同意。ScoreStarling 正在等待 ChatGPT 应用目录的审核,所以目前在目录里还搜不到。如果找不到 Developer mode 或 + 按钮,ChatGPT 设置步骤里说明了该检查什么。

目前还有哪些做不到?

有些功能还在测试,有些不在服务范围内。产品限制于 2026年10月7日核实,客户端菜单于 10月3日查阅。

  • ScoreStarling 可以免费上手。单件乐器或人声、钢琴独奏、导入、编辑,以及下载 PDF、MP3 和 WAV 都免费;2026年内每个账号每月可免费获得 100 积分,2027年1月起改为 50 积分。乐队转谱要用积分,解锁乐谱的 MusicXML 和 MIDI 需要 15 积分(详见价格)。在对话中,ScoreStarling 只使用你已有的积分,不会向你出售任何东西。免费账号同时只能处理一份乐谱,Plus 账号可以同时处理五份。
  • ChatGPT 和 Claude 的目录里都还没有它:我们在 2026年10月6日向两边提交了申请,目前正在等待审核。上架之前,在 ChatGPT 中需要使用开发者模式。
  • 在我们的测试中,对话里的乐谱面板在 ChatGPT 和 Claude 中都能打开,ChatGPT 也已经把附件录音成功传给了 ScoreStarling;从 Claude 和其他客户端上传仍在测试中。每一步都可以改用网页工作台完成。
  • 上传文件最大 100 MiB,无论选哪种,都只处理录音的前 5 分钟。你可以上传音频或视频、粘贴链接,或者直接在浏览器里录音。请按录音里的内容选择对应选项,详见选项说明。
  • 不指定速度时会自动检测。人声或单件乐器先按 4/4 拍记谱,之后可以修改;钢琴独奏会自动判断 4/4、3/4、6/8 或 12/8 拍,以及小节线和弱起小节;乐队乐谱的拍号由演奏判断,或在开始前手动选择。所有估算结果都需要检查。TAB 谱不记推弦、滑音和击弦;导入的乐谱和简谱视图另有各自的限制。
  • 远程 MCP 现在也能识别乐谱 PDF 和图片、读取乐谱文件,并能根据 ABC 或 MusicXML 文本创建乐谱。这类记谱文本助手可以自己写;作曲由助手完成。ScoreStarling 的插件(含两个技能)也在等待目录审核。WebMCP Beta 则是另一条途径,供在浏览器里打开工作台的 AI 智能体使用。
  • 它不会生成新的录音。导出的 MP3 和 WAV 是用 General MIDI 音色把乐谱合成出来的音频,不是从你的录音里分离出的分轨。
  • 每份转谱结果都只是初稿。我们 10月2日的对比测试测的是吉他录音和一段乐队片段,没有测人声或钢琴独奏,结果已发表在《AI 扒谱到底有多准?我们实测了一下》一文中。分享乐谱之前,请先听一遍并修正。

除了 ScoreStarling,还有哪些办法?

也有其他服务把音乐工具接入 AI 助手。以下内容依据各家自己的页面,于 2026年10月3日查阅。

  • Mirelo 在 https://mcp.mirelo.ai/mcp 提供托管的 MCP 服务器。用 Mirelo 账号登录即可,不需要 API 密钥;它的指南涵盖 Claude、开发者模式下的 ChatGPT、Cursor、Claude Code 和 Codex。它在 2026年7月30日的发布公告中说,Audio-to-MIDI 可用于现有录音;其插件仓库中的 Audio-to-MIDI 技能会返回 MIDI 和 MusicXML 下载,不指定速度时会自动检测。它的其他工具大多用于生成和编辑音效。Mirelo 同时也是 ScoreStarling 里乐队转谱的合作伙伴,所以我们对它并不中立。
  • Melogen 的 MCP 服务器面向开发者模式下的 ChatGPT,通过 OAuth 登录;它能把 PDF、PNG 或 JPG 格式的印刷乐谱识别成 MIDI 和 MusicXML,还能分析歌曲的速度、调性和结构。它公开的插件里没有把录音转成乐谱的工具。
  • 如果你更想全部在自己的电脑上运行,可以试试 audio2score-mcp:这是一个开源的本地服务器,把 Basic Pitch 和 music21 串联起来,输出 .mid 和 .musicxml 文件,并附有 Claude Code 的配置说明。它不需要账号,最近一次提交是在 2026年8月20日。
  • 不用 AI 助手的话,直接在 ScoreStarling 的网页工作台上传录音,得到的是同样的乐谱。

我们在《乐谱 MCP 服务器盘点:各自能做什么》一文中并排比较了其中 26 个,包括操控 MuseScore 的服务器和用 music21 分析乐谱的服务器。

参考资料

  1. What is the Model Context Protocol (MCP)?——Model Context Protocol 文档
  2. Upload files to Claude——Claude 帮助中心
  3. Get started with custom connectors using remote MCP——Claude 帮助中心
  4. Create and edit files with Claude——Claude 帮助中心
  5. ChatGPT Developer mode——OpenAI
  6. File transcription——OpenAI API 文档
  7. Example: Sheet Music Server——MCP Apps(modelcontextprotocol/ext-apps),GitHub
  8. Basic Pitch——Spotify,GitHub
  9. Mirelo MCP: sound design for any AI agent——Mirelo
  10. Generate Sound Effects in Claude, ChatGPT and Cursor——Mirelo 博客,2026年7月30日
  11. Mirelo plugins for Cursor and Claude——Mirelo,GitHub
  12. Melogen Music Intelligence for ChatGPT and MCP——Melogen AI
  13. audio2score-mcp——David7ce,GitHub

常见问题

在 ChatGPT 或 Claude 里用乐谱连接器,需要付费套餐吗?

ChatGPT 需要:开发者模式只向网页版的 Plus、Pro、Business、Enterprise 和 Education 账号开放。Claude 的所有套餐都能添加自定义连接器,免费版限一个。以上两项均于 2026年10月3日查阅。在 ScoreStarling 上,单件乐器或人声、钢琴独奏和编辑都免费;乐队转谱要用积分,解锁乐谱的 MusicXML 和 MIDI 也要用积分。2026年内,每个账号每月可免费获得 100 积分,2027年1月起改为每月 50 积分(2026年10月7日核实)。

ScoreStarling 已经上架 ChatGPT 或 Claude 的应用目录了吗?

还没有。我们在 2026年10月6日向两边的目录提交了申请,目前正在等待审核。在此之前,请按连接指南的说明,通过地址 https://mcp.scorestarling.com/mcp 添加 ScoreStarling。任何人都可以用 Google 账号或邮箱登录。

能扒整支乐队的录音吗?

可以:选择乐队即可。乐队转谱按每分钟 40 积分计费,开始前会先显示价格。乐队录音由我们的合作伙伴 Mirelo 转谱,和所有转谱结果一样,需要你检查一遍。单件乐器或人声、钢琴独奏都免费。无论选哪种,都只处理录音的前 5 分钟,上传文件最大 100 MiB。

AI 助手会不经我同意就改动乐谱吗?

你明确说出的修改,比如“把第 1 小节最后一个音升高八度”,会立即生效,也可以撤销。助手自己提出的修改,以及你要求先试听的修改,都会以预览的形式出现;在你接受之前,乐谱不会有任何变化。

AI 助手能根据我的录音写出吉他谱吗?

能,2026年10月8日起支持。向助手要六线谱(TAB),ScoreStarling 就会按你指定的定弦和变调夹位置,为吉他、贝斯或尤克里里声部显示六线谱:可以放在五线谱下方,也可以只显示六线谱。助手还能把某个音挪到另一根弦上,或者把六线谱以文本形式贴进回答里。推弦、滑音和击弦目前不会标出。另有一个在本地运行的开源 MCP 服务器 fingerstyle-tab-mcp,也能把吉他录音转成文本六线谱;我们在《乐谱 MCP 服务器盘点:各自能做什么》一文中把它和其他服务器列在了一起。

带来任何音乐带走一份乐谱