博客技术
ChatGPT 和 Claude 能把录音转成乐谱吗?
AI 助手单凭自己处理不了你的录音。本文介绍 MCP 连接器补上了什么、如何在 Claude 和 ChatGPT 中设置,以及我们还没验证过的部分。
先说结论
单靠它们自己不行。AI 聊天助手可以聊音乐,也能用文本写出音符,但没法根据你自己的录音给出一份可靠、可编辑的乐谱;我们在 2026年10月3日查阅了两家公司的文档,都没有提到可以把音频转成乐谱。通过 MCP 接入扒谱工具后,两者就都能做到:工具负责识别音符、排版乐谱,助手负责把你的要求变成工具调用。ScoreStarling 就是这样和 Claude、ChatGPT 配合的:它正在等待两边应用目录的审核,不过你现在就能通过地址添加。
直接让 ChatGPT 或 Claude 扒谱会怎样?
你得到的是对音乐的文字描述,或者助手自己写出的音符,而不是对你这个文件的转谱。Claude 帮助中心列出的可上传文件是文档(PDF、DOCX、CSV、TXT 等)和图片(JPEG、PNG、GIF、WebP),里面没有任何音频格式。OpenAI 的音频文件转录指南讲的是把语音录音转成文字稿,没有提到音乐或记谱。以上两项均于 2026年10月3日查阅。
助手能做的,是用文本写音乐。比如 ABC 记谱法就是纯文本,软件可以把它画成五线谱;MCP Apps 的官方示例 Sheet Music Server 会把助手写出的 ABC 渲染成可以播放的乐谱。记录灵感时这很有用,但它不是转谱:没有任何东西测量过你录音里的音高和节奏,所以每个音你都得靠耳朵核对。
一份能用的转谱,背后是一连串工作:从音频里找出每个音的音高、起点和时值;把音符对齐到拍子和拍号上;确定调号、选定变音记号的写法、放好休止符、分开声部;最后排版成谱,存成打谱软件能打开的格式。每一步都有专门的软件。第一步由 Spotify 开源的 Basic Pitch 完成,我们在自己的服务器上用它处理单件乐器或人声,它的作者说它一次只处理一件乐器时效果最好。中间几步由 MuseScore Studio 4.7.5 的 MIDI 导入功能替我们完成,最后由 Verovio 用 Leipzig 音乐字体排版。
接入 MCP 工具后有什么不同?
助手可以把音乐交给专门的软件处理,而你照样用日常的话提要求。用官方文档的话来说,模型上下文协议(Model Context Protocol)是“一个把 AI 应用连接到外部系统的开源标准”。服务方运行一个提供工具的 MCP 服务器,连上它的助手就能在对话中途调用这些工具。在 Claude 里,你自己添加的服务器叫作自定义连接器;在 ChatGPT 里,它是你在开发者模式下创建的应用。
连接 ScoreStarling 时,浏览器会打开我们的登录页面。你授权之后,助手只能处理你自己的项目,碰不到别人的。之后的分工如下:
| 环节 | AI 助手 | ScoreStarling 的工具 |
|---|---|---|
| 你的要求 | 理解“第 1 小节最后一个音,高八度”指的是什么,并选择工具 | 返回乐谱的音符、小节和版本,让要求能对应到具体的音符 |
| 录音 | 转交你的附件(ChatGPT),或从代码沙箱上传(Claude) | 签发一次性上传链接,10 分钟后失效 |
| 转谱 | 查询任务状态,而不是重新上传 | 识别音符(单件乐器或人声用 Basic Pitch),写成乐谱并用 Verovio 排版 |
| 修改 | 把你的话变成一次精确的编辑,自己的建议则以预览形式给出 | 执行编辑,支持撤销和版本保存;生成带音频的预览 |
| 导出 | 在对话里把文件交给你,或者引导你去面板的 Download 菜单 | 生成 PDF、MusicXML、MIDI、MP3 或 WAV;链接一小时后失效 |
这些工具和网页工作台操作的是同一份已保存的乐谱,所以在对话里做的修改,打开工作台就能看到。
从录音到 PDF,一次完整的对话是什么样的?
几句简单的话,就能从录音走到最终文件:转谱、修改、预览、导出,中间随时试听。下面的步骤用的是我们连接指南里的示例提示词。这些步骤大多已在 ChatGPT 的真实对话中跑通,只是没有在同一段对话里一次走完:2026年10月5日转了一段附件录音;10月6日测试了从链接转谱、乐谱面板、播放、预览、应用、撤销和下载。在 Claude 中,10月6日一份直接用音符写成的乐谱在面板里打开并成功播放;从 Claude 上传录音仍在测试中。
- 附上录音,然后说:“用 ScoreStarling 把这段语音备忘录转成乐谱,速度大约 84 BPM。”如果知道速度,就告诉它。没给速度时,ScoreStarling 会根据录音估算;如果演奏带摇摆或弹性速度,估出来的可能是一个相关但不同的速度。
- 文件在两款应用里的传递方式不同。ChatGPT 会把附件直接交给转谱工具。Claude 会在代码沙箱里读取文件,向 ScoreStarling 申请一次性上传链接,再把文件传过去,所以沙箱需要联网权限。如果你用的应用里没法上传,助手可以打开 ScoreStarling 的上传面板,你也可以在网页工作台上传这段录音。
- 我们的服务器会按你给的速度或检测到的速度转谱。人声或单件乐器先按 4/4 拍记谱,之后可以修改;钢琴独奏还会自动判断拍号和小节线。如果你的应用能显示面板,助手会在对话里的面板中打开乐谱。同一个项目也在工作台里:工作台能把转谱结果和你的录音同步播放,支持交叉淡化和循环播放,方便你听出两者哪里对不上。
- 听到问题就改:“我的 ScoreStarling 乐谱里,第 1 小节最后一个音应该高八度。”助手会读取乐谱找到这个音,然后做出精确的修改。你明确说出的修改会立即生效,也可以撤销。
- 改动较大时,先试再定:“把我的 ScoreStarling 乐谱升高一个全音,先让我听听预览。”工具会生成移调后的乐谱和音频作为预览。在你接受之前,乐谱不会变化;你也可以直接放弃这个预览。
- 导出:“把我的 ScoreStarling 乐谱导出为 PDF 和 MusicXML。”你可以在对话里或面板的 Download 菜单拿到这两个文件,链接一小时后失效。PDF 可以直接打印,乐谱解锁前页脚会有一行小字;MusicXML 可以在 MuseScore、Dorico、Sibelius 或 Finale 里打开继续编辑。导出 MusicXML 需要先解锁乐谱,一次性花费 15 积分,助手会在花积分之前先征求你的同意。
指南里还有两句值得一记。“用长笛播放我的 ScoreStarling 旋律”会更换播放和导出音频时用的 General MIDI 音色。“我的 ScoreStarling 账号里还有任务在运行吗?”能让你在开始新任务前查看任务进度,因为免费账号同时只能运行一个任务。
如何在 Claude 中连接 ScoreStarling?
把 ScoreStarling 添加为自定义连接器(custom connector)。Anthropic 帮助中心表示,免费版、Pro、Max、Team 和 Enterprise 套餐都能使用自定义连接器,免费版账号限一个(2026年10月3日查阅)。
- 打开 Customize → Connectors,选择 + Add,再选择 Add custom connector。名称填 ScoreStarling,地址填
https://mcp.scorestarling.com/mcp。 - 在 Authentication 下选择 Sign in now,在 OAuth client 下选择 Register automatically。Claude 推荐的是使用它公开的身份(published identity),但这个选项依赖客户端 ID 元数据文档(client ID metadata documents),而我们的登录服务器暂时还不支持。
- 登录 ScoreStarling。在对话中点击输入框里的 +,打开 Connectors,然后开启 ScoreStarling。
在 Team 和 Enterprise 套餐中,需要由所有者先在 Organization settings → Connectors 里添加连接器,成员再选择 Connect。要转谱你附上的录音,必须允许 Claude 的代码沙箱访问 ScoreStarling,指南里有这项设置的说明。从 Claude 上传仍在测试中,所以上传面板和工作台仍是备用方案。Claude 设置步骤里还有一个按钮,可以替你自动填好表单;Anthropic 没有为这个快捷方式提供文档,所以旁边也列出了手动步骤。
在 Claude Code 里只需一条命令,然后在会话中输入 /mcp 登录:
claude mcp add --transport http --scope user scorestarling https://mcp.scorestarling.com/mcp
如何在 ChatGPT 中连接 ScoreStarling?
使用开发者模式。OpenAI 向网页版的 Plus、Pro、Business、Enterprise 和 Education 账号提供这项功能(2026年10月3日查阅)。下面的菜单名称取自 ChatGPT 英文界面,中文界面中的叫法可能不同。
- 在 Settings → Security and login 中打开 Developer mode。在 Business、Enterprise 和 Edu 工作空间中,可能需要管理员先允许。
- 打开 Plugins,选择 +,把应用命名为 ScoreStarling,并粘贴
https://mcp.scorestarling.com/mcp。认证方式选择 OAuth,使用动态客户端注册(dynamic client registration);不需要 API 密钥。 - 登录 ScoreStarling。应用会出现在 Drafts 下;在输入框的 Developer mode 工具里选中它即可。
OpenAI 的指南把开发者模式标为高风险功能,并说明写入操作默认需要确认,所以工具修改内容之前,ChatGPT 会先征求你的同意。ScoreStarling 正在等待 ChatGPT 应用目录的审核,所以目前在目录里还搜不到。如果找不到 Developer mode 或 + 按钮,ChatGPT 设置步骤里说明了该检查什么。
目前还有哪些做不到?
有些功能还在测试,有些不在服务范围内。产品限制于 2026年10月7日核实,客户端菜单于 10月3日查阅。
- ScoreStarling 可以免费上手。单件乐器或人声、钢琴独奏、导入、编辑,以及下载 PDF、MP3 和 WAV 都免费;2026年内每个账号每月可免费获得 100 积分,2027年1月起改为 50 积分。乐队转谱要用积分,解锁乐谱的 MusicXML 和 MIDI 需要 15 积分(详见价格)。在对话中,ScoreStarling 只使用你已有的积分,不会向你出售任何东西。免费账号同时只能处理一份乐谱,Plus 账号可以同时处理五份。
- ChatGPT 和 Claude 的目录里都还没有它:我们在 2026年10月6日向两边提交了申请,目前正在等待审核。上架之前,在 ChatGPT 中需要使用开发者模式。
- 在我们的测试中,对话里的乐谱面板在 ChatGPT 和 Claude 中都能打开,ChatGPT 也已经把附件录音成功传给了 ScoreStarling;从 Claude 和其他客户端上传仍在测试中。每一步都可以改用网页工作台完成。
- 上传文件最大 100 MiB,无论选哪种,都只处理录音的前 5 分钟。你可以上传音频或视频、粘贴链接,或者直接在浏览器里录音。请按录音里的内容选择对应选项,详见选项说明。
- 不指定速度时会自动检测。人声或单件乐器先按 4/4 拍记谱,之后可以修改;钢琴独奏会自动判断 4/4、3/4、6/8 或 12/8 拍,以及小节线和弱起小节;乐队乐谱的拍号由演奏判断,或在开始前手动选择。所有估算结果都需要检查。TAB 谱不记推弦、滑音和击弦;导入的乐谱和简谱视图另有各自的限制。
- 远程 MCP 现在也能识别乐谱 PDF 和图片、读取乐谱文件,并能根据 ABC 或 MusicXML 文本创建乐谱。这类记谱文本助手可以自己写;作曲由助手完成。ScoreStarling 的插件(含两个技能)也在等待目录审核。WebMCP Beta 则是另一条途径,供在浏览器里打开工作台的 AI 智能体使用。
- 它不会生成新的录音。导出的 MP3 和 WAV 是用 General MIDI 音色把乐谱合成出来的音频,不是从你的录音里分离出的分轨。
- 每份转谱结果都只是初稿。我们 10月2日的对比测试测的是吉他录音和一段乐队片段,没有测人声或钢琴独奏,结果已发表在《AI 扒谱到底有多准?我们实测了一下》一文中。分享乐谱之前,请先听一遍并修正。
除了 ScoreStarling,还有哪些办法?
也有其他服务把音乐工具接入 AI 助手。以下内容依据各家自己的页面,于 2026年10月3日查阅。
- Mirelo 在
https://mcp.mirelo.ai/mcp提供托管的 MCP 服务器。用 Mirelo 账号登录即可,不需要 API 密钥;它的指南涵盖 Claude、开发者模式下的 ChatGPT、Cursor、Claude Code 和 Codex。它在 2026年7月30日的发布公告中说,Audio-to-MIDI 可用于现有录音;其插件仓库中的 Audio-to-MIDI 技能会返回 MIDI 和 MusicXML 下载,不指定速度时会自动检测。它的其他工具大多用于生成和编辑音效。Mirelo 同时也是 ScoreStarling 里乐队转谱的合作伙伴,所以我们对它并不中立。 - Melogen 的 MCP 服务器面向开发者模式下的 ChatGPT,通过 OAuth 登录;它能把 PDF、PNG 或 JPG 格式的印刷乐谱识别成 MIDI 和 MusicXML,还能分析歌曲的速度、调性和结构。它公开的插件里没有把录音转成乐谱的工具。
- 如果你更想全部在自己的电脑上运行,可以试试 audio2score-mcp:这是一个开源的本地服务器,把 Basic Pitch 和 music21 串联起来,输出
.mid和.musicxml文件,并附有 Claude Code 的配置说明。它不需要账号,最近一次提交是在 2026年8月20日。 - 不用 AI 助手的话,直接在 ScoreStarling 的网页工作台上传录音,得到的是同样的乐谱。
我们在《乐谱 MCP 服务器盘点:各自能做什么》一文中并排比较了其中 26 个,包括操控 MuseScore 的服务器和用 music21 分析乐谱的服务器。
参考资料
- What is the Model Context Protocol (MCP)?——Model Context Protocol 文档
- Upload files to Claude——Claude 帮助中心
- Get started with custom connectors using remote MCP——Claude 帮助中心
- Create and edit files with Claude——Claude 帮助中心
- ChatGPT Developer mode——OpenAI
- File transcription——OpenAI API 文档
- Example: Sheet Music Server——MCP Apps(modelcontextprotocol/ext-apps),GitHub
- Basic Pitch——Spotify,GitHub
- Mirelo MCP: sound design for any AI agent——Mirelo
- Generate Sound Effects in Claude, ChatGPT and Cursor——Mirelo 博客,2026年7月30日
- Mirelo plugins for Cursor and Claude——Mirelo,GitHub
- Melogen Music Intelligence for ChatGPT and MCP——Melogen AI
- audio2score-mcp——David7ce,GitHub
常见问题
在 ChatGPT 或 Claude 里用乐谱连接器,需要付费套餐吗?
ChatGPT 需要:开发者模式只向网页版的 Plus、Pro、Business、Enterprise 和 Education 账号开放。Claude 的所有套餐都能添加自定义连接器,免费版限一个。以上两项均于 2026年10月3日查阅。在 ScoreStarling 上,单件乐器或人声、钢琴独奏和编辑都免费;乐队转谱要用积分,解锁乐谱的 MusicXML 和 MIDI 也要用积分。2026年内,每个账号每月可免费获得 100 积分,2027年1月起改为每月 50 积分(2026年10月7日核实)。
ScoreStarling 已经上架 ChatGPT 或 Claude 的应用目录了吗?
还没有。我们在 2026年10月6日向两边的目录提交了申请,目前正在等待审核。在此之前,请按连接指南的说明,通过地址 https://mcp.scorestarling.com/mcp 添加 ScoreStarling。任何人都可以用 Google 账号或邮箱登录。
能扒整支乐队的录音吗?
可以:选择乐队即可。乐队转谱按每分钟 40 积分计费,开始前会先显示价格。乐队录音由我们的合作伙伴 Mirelo 转谱,和所有转谱结果一样,需要你检查一遍。单件乐器或人声、钢琴独奏都免费。无论选哪种,都只处理录音的前 5 分钟,上传文件最大 100 MiB。
AI 助手会不经我同意就改动乐谱吗?
你明确说出的修改,比如“把第 1 小节最后一个音升高八度”,会立即生效,也可以撤销。助手自己提出的修改,以及你要求先试听的修改,都会以预览的形式出现;在你接受之前,乐谱不会有任何变化。
AI 助手能根据我的录音写出吉他谱吗?
能,2026年10月8日起支持。向助手要六线谱(TAB),ScoreStarling 就会按你指定的定弦和变调夹位置,为吉他、贝斯或尤克里里声部显示六线谱:可以放在五线谱下方,也可以只显示六线谱。助手还能把某个音挪到另一根弦上,或者把六线谱以文本形式贴进回答里。推弦、滑音和击弦目前不会标出。另有一个在本地运行的开源 MCP 服务器 fingerstyle-tab-mcp,也能把吉他录音转成文本六线谱;我们在《乐谱 MCP 服务器盘点:各自能做什么》一文中把它和其他服务器列在了一起。