没有对齐录音也能训出好歌拆开YuE2的秘密武器MERT2和SheetSage2最近AI写歌圈炸开了锅港科大团队开源的YuE2被不少网友称作Suno最强开源对手一张24G显存的显卡就能在自家电脑上一分钟出一首歌唱的还是48kHz高清人声。实测过的玩家直呼从抽卡变成可编辑工程。但很多人不知道的是这样一个惊艳模型的诞生卡在了一道让无数团队头疼的难题上——训练数据。而YuE2给出的答案更是脑洞大开没有对齐录音也能训。今天咱就用大白话把这个魔法背后的两位幕后功臣——MERT2和SheetSage2掰开揉碎讲清楚。一、先说说对齐录音到底卡在哪想训练一个会写歌的AI光有海量歌曲音频是不够的。你还得让AI知道这段旋律对应哪个音符、这句歌词卡在哪个节拍上就像学生做听写得有标准答案。专业说法叫对齐标注说白了就是一份音频配一份精确的乐谱音和谱得严丝合缝。问题就出在这儿这种成对的资料得靠专业音乐人一个音一个音去标又慢又贵。网上虽然躺着几百万小时的歌曲录音可大部分都是光有声音、没有乐谱的裸数据——像一座金山却缺把开锁的钥匙。以前的团队要么花天价买标注数据要么干脆放弃这条路。YuE2的团队却换了思路既然现成的标准答案没有那就让AI自己造。二、MERT2给AI装上一副会听音乐的耳朵怎么让AI自己造数据第一步得先让它听懂音乐。MERT2就是这个环节的主角它是团队训练的一个音乐理解模型。你可以把它想象成AI音乐学院的听力课——不仅要听出音高还要听出节奏、强弱拍、和弦走向甚至歌曲的情绪色彩。它不是简单把声音录下来而是把整段音频翻译成一套AI自己能看懂的音乐密码专业叫法叫语义分词。打个比方普通模型听歌像听一串乱码MERT2听歌却像音乐老师听谱每个音色、每下鼓点、每段和声都被它拆得明明白白。别小看这一步MERT2在音乐圈公认的MARBLE评测上15项指标一口气刷新了14项纪录妥妥的顶级乐感。三、SheetSage2全网最拼的AI扒谱员有了会听音乐的耳朵还得有人能把听懂的写成谱子。这就是第二个主角——SheetSage2。它的活儿特别实在给你一段普通录音它能把节拍、强弱拍、调性、和弦、段落结构、主旋律一口气全扒出来整整齐齐写成一份可编辑的乐谱。以前这些活儿得请六个不同工种分别干SheetSage2一个模型全包了而且干得又快又准人声主旋律识别准确率冲到82.51分和弦识别做到90.08分在15项对比指标里拿下了12项第一。你可以把它想象成音乐领域的同声传译一边听原唱一边就把简谱和弦表同步写给你。正因为它太能打那些海量光有声音没乐谱的裸录音如今全部被它听写成了训练教材。四、两位配合硬生生造出30多万小时的教材好戏来了。MERT2负责听懂SheetSage2负责写谱两者一联手就构成了一条流水线普通歌曲录音进去先经过MERT2听懂结构和情绪再由SheetSage2扒出完整乐谱一份份音频乐谱的配对教材就这么自动化生产出来了。靠着这条流水线团队凑出了34.6万小时的训练素材——要知道这在过去几乎是不可能完成的任务。更妙的是这些数据大量来自无版权争议的CC0音乐和合成数据既解决了缺数据也守住了版权红线。五、这波操作到底值不值效果说话有人会问靠AI自己造的教材能教出好学生吗答案是不但行还直接冲到了世界顶尖。在业界权威的WildSongBench评测里192个提示词、17个系统同台竞技YuE2的综合分达到6.73超过所有公开模型多抽几首选最好的分数直接飙到6.96全场最高。作为对比大名鼎鼎的Suno v5只有6.87Suno v6是6.56。专家盲听测试也给出结论质量已经和Suno v5不相上下。更难得的是因为训练时看得懂谱子YuE2生成歌也能给用户一份看得懂、改得动的乐谱——旋律不想要直接改和声想换直接换甚至还能跟你对话式聊着改歌。这体验直接把AI写歌从听天由命抽卡升级成了看得见摸得着的工程。六、普通人能玩吗门槛真不高。想先过瘾官方有免费在线体验动动手指输入歌词和风格就能听歌。想过把本地部署的瘾一张24G显存的显卡比如4090就能跑实测约71秒生成一首3.6分钟的完整歌曲还支持一键AI翻唱——录一段清唱选个风格就能让AI给你重新唱一遍。现在连ComfyUI都出了官方工作流拖拖拽拽就能批量出歌网上甚至有团队连夜做了整合包可见社区有多热情。结语说到底YuE2最让我感慨的不是它音质多惊艳而是它那句潜台词没有标准答案我就自己造标准答案。当别人还在为稀缺的标注数据挤破头时它用会听的耳朵会扒谱的笔把整个音乐世界的存量录音都变成了自己的教材。这思路对AI画画、AI视频又何尝不是一记提醒限制你的往往不是算力而是你敢不敢换一种方式喂饭。那么问题来了你觉得AI自己教自己这条路到底是捷径还是捷径里的陷阱欢迎在评论区聊聊你的看法。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考