灵光 · 灵光 · · 国科智飞 Gavin

模型坍缩：一代代认真教，为什么把曲子弹没了？

回声乐坊十八代人认真教、认真学，却把《初雪》弹得干干净净——少了他三样东西。一个关于模型坍缩的寓言。

太初谷的乐坊，以一首镇坊之曲闻名，曲名叫《初雪》。

开谷的老乐师封笔那日，把手稿装进一只紫檀匣，上了三道铜锁，交给最信得过的弟子，说了一句话：

「这首曲子，别照我的稿子教。你教下一任的时候，合上手，把你当年听我弹的那一遍，弹给他听。」

弟子不解，但照着做了。他弹给下一位学徒的，是他记忆里的初雪——不是谱上的。

学徒又弹给再下一个。

一代传一代。乐坊立下规矩：学曲只能跟上一任教习学，谁都不许开那口紫檀匣。

起初没人觉得不对。头几代琴师的《初雪》，和老乐师弹的几乎一样——只是少了点什么。

老乐师那曲子里，有几处极难的地方：一个要命的高音，颤得人骨头都发麻；一段飞快的小连音，滚得像山涧在石头上走；还有一记几乎听不见的低闷弦，像雪夜里屋檐化下来的水。这些地方，才是《初雪》真正的魂。

可它们难。难，就有了误差。

第一代琴师学那高音，颤了三下，没学出那第四下——他以为是自己记岔了，弹稳了就算对。第二代听第一代弹，只听到「颤三下」；第三代就颤两下；传到第五代，高音干脆站得笔直，光溜溜的，很体面。

那小连音，一代比一代慢。那记闷弦，因太轻，传到第七代就再没人听见过——没人听见过，也就没人觉得少了它。

每代琴师都认定自己「规矩、准、干净」。他们最自豪的，是比上一代弹得更稳、更匀、更没有瑕疵。

到第十八任坊主，他手里的《初雪》已经无可挑剔：每个音都落得稳稳当当，节奏四平八稳，没有一处颤，没有一处乱，光滑得像掌心一块没有纹路的玉。

学生们都夸：「先生，这才是真正的《初雪》。曲子本就该这样，干干净净，规规矩矩。」

坊主也这么想。他只偶尔感到一丝空——他把它归为「自己境界还不够」。

这日，谷里来了一位云游的琴师。坊主捧出他的《初雪》以琴会友。

那人听完，没出声，走到墙角的紫檀匣边：

「这匣子里，是开谷那位先生的稿子罢？」

「你怎么知道？」

「因为你们弹的这首曲子，正正好好，少了他三样东西。」

坊主心里一紧：「哪三样？」

那人并不答，只说：「你把它打开。你这几个侄儿，从十八岁起学曲，学的就是上一任的手、上一任的心——他们从没碰过真正的《初雪》。你也是，你的先生也是。你们教来教去，教的是彼此的念头，不是匣子里那件东西。」

他打开匣子，把泛黄的手稿铺在案上。那颤得人骨头麻的高音、那滚得像山涧的小连音、那轻得像檐水的闷弦……一行一行，都在。

他坐下，照稿子弹了一段。

整个乐坊，安静了很久。有人哭了，谁也说不清为什么。

坊主问：「我们一代代都在认真教、认真学，没一个人偷懒。怎么会弹没了？」

那人说：「恰恰因为没人偷懒，才弹没了。」

「你们每个人，学的时候都差那么一丁点。这不叫错——人心本来就是近似。可你们的『近似』，是照着上一任的近似来的，不是照着那座山来的。」

「第一代差一点，第二代照第一代差的那点，再差一点。一丁点，乘以三十六代。等到你们这一代，你们弹的已经不是《初雪》了——你们弹的是『上一任琴师眼中的初雪』，是『上上一任眼中的初雪』，一层一层，全是回音。」

「难的、稀罕的、不寻常的地方，总是先没。因为它们最容易在『差不多就行』里被抹平。等到难的都抹平，剩下的，就是人人都弹得出来、谁听了都不动心的那一句——平平稳稳，差不多就是它自己。」

「你们以为你们在传一首曲子。其实你们在喂养一间乐坊大小的回声。」

坊主怔住：「那……现在怎么办？」

云游琴师把匣子往前推了推：「别再学彼此了。你要么去见那座山，要么去开那口匣子。每隔几年，找一件真东西——原稿、山、雪夜里真正的化水声——对准一次。」

「一首曲子要活着，靠的不是把上一代弹得多像，而是每一代，都要重新碰上那个让他震颤的东西。回音喂回音，喂到最后……」

他没说完。坊里的人都懂了。

概念：模型坍缩

模型坍缩（Model Collapse），又称诅咒递归（The Curse of Recursion），由 Ilia Shumailov 等人在 2023 年 arXiv 论文中提出，2024 年 7 月发表于《自然》（Nature 631: 755–759）：当一个模型学的是「上一轮的输出」，而不是「真实分布」，就会一代代退化——先从尾巴开始失真，最后收敛成一个窄到失真的、自我重复的分布。

机制分两段：早期坍缩时，稀有、极端、不常见的真实样本率先消失，输出的多样性悄悄变窄，但「看起来还行」，不易察觉；晚期坍缩时，模型收敛到一个方差极小的点估计，输出退化为重复、同质的东西。论文强调，这种退化在几乎理想条件下也不可避免。

解法由 COLM 2024 的研究给出：只要每一轮都保留并累积一定比例的真实样本，坍缩可以被阻止。回音不能喂回音——每一代必须重新碰到一次真实信号。

故事里的映射

故事里的元素 现实中的含义
紫檀匣里的原稿 真实分布：原始数据与一手信号
「合上手，弹你记得的那一遍」 从上一轮输出学习，而非触摸真实
高音从颤三下到站得笔直 早期坍缩：稀有的「尾巴」最先消失
闷弦到第七代再没人听见过 消失得无人察觉，于是无人觉得缺失
「更稳、更匀、更没有瑕疵」 坍缩被误认作精进，最为危险
第十八任坊主光滑无纹的《初雪》 晚期坍缩：收敛到同质、自我重复
「你们教的是彼此的念头」 系统只在自己的输出上自循环
「去见山、开匣、每几年对准一次」 解法：持续注入真实数据

现实中的模型坍缩

给 AI 时代的企业

企业用 AI 生成内容、生成报告、生成决策依据时，最大的隐患不是「写得不好」，而是内容开始只以自己为食：AI 读 AI、摘要改摘要。真实的人名、地点、数据、语气会最先消失，剩下一个平均腔。让 AI 持续产出有价值内容的前提，是每一轮都把真实素材重新注入——否则团队越努力，坍缩越快。

灵光 · 用一个故事讲清楚一个概念。