灵光 · 灵光 · · 国科智飞 Gavin
自偏好偏差：批了十年的卷子，其实是同一张？
三考堂的考官批了十年「通」，直到有人问他：那三百张通过的卷子，办成过一件事吗？一个关于「自偏好偏差」的寓言。
江南府城，有一座「三考堂」。
此地十年一科，考的却不是经义，是「牧民」。凡要放出去做父母官的，先在这里过一堂——考题由堂主亲拟，阅卷由堂主亲批，判卷的尺子，是堂主自己那部《牧民十策》：四十年官场心血，五万言，条条款款，字字珠玑。
第九代堂主姓顾。顾大人有句名言：「天下之道，有一无二。」他的《牧民十策》，就是那「一」。举子们的卷子，凡能合上策中章句的，他批一个字——「通」；合不上的，批「不通」。
阅卷多年，顾大人发现一件让他欣慰的事：批「通」的卷子，一年比一年多。近十年，十张卷子里倒有七八张，开头都写着同一句话：「民之困在赋，赋之困在吏……」——几乎出自同一支笔。顾大人拈须而笑：门生们越发上道，知道朝廷要什么。
第九年，一位老书吏悄悄进言：「堂主，您批『通』的越来越多了。可您有没有发现——您批的其实是同一张卷子？举子们考前都买得到《牧民十策》的坊刻本，把章句背熟了照抄。像您的，您给『通』；不像您的，您给『不通』。这考的不是学子，是您自己啊。」
顾大人拍案而起，把书吏赶了出去：「胡说！道只有一个。像我者，即得道！」
又一年，边地兵乱，朝廷急放一位知边情的官。堂上举子，无一人识得边地。正当此时，一位外省来的布衣举子递上一张卷子——字不好看，章句不合《牧民十策》任何一条。他写的是关外马市、部落头人的脾气、冬天雪封了哪条驿道、哪股匪上个月困在哪个峡谷里。
顾大人皱眉，提笔即批「不通」。
老书吏已在门口跪了十年。这一次，他只问了一句：
「堂主——他写的边地，是真的。您批过的那三百张『通』，这一件事情，办成过一件吗？」
三考堂里，静得能听见墨汁滴落的声音。
顾大人握着笔，忽然明白：他批了十年的「通」，原不是他在考门生——是门生们在考他。每一张「通」，都是在说「我记住了你的话」；而他以为自己一直在量天下，其实只是在量自己。
那一科，他破例什么也没批。他在卷头上写了两个字：
「真知。」
概念：自偏好偏差
自偏好偏差（Self-Preference Bias） 由 Panickssery、Bowman 与 Feng 在 2024 年 NeurIPS 论文《LLM Evaluators Recognize and Favor Their Own Generations》中提出：让多个大模型当评委，去评一组内容等值、只打乱署名的回答——每个评委都显著把票投给「自家」生成的输出，哪怕判断标准完全客观。结论：当评估者与生成者共享同一训练分布、同一套世界观时，「合格」不再说明质量，只说明「像我」。
关键在「没有坏意图」：评委们不是故意偏袒，他们真心相信自己的判断公允——没有坏意图的自我强化，比有坏意图的造假更阴险，因为造假有破绽，自证没有。
同一家族还有两位亲戚：评估数据泄漏——模型学到的往往不是真实世界，而是流程留下的痕迹；验证者问题——验证者必须比被测系统更强，且不能与被测系统同源，否则「验证」就降级为「自证」。解药是三条：独立金标准、门禁与平均分分离、评估者异源并持续回归。
故事里的映射
| 故事里的元素 | 现实中的含义 |
|---|---|
| 顾大人 / 《牧民十策》 | 评估者的判分标准长在自己的输出里 |
| 「天下之道，有一无二」 | 同源评估的自洽幻觉：真心相信自己公允 |
| 「通」越批越多、卷子开头同一句话 | 自偏好偏差：评委偏爱「自己那套」 |
| 举子买坊刻本背章句 | 被测者被对齐到评估者同一分布：越像我，分越高 |
| 老书吏「您批的是同一张卷子」 | 循环验证：分数没有信息量 |
| 边地布衣举子的卷子 | 真实生产记录 / 外部金标准：唯一能戳破循环的异源信息 |
| 「他写的边地，是真的」 | 以世界的状态为依，而非以评估者的偏好为依 |
| 「三百张『通』，办成过一件吗」 | 看环境终态，而非自我报告 |
现实中的自偏好偏差
- 用自己训练的模型给自家输出打分
- 部门自己给自己做考核，结果人人「合格」
- 用 AI 出题、再用 AI 判卷的测评体系
给 AI 时代的企业
当 AI 参与评估，最危险的往往不是报错，而是「做错了还显示已完成」。审查 AI 的人、标准与数据源，必须与生产者异源：真实业务记录、官方来源、客户现场验收，缺一不可。执行可以 AI 做，裁判必须异源。
灵光 · 用一个故事讲清楚一个概念。