灵光 · 灵光 · · 国科智飞 Gavin
外部效度:好料为什么铸不出一口好钟?
寒玉鉴分得出矿石里的金,却分不出它在咸风谷里扛不扛得住一年。一个关于外部效度的寓言。
秦岭以北,青霭山脚有座析真镇。镇东有家「析金坊」,坊主姓韩,人称韩先生。他手里有一块巴掌大的寒玉鉴——黝黑冰凉,往任何一块矿石上一搁,小半盏茶的工夫,就能报出:这块石头底下几两金、几钱银、掺了多少杂,一五一十。
镇上人起初不信。可韩先生报的,回回调准。矿主们排着队来:西山的铜、东岭的铁、南沟的铅,经他这面鉴一照,连哪一层是脉、哪一层是空,都说得明明白白。一家矿主一年能省下半年的探矿工钱。韩先生的名声就起来了——「析真韩家的鉴,什么矿都能分」。
这年开春,远处来了个盐峡镇的差官,捧着一块黑沉沉的矿石,说是他们谷里自家山的。盐峡镇四面盐碱,风里带咸,谷里的石料看着寻常,炼出来却总脆、总起皮,做不成像样的器,多年没人知道里头到底是什么货色。
「韩先生,」差官说,「您这鉴,听说放什么石头上都能分。那我们家这块山料,您给验验,是不是块好料?若是,我们就指望着它铸一口镇谷的大钟了。」
韩先生把寒玉鉴搁上去。片刻,他开口:「是块好料。里头的铁,是上好的品相,含金也足,铸钟、车器,都够格。」
差官大喜:「那敢情好!既然够格,我们回去就动工,照它铸钟!」
韩先生却收了鉴,摇摇头:「我说的是——这块料里头有个好。我分的是『里头有什么』。它能不能在你们盐峡镇那股咸风、那口窑、那冬夏起落的大雾里,铸成一口不裂、不锈、不背音的钟——那是你们谷子的土、火、风的事。不是我这面鉴能说的。」
差官笑道:「您这是谦虚。您这鉴什么矿都分,我们信您的名声。料既然是好料,能差到哪儿去?」
韩先生盯着他,半晌只回了一句:「我分得出里头的金。我分不出它在你谷里,扛不扛得住一年。」
差官没往心里去,揣着报单回去了。
盐峡镇翻出了山口,见矿就当宝——好料就是好钟。全镇倾力烧窑、立模、灌铁。头一炉钟铸成,锣声洪亮,镇里叫好,直夸韩先生的神鉴。
入秋,一场咸雾连下七日。第七日清晨——钟,在钟架上裂成两半,断口布满细密的锈斑,像是被盐一点点啃出来的。旗杆晃,全镇哗然。
原来盐峡镇的土是碱土、风气里常年带盐,那含金足的好料,偏就因为这股咸劲锈得最快;而谷里旧时铸钟用的,反倒是那种「不上相」的寻常石料——含金少,却耐得住盐。镇上老一辈人想起一件事:十几年前,有个走江湖的老师傅,也曾拍着胸脯说「我这方子,拿到哪个山头都灵」,全镇按他说的方子淘了一整年的沙,捞出的是满坑乏味的贫矿。那场空忙,后来成了谷里人的笑谈。
差官这才明白韩先生那句没头没尾的话。
他再访析真坊。韩先生正拿寒玉鉴替一家的铜料分拣,头也不抬:
「我这面鉴,装的是『凡矿皆可验』的理儿——矿不分产地,理是通用的。可『这块矿,在你这个谷里,到底成不成器』——那一问,只长在你们谷的土里、火里、咸风里。」
「理,可以借;成色,不能借。」
「你们前回差在外头,就差在把『料好』当成了『钟好』。料是料,钟是钟,中间隔着你们谷子那一整年的风。」
「我分得出里头的金。我分不出它在你谷里,扛不扛得住一年。」
概念:外部效度
外部效度(External Validity) 由唐纳德·坎贝尔(Donald Campbell)在 1957 年提出,并在 Campbell & Stanley 1963 年《实验与准实验设计》中系统化;机器学习中对应的近亲是「域偏移」(Domain Shift)。
它管的问题不是「这个方法灵不灵」,而是「这方法在别处灵的证明,能不能替我在这个地方打包票」。关键是分清两样东西:机制层可迁移——算法、管线、标准流程是以「输入到输出」的规则定义的,规则不认产地;效度层不可迁移——「这个方法在 X 里产生了 Y」这个具体结论,依附于 X 的全部本地条件,挪到 Z 必须用 Z 自己的数据重新立起来。
最常见的错误,是把「方法通用」当成「结果通用」,拿别处的证明替本地担保。
故事里的映射
| 故事里的元素 | 现实中的含义 |
|---|---|
| 韩先生与寒玉鉴 | 一套通用的分析方法或算法 |
| 「什么矿都能分」 | 机制可迁移:规则不认产地 |
| 分得出「里头有什么」 | 能完成判断与排序,不等于能保证结果 |
| 盐峡镇的碱土、咸风与大雾 | 特定情境的本地条件 |
| 「够格的好料」 | 排名靠前的候选,不等于一定有效 |
| 铸一口镇谷大钟 | 把候选推进成真实成果 |
| 大钟在咸雾里裂成两半 | 别处成立的结论在此处失效 |
| 「理可以借,成色不能借」 | 方法可迁移,效度不可借 |
现实中的外部效度
- 同行用某个模型赚到钱,不代表在你的行业、你的数据上也能复制
- 标杆企业的管理方法搬到你的公司,机制能学,结论要重新验证
- 临床试验中「理想人群」有效的药,到真实人群里效果常打折扣
给 AI 时代的企业
AI 供应商最爱说的一句话是「这套方案在别家跑通了」。跑通的是机制,不是你这家的结果。企业要分清两样东西:可迁移的是工具与流程,不可借的是本地效度——你的数据、你的流程、你的人,必须在你的现场重新立一次证据。把「别人行」当成「我也行」,是把别人的证明搬进了自己的赌局。
灵光 · 用一个故事讲清楚一个概念。