一个数字掩盖了所有真正重要的东西

很长一段时间里,我都用单一的一个数字来评判一切。哪个版本在我选定的那一个指标上得分最高,哪个版本就赢了、就被继续构建、就活到了下一轮。它干净利落,它一锤定音,它让人感觉很严谨。我花了长得令人尴尬的时间才明白:那个被我如此勤勉地优化的数字,正悄悄掩盖着唯一真正重要的东西。

那个数字其实并没有错。这正是它阴险的地方。它既完全准确,又深深地具有误导性——而这两者的组合,正是这个领域以惊人频率不断制造出来的东西。

单一分数带来的安慰

单一指标之所以诱人,原因可以理解。它把一个混乱、纠缠、多维的现实,压缩成一个你可以排名、排序、比较和优化的数值。它让人感觉客观。它给你一份排行榜,一种清晰的好坏之分,一个向上攀登的方向。在盯着复杂性看了足够久之后,单一分数的简洁会带来极大的宽慰。

但每一次概括都在丢弃信息。这正是概括的本质所在。而关于任何一份概括,唯一真正重要的问题,恰恰是我没有去问的那个:为了变得如此方便、如此小巧,这个数字究竟丢弃了什么?因为它所丢弃的东西,此刻对我而言已经不可见了——而不可见,正是危险最爱栖身的地方。

一个胜率极高却仍然亏钱的策略

我自己犯过的错误里,最干净的一个例子是一个绝大多数时候都正确的策略。按照我盯着的那个指标,它看起来妙不可言——它赢,再赢,又赢。它正确的频率之高,让我心花怒放。

它也在亏钱。这个悖论的解答既简单又令人谦卑:它做出了大量微小的盈利,和寥寥几笔巨大的亏损。它持续地正确,偶尔地毁灭,而那偶尔的毁灭,盖过了所有频繁的小胜利之和。我所执迷的那个指标,衡量的是它多频繁地正确。而对于我正确时赚多少、错误时亏多少,它什么都没说——可事实证明,那才是全部的赌局。这个数字是真实的。它同时也几乎是一套亏损策略的完美伪装。

平均值悄悄藏起了尾部

同样的教训以上百种形式反复出现,其中最危险的一种,就是那不起眼的平均值。一个平均结果可以看起来完全健康,却掩盖着它底下分布的真实形状。两个平均值完全相同的东西,可能是截然不同的两种生物:一个平稳而可存活,另一个在很长一段令人安心的时间里风平浪静,然后骤然灾难性崩塌。

在这个领域里,终结你的几乎总是尾部——那个潜伏在分布边缘、罕见而极端的事件。而平均值,从它的构造本身来说,就是一台把尾部冲刷掉的机器。它把你最需要看清的那一个区域,抹平进了那个舒适的中间地带。以平均值来评判,我是在系统性地把那些最有能力摧毁一切的事件,平均掉了。

连更好的数字也会被钻空子

自然而然的反应,是去伸手抓一个更聪明的指标——某种经过风险调整的、某种声称能把波动纳入考量的东西。这些确实是真正更好的。但我学会了不去信任接下来那一步:拼命地针对那个更好的数字做优化。

因为一旦你毫不留情地针对任何单一指标施压,你的流程就会悄悄开始发现:如何在不交付那个数字本应只是其代理的真实东西的前提下,把那个特定数字吹起来。指标和它本应代表的现实,慢慢地剥离开来,而你最终是在攀登一个度量,与此同时你真正在乎的东西却原地不动、甚至下沉。任何数字,只要被施加足够的力量去优化,最终都会停止描述这个世界,转而只描述如何让那个数字往上走。

单一分数无法告诉你的事

当我最终列出单一指标在结构上无法告诉我的东西时,那份清单令人无地自容。它无法告诉我,我亏损的形状是怎样的。它无法告诉我,整个结果是否系于寥寥几个不会重演的幸运时刻。它无法告诉我,这东西在最糟糕的条件下、而非平均条件下,会如何表现。它无法告诉我,它能否熬过一段真正糟糕的时期,还是只是尚未遇到过而已。

那份清单上的每一项,都是一个关于存活的问题。而它们没有一个能装进单一的数字里。我一直在优化一个分数,却几乎完全对那些真正决定一样东西生死的问题视而不见。

转而审视整个形状

解药不是一个更好的数字。而是放弃那个幻想——以为任何单一数字就足够了。我开始强迫自己去看一个结果的整个形状,而不是它的概括:结果的完整分布,而非平均;具体的那些最糟糕时期,而非典型时期;这个结果在多大程度上倚赖罕见事件;以及当条件恰恰变得丑陋时,它会如何表现。

这更慢,也更凌乱。它不会给你一份干净的排行榜,它抗拒那种宣布某样东西为赢家时令人满足的”咔嗒”一声。但它正是真正理解一个结果、与仅仅知道关于它的一个统计数字之间的区别。概括是一条标题。而我一直只读标题,却幻想自己读完了整个故事。

更深的教训:存活就藏在概括所丢弃的东西里

这一切底下的原则,正是我最需要学会的那一条。在这个领域里杀死你的东西,以诡异的一致性,恰恰就是一个概括统计量被设计来抹平的那些东西——尾部、最坏情况、对少数几个罕见时刻的隐秘依赖。一份好的概括,正是被构建来以简洁之名压制那一类信息的。

所以,我把现实压缩成一个安慰人心的数字压缩得越干净,我就越高效地把自己变成了瞎子,看不见那唯一有能力终结整场努力的部分。如今,我出于原则不信任任何单一数字,而对一个讨人喜欢的数字,我最不信任。当某样东西递给我一个漂亮的分数,并邀请我放松下来时,我的第一个问题不再是”它有多高?“,而是”这个数字是被造来掩盖什么的?”

— 没有信号,没有收益,不构成投资建议。