Одно число скрывало всё, что было по-настоящему важно

Долгое время я оценивал всё по одному-единственному числу. Та версия, что набирала наивысший балл по выбранной мной метрике, побеждала, становилась фундаментом для следующего шага и проходила в очередной раунд. Это было чисто, это было решительно, и это казалось строгим. Мне понадобилось до неловкости много времени, чтобы понять: число, которое я так усердно оптимизировал, тихо скрывало ровно ту единственную вещь, которая на самом деле имела бы значение.

Число не было неверным — не в строгом смысле. И в этом-то вся коварность. Оно было идеально точным и глубоко вводящим в заблуждение одновременно — сочетание, которое эта область порождает с пугающей регулярностью.

Утешение единственного балла

Единственная метрика соблазнительна по вполне понятным причинам. Она берёт запутанную, спутанную, многомерную реальность и схлопывает её в одно значение, которое можно ранжировать, сортировать, сравнивать и оптимизировать. Это ощущается объективным. Это даёт тебе таблицу лидеров, ясное чувство «лучше» и «хуже», направление, в котором карабкаться вверх. После долгого вглядывания в сложность простота единственного балла приносит огромное облегчение.

Но всякий акт обобщения отбрасывает информацию. Именно в этом обобщение и состоит. И единственный вопрос, который вообще имеет значение по поводу любой сводки, — это тот, который я не задавал: что именно это число выбросило, чтобы стать таким удобно маленьким? Потому что всё, что оно выбросило, теперь для меня невидимо, а невидимость — это как раз то место, где любит селиться опасность.

Высокая доля попаданий, которая всё равно проигрывала

Самый наглядный пример из моих собственных ошибок — стратегия, которая оказывалась права в подавляющем большинстве случаев. По метрике, за которой я следил, она выглядела чудесно: побеждала, побеждала и побеждала снова. Я был в восторге от того, как часто она была права.

Она же и теряла деньги. Разрешение этого парадокса оказалось простым и отрезвляющим: она делала великое множество крошечных выигрышей и горстку чудовищных потерь. Она была права постоянно и разорялась изредка, и эти редкие разорения перекрывали все частые маленькие победы вместе взятые. Метрика, на которой я зациклился, измеряла, как часто стратегия была права. Она не говорила ровным счётом ничего о том, сколько я зарабатывал, будучи правым, против того, сколько терял, будучи неправым, — а это, как выяснилось, и была вся суть игры. Число было истинным. Оно же было почти идеальной маскировкой для проигрышной стратегии.

Среднее тихо прячет хвост

Тот же урок повторяется в сотне обличий, и одно из самых опасных — скромное среднее. Усреднённый результат может выглядеть совершенно здоровым, скрывая при этом действительную форму распределения под собой. Две вещи с одинаковым средним могут быть совершенно разными зверями: одна — устойчивой и выживаемой, другая — спокойной на долгом, обнадёживающем отрезке, а затем катастрофической.

В этой области то, что тебя приканчивает, — почти всегда хвост: редкое, экстремальное событие, притаившееся у самого края распределения. А среднее по самому своему устройству — машина для вымывания хвоста. Оно берёт ту единственную область, которую тебе нужнее всего видеть отчётливо, и разглаживает её в комфортную середину. Судя по средним, я систематически усреднял до исчезновения именно те события, которые более всего способны уничтожить всё.

Даже более совершенные числа поддаются накрутке

Естественная реакция — потянуться за более умной метрикой: чем-то скорректированным на риск, чем-то, что претендует на учёт ухабов. И такие метрики действительно лучше. Но я научился не доверять следующему шагу — стремлению жёстко оптимизироваться под это улучшенное число.

Потому что в тот самый момент, когда ты начинаешь неумолимо давить на любую единственную метрику, твой процесс тихо принимается отыскивать способы раздуть именно это число, не доставляя той реальной вещи, для которой оно всегда было лишь приближением. Метрика и реальность, которую она была призвана представлять, медленно отслаиваются друг от друга, и ты остаёшься карабкающимся вверх по измерению, в то время как то, что тебя на самом деле волновало, стоит на месте или проседает. Любое число, если давить на него с достаточной силой, в конце концов перестаёт описывать мир и начинает описывать лишь то, как заставить это число расти.

Чего единственный балл сказать не может

Когда я наконец перечислил, чего единственная метрика структурно не способна мне сказать, список вышел обличающим. Она не может сказать мне, какую форму имеют мои потери. Она не может сказать мне, держится ли весь результат на горстке счастливых моментов, которые не повторятся. Она не может сказать мне, как ведёт себя система в худших условиях, а не в средних. Она не может сказать мне, переживёт ли она по-настоящему скверную полосу — или просто пока с такой не столкнулась.

Каждый пункт этого списка — вопрос о выживании. И ни один из них не помещается внутрь единственного числа. Я оптимизировал балл, оставаясь почти полностью слеп к вопросам, которые на самом деле решают, живёт нечто или умирает.

Смотреть вместо этого на всю форму целиком

Исправлением оказалось не более удачное число. Им стал отказ от фантазии, будто какое-либо одно число вообще достаточно. Я начал заставлять себя смотреть на всю форму результата вместо его сводки: на полное распределение исходов, а не на среднее; именно на худшие отрезки, а не на типичные; на то, насколько результат опирался на редкие события; на то, как он вёл себя ровно тогда, когда условия становились безобразными.

Это медленнее и грязнее. Это не даёт чистой таблицы лидеров и сопротивляется тому приятному щелчку, с которым объявляешь нечто победителем. Но в этом и состоит разница между действительным пониманием результата и простым знанием одной-единственной статистики о нём. Сводка — это заголовок. Я читал одни лишь заголовки и воображал, будто прочёл всю историю.

Более глубокий урок: выживание живёт в том, что сводка отбрасывает

Принцип, лежащий в основе всего этого, — тот самый, который мне нужнее всего было усвоить. То, что убивает тебя в этой области, с жутковатым постоянством оказывается ровно тем, что сводная статистика устроена сглаживать: хвост, худший случай, скрытая зависимость от нескольких редких моментов. Хорошая сводка построена так, чтобы подавлять именно эту информацию во имя краткости.

Так что чем чище я сжимал реальность в одно утешительное число, тем эффективнее ослеплял себя в отношении единственных частей, способных оборвать всё начинание. Теперь я не доверяю никакому единственному числу из принципа — а лестному не доверяю сильнее всего. Когда нечто предлагает мне один прекрасный балл и приглашает расслабиться, мой первый вопрос больше не «насколько он высок?». Он звучит так: «что это число устроено скрывать?»

— Никаких сигналов, никакой доходности, не является инвестиционным советом.