내 영리한 모델은 동전 던지기조차 이기지 못했다

나는 꽤 정교한 무언가를 만들었고, 속으로 조용히 뿌듯해하고 있었다. 그것은 여러 영리한 일들을 해냈다. 엄청난 양의 작업이 담겨 있었다. 그러다 나는 몇 달 동안 피해 왔던 단 하나의 테스트를 마침내 돌렸다. 가능한 한 가장 멍청한 대안과 그것을 비교한 것이다. 그리고 그 멍청한 대안도 거의 비슷한 성적을 냈다.

돌이켜 보면 그 비교는 프로젝트 전체에서 내가 한 가장 유용한 일 중 하나였다. 그것은 또한 내가 본능적으로 미뤄 왔던 일이기도 했고, 내가 왜 그것을 피해 왔는지 이해하고 나자, 내가 스스로를 어떻게 속이고 있었는지에 관해 불편한 무언가를 깨닫게 되었다.

내가 계속 돌리지 않았던 베이스라인

베이스라인이란 당신이 만든 것이 무엇이든 그에 대한, 아무 생각도 들어가지 않은 사소한 대안이다. 순진한 기본값. 뻔하고 멍청한 것. 영리함이라고는 전혀 들어가지 않은 버전 — 동전을 던지거나, 가능한 한 가장 지루한 일을 하거나, 아니면 그냥 아무것도 하지 않는 것. 그것은 당신의 정교함이 넘어서야 할 바닥이며, “무엇이라도 기여했다고 말하려면 최소한 이만큼은 해내야 한다”고 말하는 기준선이다.

나는 내 베이스라인을 계속 돌리지 않았다. 늘 이유가 있었다 — 먼저 추가할 기능이 더 있었고, 더 튜닝할 게 있었고, 베이스라인은 나중에 해도 됐다. 하지만 그 이유들 밑에서, 내 안의 어떤 부분은 이미 그것이 무엇을 보여줄지 의심하고 있었고, 그것을 알고 싶어 하지 않았다. 베이스라인을 피한 것은 부주의가 아니었다. 그것은, 이제는 인정할 수 있는데, 조용한 자기방어의 행위였다.

정교함은 가치와 같지 않다

내가 빠져 있던 함정은 흔한 것이다. 복잡함을 기여와 혼동하는 것. 내 시스템은 정밀했다. 그것은 영리한 방식으로 영리한 일들을 해냈다. 그것은 누가 봐도, 부인할 수 없을 만큼 많은 노력이었다. 그리고 그중 어느 것도 — 단 한 조각도 — 그것이 실제로 동전 던지기보다 낫다는 증거는 아니었다.

이것이 내가 받아들이는 데 가장 오래 걸린 것이다. 노력은 가치처럼 느껴진다. 정교함은 가치처럼 느껴진다. 당신이 쏟아부은 순전한 사고의 양은 무언가를 만들어 냈을 것이라고 느껴진다. 하지만 느낌은 측정이 아니다. 당신의 영리함이 무언가의 가치가 있는지 확립하는 유일한 것은, 그것이 공짜로 가질 수 있었던 대안을 이기는가이다. 그 비교를 돌려 보기 전까지, 당신의 모든 정교함은 아무리 인상적으로 보여도 입증되지 않은 것이다.

내가 피하고 있던 비교

그래서 나는 마침내 그것을 돌렸다. 순진한 베이스라인 — 힘들게 얻어낸 내 기계장치가 하나도 들어가지 않은 버전 — 을 가져다가, 그 결과를 내 정교한 창작물의 결과 옆에 놓았다. 둘은 대체로 비슷했다. 몇 달 동안 쌓아 올린 정교함이, 오후 한나절이면 짜는 사소한 기본값에 비해 거의 아무것도 사 주지 못한 것이다.

그것은 말로 다 표현하기 힘들 만큼 맥이 빠지는 일이었다. 하지만 그것은 또한, 비교할 것도 없이, 내가 오랜만에 얻은 가장 유익한 단일 결과이기도 했다. 왜냐하면 그것은 내가 조심스럽게 묻지 않고 있던, 진실하고 중요한 무언가를 말해 주었기 때문이다. 내 복잡함은 제 밥값을 하지 못하고 있었다. 그 모든 정밀한 작업은, 증거에 따르면, 장식이었다. 그리고 그 사실을 값싼 비교에서 배우는 것이, 당신의 영리함이 도움이 되고 있다는 가정 위에 또 일 년을 계속 쌓아 올리는 것보다 훨씬 낫다.

베이스라인이 타협 불가능한 이유

여기 내가 처음부터 체득했어야 할 원칙이 있다. 고립된 숫자 하나는 아무것도 의미하지 않는다. “그것은 이만큼을 달성했다”는 말은 ”…무엇과 비교해서?”라는 문장을 완성할 수 있기 전까지 어떤 정보도 담지 않는다. 베이스라인이 바로 그 “무엇과 비교해서”이다. 그것은 의미 없는 절대적 숫자를 의미 있는 상대적 숫자로 바꿔 주는 것이다.

베이스라인이 없으면, 당신은 진짜 기여와 정교한 잡음 사이의 차이를 정말로 구별할 수 없다. 그리고 그 비교가 없을 때, 인간의 본성은 당신이 거의 언제나 그 모호함을 자신에게 유리하게 해소하도록 만든다. 당신은 인상적으로 보이는 자신의 결과를 바라보며 그것이 인상적이라고 가정할 것이다. 당신이 만들었고 힘들었으니까. 베이스라인은 그것을 멈춰 세우는 것이다. 그것은 아는 것과 바라는 것의 차이다.

복잡함은 제 밥값을 해야 한다

내가 여기서 얻은 것은 일종의 규칙이다. 시스템 안의 모든 정교함은, 자신이 대체한 더 단순한 것을 입증 가능하게 이김으로써 자신의 존재를 정당화해야 한다. 복잡한 구성요소가 멍청한 베이스라인을 이기지 못한다면, 그것은 정교함이 전혀 아니다. 그것은 그저 값비싼 장식이며 — 중립보다도 못한데, 왜냐하면 그것은 아무런 보답도 없이 비용과 취약성, 그리고 버그가 생길 표면적만 더하기 때문이다.

올바른 기본값은 단순함이다. 복잡함은 당신이 떠안는 빚이고, 어떤 빚이든 그렇듯 그것은 정교한 무언가를 만들었다는 만족감이 아니라 결과로 갚아야 한다. 단순한 것을 이기지 못하는 복잡한 것은 단순한 것보다 엄밀히 더 나쁘다. 왜냐하면 당신은 같은 것 — 또는 더 못한 것 — 에 더 많은 비용을 치르면서, 그 추가 비용을 진보라고 부르고 있기 때문이다.

자존심 점검 장치로서의 베이스라인

솔직히 말하자면, 내가 그토록 오래 베이스라인 돌리기를 피한 가장 깊은 이유는, 베이스라인이란 근본적으로 당신의 자부심을 꿰뚫어 터뜨리는 기계이기 때문이다. 그것은 당신이 몇 시간을 썼는지 신경 쓰지 않는다. 당신의 설계가 얼마나 우아한지, 당신의 접근이 얼마나 영리한지, 당신이 자신을 얼마나 쏟아부었는지에 완전히 무관심하다. 그것은 단 하나의 평평하고 무자비한 질문을 던진다 — “그 모든 게 정말로 도움이 됐나?” — 그리고 꽤 자주 그것이 돌려주는 대답은 아니오다.

바로 그것이 그것이 그토록 가치 있는 이유다. 베이스라인은 자기기만에 대해 구할 수 있는 가장 값싼 치료제이고, 자기기만은 이 일에서 당신이 짊어질 수 있는 가장 비싼 병 중 하나다. 그것을 돌리는 것은 아프고, 그 아픔이 핵심이다. 당신이 가장 하기 싫은 비교가 아주 자주 당신에게 가장 필요한 비교다.

더 깊은 교훈: 멍청하게 시작하고, 복잡함을 벌어들여라

그래서 나는 내 전체 과정을 뒤집었다. 이제 나는 작동할 수 있는 가장 멍청한 것을 먼저 만들고, 그것을 정직하게 측정하고, 그 측정을 기준선으로 삼으려 한다. 그 후에 내가 더할 수 있는 더 정교한 모든 것은 시스템 안에서 제자리를 정당화하기 위해 그 기준선을 넘어서야 한다. 그러지 못한다면, 내가 아무리 그것을 아끼더라도, 그것은 거기에 속하지 않는다.

이 테스트에 부쳐진 내 가장 영리한 아이디어들 대부분은 그 기준선을 넘지 못했다. 그리고 그것을 일찍 — 내가 그것들 위에 또 다른 복잡함의 대성당 전체를 짓기 전에 — 안 것이, 나에게 엄청난 양의 낭비될 노력을 아껴 주었다. 내가 몇 달 동안 피해 온 그 겸손한 베이스라인은 알고 보니 내 가장 가치 있는 도구 중 하나였다. 그것은 다만 나에게 진실을 말해 주는 도구였을 뿐이고, 바로 그것이 내가 그것을 쓰고 싶어 하지 않았던 이유다.

— 시그널도 없고, 수익도 없으며, 투자 자문이 아닙니다.