예측 정확도: 왜 이렇게 형편없고 어떻게 고칠 것인가

매출 리더들에게 다음 분기 숫자에 대해 얼마나 자신 있는지 물으면 어색한 웃음이 돌아옵니다. 예측은 회사에서 가장 면밀히 검토되는 수치이면서도 종종 가장 신뢰받지 못하는 수치입니다. 이사회는 그것을 기준으로 채용하고 지출합니다. 상장 기업은 그것을 놓치면 처벌받습니다. 그리고 상당수의 B2B 팀이 분기마다 자신의 커밋을 두 자릿수만큼 놓치면서도, 그 근본 원인을 결코 고치지 못합니다.

그 부정확함의 대부분은 불운이 아닙니다. 구조적인 것입니다. 예측이 어떻게 만들어지는지, 누가 만드는지, 그리고 무엇이 의도적으로 빠지는지에서 비롯됩니다. 좋은 소식은 구조적 원인은 고칠 수 있다는 것이며, 이를 위해 데이터 과학 팀이 필요하지도 않습니다.

예측이 이렇게 꾸준히 빗나가는 이유

거의 모든 조직에서 우리가 살펴본 것과 같은 소수의 근본 원인이 반복해서 나타납니다.

영업 계층의 모든 단계가 자신의 이해관계에 따라 숫자를 왜곡합니다. 담당자는 할당량을 초과 달성하기 위해 숫자를 낮춰 잡습니다. 매니저는 야심 차 보이기 위해 부풀립니다. 리더십은 이사회가 기대하는 쪽으로 헤지합니다. 숫자가 최상단에 도달할 때쯤이면 그것은 추정치가 아니라 정치적 타협입니다.

단계 수학은 거짓말을 합니다. 파이프라인에 고정된 단계별 전환율을 곱하는 것은 "3단계"에 있는 모든 거래가 클로즈될 확률이 동일하다고 가정합니다. 참여하는 경제적 구매자와 서명된 상호 실행 계획이 있는 거래는 6주 동안 같은 단계에 머물러 있는 거래와 전혀 다르지만, 스프레드시트는 그들을 동일하게 취급합니다.

거래 클로즈 여부를 가장 풍부하게 예측하는 지표들(이메일 응답성, 다중 접점, 트라이얼 사용, 미팅 빈도)은 대개 예측에 전혀 반영되지 않습니다. 그리고 거래는 이기거나 지는 것만이 아닙니다. 지연됩니다. 타이밍 위험 모델이 없는 예측은 매 분기 과도하게 커밋하게 되며, 이는 다른 글에서 다룬 거래 지연 문제입니다.

간단히 말해서, 전통적인 예측은 이미 시스템에 존재하는 행동 증거를 무시한 채 인간의 판단과 정적인 단계 수학에 의존합니다.

만성적인 부정확함이 초래하는 비용

15포인트 빗나간 예측은 어느 방향으로든 비쌉니다. 과대 예측하면 과잉 채용하고, 과잉 지출하고, 고통스러운 중간 조정을 겪습니다. 과소 예측하면 여력을 남겨두면서도 신뢰도를 그만큼 빠르게 잃습니다. 항상 낮춰 잡는 리더는 옳을 때조차 믿음을 받지 못하게 되기 때문입니다.

복리로 쌓이는 비용도 있습니다. 일단 예측이 신뢰할 수 없다는 것을 모두가 알게 되면, 조직은 의사결정에 그것을 사용하는 것을 그만두고 직감으로 돌아갑니다. 그 시점에서 예측은 슬라이드를 채우기 위해 존재할 뿐입니다. 신뢰를 되찾는 것은 어떤 규율을 가지고 자본을 배분하기 위한 전제 조건입니다.

실제로 고치는 방법

정확도는 더 똑똑한 알고리즘보다는 더 나은 입력값과 더 나은 프로세스에서 훨씬 더 많이 비롯됩니다.

1. 고정된 단계 비율을 신호 가중 확률로 대체하세요. "3단계는 40퍼센트"라고 하는 대신, 각 거래가 실제로 보이는 행동으로 가중치를 매기세요. 그 메커니즘은 가중치가 부여된, 신호 기반 예측 구축 방법에 있습니다.
2. 커밋, 예측, 파이프라인을 분리하세요. 확실히 클로즈할 것, 클로즈될 것으로 기대하는 것, 클로즈될 수 있는 것은 세 가지 다른 질문입니다. 세 개의 다른 숫자를 부여하세요.
3. 신호가 존재하도록 퍼널을 계측하세요. 포착한 적 없는 참여 데이터로 가중치를 매길 수는 없습니다. 시스템에 원시 신호를 넣는 것이 먼저이며, 이는 실제 의사결정을 위한 퍼널 계측에서 다룹니다.
4. 여러분 자신의 예측 오차를 지표로 추적하세요. 팀별, 담당자별로 매 분기 커밋과 실제 사이의 격차를 측정하세요. 예측 신뢰성은 전체 매출 건강 점수에 대한 하나의 입력값이며, 거기에 속해야 합니다.
5. 신뢰하기 전에 백테스트하세요. 새로운 방법을 지난 여러 분기에 대해 재현해보세요. 지난 4개 분기를 맞히지 못했다면, 다음 분기도 맞히지 못할 것입니다.

실용적인 출발점

모든 것을 다시 만들 필요는 없습니다. 가장 빠르게 성과를 내는 첫 번째 조치는 대개 이미 운영하고 있는 파이프라인 리뷰에 행동 플래그를 추가하는 것입니다. 경제적 구매자가 조용해진 거래, 사이클 후반인데도 여전히 단일 접점인 거래, 클로즈 날짜가 이미 한 번 미뤄진 거래에 플래그를 붙이세요. 이 세 가지 플래그만으로도 이번 분기에 결코 성사되지 않을 "커밋" 파이프라인의 상당 부분이 드러나는 경향이 있습니다. 불편하지만, 12주차보다는 2주차에 아는 것이 낫습니다.

거기서부터는 점진적입니다. 더 많은 신호를 포착하고, 단계가 아니라 증거로 가중치를 매기고, 시간이 지남에 따라 여러분 자신의 오차를 측정함으로써 프로세스에 책임을 부여하세요. 정확도는 신뢰와 같은 방식으로 복리로 쌓입니다.

핵심 요약

• 예측은 구조적인 이유로 빗나갑니다. 모든 계층의 낙관주의, 모든 거래를 똑같이 취급하는 단계 수학, 무시된 행동 신호, 그리고 지연에 대한 모델의 부재입니다.
• 과대 예측과 과소 예측 모두 비용이 들며, 일단 예측이 신뢰할 수 없다고 알려지면 어차피 누구도 의사결정에 사용하지 않습니다.
• 거래가 머무는 단계가 아니라 보이는 행동으로 가중치를 매기고, 커밋, 예측, 파이프라인을 별도의 숫자로 나누세요.
• 여러분 자신의 예측 오차를 추적 지표로 취급하고, 새로운 방법에 걸기 전에 백테스트하세요.

더 나은 예측은 더 나은 신호를 프로세스에 투입하는 데서 나옵니다. 파이프라인에 대한 그 신호 우선 관점이야말로 수익 오케스트레이션이 제공하도록 만들어진 것입니다.