신호 대 노이즈: 딜을 실제로 예측하는 데이터 걸러내기

현대의 수익 팀은 거의 모든 것을 포착할 수 있습니다. 모든 페이지 뷰, 이메일 열람, 기능 클릭, 미팅, 지원 티켓까지. 데이터가 많을수록 예측이 더 좋아질 것이라는 직관이 있지만, 실제로는 정반대의 일이 흔히 일어납니다. 딜을 진정으로 예측하는 소수의 행동들이 인터넷에서 살아 숨 쉬고 있다는 것과 그저 상관관계만 있는 수천 개의 행동에 파묻혀 버립니다. 결국 정교해 보이지만 아무것도 예측하지 못하는 스코어링 모델을 갖게 됩니다.

점수가 실제로 사용되는 팀들은 대부분의 데이터를 기꺼이 버릴 의지가 있는 팀들입니다. 이는 말처럼 쉽지 않습니다. 노이즈는 유혹적이기 때문입니다. 대량으로 밀려들고, 측정하기 쉬우며, 만족스러운 차트를 만들어냅니다. 대부분을 무시하는 법을 배우는 것이 그 기술입니다.

데이터가 많을수록 대개 예측이 나빠진다

약하거나 허위인 변수를 예측 모델에 추가하면 몇 가지 구체적인 방식으로 적극적으로 해를 끼칩니다.

충분히 많은 변수가 있으면 모델은 과거 딜에서 순전한 우연에 불과한 패턴을 찾아냅니다. 과거 데이터에서는 훌륭해 보이지만 새로운 딜에서는 무너집니다. 구조를 학습하는 대신 노이즈를 암기했기 때문입니다. 이것이 과적합(overfitting)이며, 모델에 모든 것을 먹였을 때의 기본 결과입니다.

실제 예측 변수도 희석됩니다. 그것들의 가중치가 수십 개의 거의 쓸모없는 입력값들 사이에 얇게 퍼지며, 점수에 미치는 영향력이 사라집니다.

그리고 모든 것을 먹인 모델은 이해관계자들이 마땅히 신뢰해야 하는 것보다 더 신뢰하게 되는 정밀해 보이는 숫자를 만들어냅니다. 정밀함은 실제로 정확하지 않아도 정확하게 읽힙니다. CRO는 깔끔한 두 자릿수 점수를 보고 그것에 무엇이 들어갔는지 묻지 않습니다.

수십 년간의 응용 통계학은 같은 방향을 가리킵니다. 소수의 강력하고 잘 이해된 예측 변수가 거의 매번 다수의 약한 변수들을 이깁니다. 이 작업은 뺄셈입니다.

행동이 점수화되기 전 세 가지 테스트

포착된 이벤트 대부분은 이 중 최소 하나에서 실패합니다.

구별하는가? 진짜 신호는 전환한 계정과 전환하지 않은 계정에서 다르게 나타납니다. 월간 뉴스레터를 여는 것처럼 승자와 패자 모두에서 똑같이 나타나는 행동이라면, 아무리 측정하기 쉬워도 예측 정보를 전혀 담고 있지 않습니다.

인과적인가, 아니면 그저 거울인가? 많은 행동은 그것이 의도를 만들어내서가 아니라 이미 존재하는 의도에 의해 일어나기 때문에 구매와 상관관계를 갖습니다. 가격 페이지 방문은 구매와 상관관계가 있지만, 그 방문은 이미 형성되고 있는 결정을 반영합니다. 미온적인 계정을 움직이지는 않습니다. 주도적인 지표와 의도의 반영을 구분하는 것은 미묘하며 중요합니다.

안정적인가? 작년에는 딜을 예측했지만 올해는 그렇지 않거나, 한 세그먼트에서는 작동하지만 다른 곳에서는 작동하지 않는 신호는 아마도 운 좋게 걸린 노이즈일 것입니다. 진짜 신호는 시간과 코호트에 걸쳐 유지됩니다.

이 세 가지를 모두 통과하는 행동만 점수화할 가치가 있습니다. 나머지는 저장은 할 수 있지만 가중치를 두어서는 안 되는 텔레메트리입니다.

맥락이 의미를 뒤집는다

같은 원시 이벤트가 한 프레임에서는 순수한 노이즈이고 다른 프레임에서는 강력한 신호일 수 있으며, 이것이 원시 임계값과 단순 알림이 그토록 형편없이 작동하는 이유입니다.

제품 사용량의 40% 감소를 예로 들어보겠습니다. 아직 온보딩 중인 신규 트라이얼 계정에서는 노이즈입니다. 그 단계에서는 사용량이 본질적으로 들쭉날쭉합니다. 2년간 꾸준했고 갱신 45일을 앞둔 성숙한 계정에서는 시끄러운 이탈 신호입니다. 같은 이벤트, 정반대의 의미입니다.

좋은 신호는 하나의 전역적 규칙을 적용하는 대신 각 계정 고유의 기준선, 생애주기 단계, 세그먼트에 대비해 정규화됩니다. 원시 임계값으로 훈련된 알림이 그토록 피로감을 유발하는 것은 정확히 이벤트에 의미를 부여하는 맥락을 벗겨내기 때문이며, 이는 수익 신호가 실제로 무엇인가에서 탐구하는 구분입니다.

필터 만들기

결과에서 시작하십시오. 예측하고자 하는 것(전환, 확장, 이탈)을 정확하게 정의한 다음, 이를 구별해주는 행동으로 거꾸로 작업하십시오. 여러분이 우연히 수집하는 모든 이벤트를 카탈로그화하는 것으로 시작하지 마십시오. 우리는 팀들이 한 분기를 카탈로그 작업에 쓰고 결국 모델에 도달하지 못하는 것을 지켜봤습니다.

홀드아웃 데이터로 검증하십시오. 후보 신호를 모델이 본 적 없는 데이터로 테스트하십시오. 표본 내에서만 작동하는 신호는 위장한 과적합입니다.

초기에는 해석 가능하게 유지하십시오. RevOps 리더가 파이프라인 리뷰에서 그 로직을 설명할 수 있는 단순한 모델은 신뢰를 쌓고 블랙박스보다 더 빨리 나쁜 입력을 드러냅니다. 정교함은 기본이 탄탄해진 후에 추가할 수 있습니다.

가지치기하십시오. 더 이상 구별하지 못하는 입력값을 주기적으로 제거하십시오. 신호는 부패합니다. 모델은 기념비가 아니라 정원입니다.

검증된 신호들의 필터링된 집합이 행동의 원자재입니다. 깨끗한 신호는 흩어진 데이터를 넥스트 베스트 액션으로 전환하는 랭킹과 라우팅에 공급되며, 이들은 애초에 존재하기 위해 통합된 데이터 기반, 즉 시스템 전반에 걸쳐 이벤트를 결합하는 단일 진실 공급원에 의존합니다. Revnewo와 같은 오케스트레이션 플랫폼은 그 결합과 지속적인 스코어링을 처리하므로, 팀들은 파이프라인을 씨름하는 대신 실제로 무엇이 예측하는지 검증하는 데 시간을 쓸 수 있습니다.

핵심 요약

• 모델에 모든 것을 먹이면 더 나빠집니다. 약한 입력은 과적합을 일으키고, 실제 예측 변수를 희석시키며, 사람들이 아무 이유 없이 신뢰하는 점수를 만들어냅니다.
• 행동은 승자와 패자를 구별하고, 그 결과를 그저 반영하는 것이 아니라 그럴듯하게 유발하며, 시간과 세그먼트에 걸쳐 계속 작동할 때 스코어링에 자리를 얻습니다.
• 맥락이 결정합니다. 사용량 감소는 첫 주에는 아무 의미가 없고 갱신 45일 전에는 모든 것을 의미합니다. 원시 임계값 알림은 이를 놓치고 사람들을 지치게 만듭니다.
• 결과에서 시작하고, 홀드아웃 데이터로 검증하고, 모델을 설명 가능하게 유지하고, 더 이상 작동하지 않는 것을 가지치기하십시오.

목표는 모든 것을 보는 것이 아닙니다. 중요한 몇 가지를 명확하게 보는 것입니다. 텔레메트리를 씨름하는 데 시간을 덜 쓰고 딜을 예측하는 것에 대응하는 데 더 많은 시간을 쓰고 싶다면, 수익 오케스트레이션이 검증된 신호를 어떻게 드러내는지 살펴보는 것이 합리적인 다음 단계입니다.