AI 예측: 과대광고, 현실, 그리고 신뢰할 수 있는 것

우리가 아는 모든 CRO는 적어도 세 번은 더 나은 예측을 약속받은 적이 있습니다. 한 번은 BI 도구로부터, 한 번은 가중 파이프라인 수식으로부터, 한 번은 이전 세대의 예측 소프트웨어로부터 말입니다. 그 약속들 대부분은 기대에 미치지 못했습니다. 그래서 이제 어떤 벤더가 AI가 마침내 정확한 숫자를 맞출 것이라고 말할 때, 회의적인 반응이야말로 올바른 반응입니다. 예측이 어려운 이유는 모델이 커진다고 해서 사라지지 않습니다.

하지만 무조건 무시하는 것도 잘못입니다. AI는 특정한 방식으로 예측을 개선하며, 어떤 방식인지, "정확도"가 실제로 무엇을 의미해야 하는지, 그리고 주어진 예측이 신뢰할 만한지 어떻게 판단할지를 정확히 짚어볼 가치가 있습니다.

예측이 어려운 이유, 그리고 AI가 바꾸지 못하는 것

영업 예측은 아직 내려지지 않은 인간의 결정에 대한, 아직 존재하지 않을 수도 있는 조건 하에서의 예측입니다. 이는 물리 법칙이 지배하는 무언가를 예측하는 것과는 다른 문제입니다.

신호는 희박합니다. 대규모 B2B 팀조차 분기당 성사시키는 거래 수는 한정되어 있어, 어떤 통계 모델에게도 작은 표본이며, 각 거래는 저마다의 특이성을 가지고 있습니다. 세상은 계속 움직입니다. 가격, 제품, 경쟁사, 시장 모두가 학습 데이터가 수집된 이후로 바뀌었기 때문에, 작년 거래로 학습된 모델은 규칙이 바뀐 게임을 예측하고 있는 셈입니다. 데이터 자체도 인센티브에 의해 오염됩니다. 영업 담당자들은 예측 가능하지만 모델링하기 어려운 방식으로 숫자를 낮춰 잡거나 낙관적으로 부풀리며, 그런 데이터로 학습된 AI는 그 편향을 그대로 물려받습니다. 그리고 폭발적으로 성사되거나 목표를 크게 초과하는 거래는 대개 어떤 패턴으로도 예측할 수 없었던 거래인 경우가 많습니다.

이 중 어느 것도 사라지지 않습니다. AI 예측을 "마침내 정확하다"고 판매하는 사람은 과대 약속을 하는 것입니다. AI가 할 수 있는 일은 가중 파이프라인이나 직감보다 의미 있게 더 나은 것입니다. 그것은 실질적인 개선이지만, 여전히 예측일 뿐입니다.

AI가 실제로 도움이 되는 부분

이러한 한계 안에서, 기존 방식 대비 네 가지 구체적인 이점이 있습니다.

훨씬 더 많은 신호를 활용합니다. 거래 단계와 영업 담당자가 입력한 종료 예정일 대신, 모델은 이메일 응답성, 미팅 빈도, 참여 중인 이해관계자 수, 제품 사용량, 그리고 모멘텀이 상승하는지 하락하는지를 반영할 수 있습니다. 이는 AI가 사람이 놓치는 수익 신호를 읽어내는 것과 같은 폭넓은 인지 능력을 예측에 적용한 것입니다.

일관성이 있습니다. 모델은 매주, 모든 거래에 동일한 논리를 적용합니다. 분기 마지막 5일 동안 낙관적으로 변하거나 큰 실패 이후 우울해지지 않습니다. 그것만으로도 인간 오류의 한 범주 전체가 제거됩니다.

좋은 모델은 스스로를 설명합니다. 유용한 AI 예측은 어떤 거래가 위험을 주도하는지, 어떤 신호가 거래의 성사 가능성을 움직였는지를 표시하므로, 숫자는 판결이 아니라 진단이 됩니다.

그리고 지속적으로 업데이트됩니다. 월요일 회의를 위해 취합한 주간 스냅샷 대신, 새로운 신호가 들어올 때마다 예측이 재추정되므로 위험이 더 일찍 드러납니다.

종합하면, 예측은 더 이상 보고서가 아니라 조기 경보 시스템으로 작동하기 시작합니다. 숫자 자체보다 변화의 패턴과 그 아래 깔린 거래 단위의 논리가 더 중요합니다.

정확도에 집착하는 것은 잘못된 접근입니다

팀들은 예측된 숫자가 실제 결과에 얼마나 가까운지에 집착합니다. 그것도 중요합니다. 하지만 그것만 쫓는 것은 두 가지 이유로 함정입니다.

예측은 잘못된 이유로도 정확할 수 있습니다. 서로 상쇄되는 오류들이 우연히 맞아떨어진 경우입니다. 반대로 유용한 방식으로 부정확할 수도 있습니다. 모델이 어떤 거래를 밀릴 가능성이 높다고 표시했고 팀이 그 거래를 열심히 챙겨서 성사시켰다면, 결과가 바뀌었고 예측은 "실패"한 셈입니다. 하지만 이는 나쁜 점수를 받은 좋은 예측입니다.

더 가치 있는 속성은 캘리브레이션(보정)과 실행 가능성입니다. 캘리브레이션이란 모델이 70퍼센트라고 말했을 때 그 거래들이 실제로 약 70퍼센트의 확률로 성사된다는 뜻입니다. 자신의 불확실성에 대해 정직한 모델은, 이따금 크게 틀리는 자신만만한 모델보다 더 가치가 있습니다. 실행 가능성이란 예측이 결과를 바꿀 수 있을 만큼 충분히 일찍 어디에 개입해야 하는지 알려준다는 뜻입니다.

따라서 AI 예측은 그것이 모르는 것에 대해 정직한지, 그리고 더 빨리 행동하도록 만드는지를 기준으로 판단하십시오. 자신의 확신 수준과 논리적 근거를 보여주는 모델은 통제할 수 있는 모델이며, 이것이 바로 수익 AI의 책임성을 유지하는 것의 핵심입니다.

신뢰할지 여부를 결정하는 방법

분기 실적을 그것에 걸기 전에 몇 가지 테스트를 해보십시오.

캘리브레이션 데이터를 요청하십시오. 벤더가 예측 대비 실제 확률을 시간에 걸쳐 추적하고 있습니까? 그것을 보여주지 못한다면 경계해야 합니다. 대부분은 보여주지 못합니다.

단순한 숫자가 아니라 논리적 근거를 찾으십시오. 신뢰할 수 있는 예측은 어떤 거래와 신호가 그것을 이끄는지 설명합니다. 불투명한 숫자는 관리할 수 없는 블랙박스이며, 대개 충분한 데이터를 볼 수 없는 시스템에 덧붙여진 AI의 징후입니다.

여전히 사람이 최종 판단을 내리는지 확인하십시오. 예측은 CRO의 판단에 대한 하나의 입력값일 뿐입니다. 최종 약속(커밋)은 여전히 CRO가 결정합니다. 이것이 가장 명확한 형태의 휴먼 인 더 루프 모델입니다. AI는 정보를 제공하고, 사람이 결정합니다.

그리고 몇 번의 주기를 지켜보십시오. 현재 프로세스와 나란히 실행하고 비교하며, 새로 부임한 영업 관리자를 대하듯 신뢰를 쌓아가게 하십시오. AI든 아니든, 어떤 예측 시스템도 첫날부터 신뢰받을 자격은 없습니다.

핵심 요약

• 예측은 구조적으로 어렵고(희박하고 편향되고 비정상성을 띤 데이터), AI는 그 한계를 없애지 않으면서 예측을 개선합니다.
• 실질적인 이점은 신호의 폭, 일관성, 거래 단위의 설명, 그리고 지속적인 업데이트입니다. 예측을 점수판이 아니라 조기 경보 시스템으로 다루십시오.
• 캘리브레이션과 실행 가능성이 단순한 정확도보다 중요합니다. 실패할 것이라 예측한 거래를 구해내도록 돕는 예측이야말로 제 역할을 다하는 것입니다.
• 캘리브레이션 기록을 보여주고, 논리적 근거를 설명하며, 최종 결정을 사람에게 남기는 예측을 신뢰하십시오. 그런 다음 의존하기 전에 몇 번의 주기를 지켜보십시오.

명확한 시각으로 활용한다면, AI 예측은 가중 파이프라인과 직감에 비해 진정한 발전입니다. 왜냐하면 그것은 우리 누구보다 더 일찍 위험을 감지하고 더 일관되게 추론하기 때문입니다. 자신의 근거를 보여주고 어디에서 행동해야 할지 알려주는 예측을 원한다면, 그것이 바로 Revnewo가 만들어진 이유입니다.