信号与噪音：筛选真正能预测交易结果的数据

如今的收入团队几乎可以捕捉一切数据:每一次页面浏览、邮件打开、功能点击、会议、支持工单。人们的直觉是数据越多,预测就越准,但现实中往往恰恰相反。那一小撮真正能预测交易结果的行为,会被成千上万条只能证明"这个人还活跃在互联网上"的数据淹没。最终你得到的评分模型,看起来很高深,却预测不出任何有用的东西。

那些评分真正被投入使用的团队,恰恰是那些愿意扔掉大部分数据的团队。这说起来容易做起来难,因为噪音极具诱惑力。它体量庞大、容易测量,还能画出令人满意的图表。学会忽略其中的大部分,才是真正的本领。

数据越多,预测往往越差

把弱变量或伪相关变量加进预测模型,会从几个具体的方面切实损害模型效果。

如果变量足够多,模型总能在历史交易中找到一些纯属巧合的模式。它在历史数据上看起来很厉害,一到新交易上就崩溃,因为它记住的是噪音,而不是学到了结构规律。这就是过拟合,也是把所有数据都喂给模型时的默认结果。

真正的预测因子也会被稀释。它们的权重被摊薄到几十个几乎无用的输入变量上,对最终评分的影响力也随之减弱。

而一个被喂了所有数据的模型,会产出一个看起来很精确的数字,让利益相关方对它的信任超过了应有的程度。精确读起来像是准确,即便事实并非如此。CRO 看到一个整整齐齐的两位数评分,不会再去追问它究竟是由什么构成的。

几十年的应用统计学经验都指向同一个方向:一小组强有力、被充分理解的预测因子,几乎总是胜过一大堆弱预测因子。真正的功夫在于做减法。

一个行为要被纳入评分,必须先通过三项测试

大多数被捕捉到的事件,至少会在其中一项上不及格。

它具有区分度吗?一个真正的信号,在最终转化的账户和没有转化的账户中,表现应该是不同的。如果一个行为在赢单和输单的客户中出现的比例相当——比如打开每月的新闻通讯——那么无论它有多容易测量,都不携带任何预测信息。

它是因果关系,还是仅仅是一面镜子?许多行为之所以和购买相关,是因为它们是已经存在的购买意图的结果,而不是它们创造了购买意图。访问定价页面和购买行为相关,但这次访问反映的是一个正在形成的决定,它并不会去推动一个还在犹豫的账户。把领先指标和意图的反映区分开来,是一件微妙但重要的事。

它稳定吗?一个去年能预测交易、今年却不行的信号,或者在一个细分市场有效、在另一个细分市场无效的信号,很可能只是恰好走运的噪音。真正的信号能够经受住时间和不同客群的考验。

一个通过了这三项测试的行为,才值得被纳入评分。其余的一切都只是可以存储、但不应该赋予权重的遥测数据。

上下文会改变含义

同一个原始事件,在一种情境下可能纯属噪音,在另一种情境下却可能是强烈的信号,这正是为什么原始阈值和简单警报的表现如此糟糕。

以产品使用量下降 40% 为例。对于一个还在入门引导阶段的全新试用账户来说,这是噪音——这个阶段的使用量本来就不稳定。但对于一个已经稳定运行两年、还有 45 天就要续约的成熟账户来说,这是一个响亮的流失信号。同样的事件,截然相反的含义。

好的信号会根据每个账户自身的基线、生命周期阶段和细分市场进行归一化处理,而不是套用一条全局统一的规则。基于原始阈值训练出来的警报之所以会造成如此严重的警报疲劳,正是因为它们剥离了赋予事件意义的上下文——这一区别我们在收入信号究竟是什么中有过探讨。

构建筛选器

从结果出发。先精确定义你想要预测的目标(转化、扩展、流失),然后反向推导出能够区分这一结果的行为。不要一开始就去罗列你恰好收集到的每一个事件。我们见过团队花了整整一个季度做这种罗列,却始终没能进入建模阶段。

用对照数据集进行验证。在模型从未见过的数据上测试候选信号。一个只在样本内有效的信号,不过是伪装过的过拟合。

早期保持模型的可解释性。一个 RevOps 负责人能在管道复盘会上讲清楚逻辑的简单模型,比一个黑箱模型更能建立信任,也能更快暴露出糟糕的输入变量。等基础打牢之后,再考虑增加复杂度。

定期修剪。定期移除那些已经失去区分能力的输入变量。信号是会衰减的。模型是一座花园,不是一座纪念碑。

经过筛选、验证过的信号集合,正是行动的原材料。干净的信号会输入到将分散数据转化为下一步最佳行动一文所描述的排序和路由环节,而这一切都依赖于一个统一的数据基础才能存在:也就是把各系统间的事件关联起来的单一事实来源。像 Revnewo 这样的编排平台,负责处理数据关联和持续评分的工作,让团队可以把时间花在验证哪些信号真正具有预测力上,而不是纠结于处理数据管道。

关键要点

• 把所有数据都喂给模型只会让它变差。弱输入变量会导致过拟合、稀释真正的预测因子,并产出人们毫无理由却依然信任的评分。
• 一个行为要有资格被纳入评分,必须能区分赢单和输单、对结果有着说得通的因果关系而不只是反映结果,并且能在不同时间和不同细分市场中持续有效。
• 上下文决定一切。同样是使用量下降,在第一周毫无意义,在续约前第 45 天却意味着一切。基于原始阈值的警报会漏掉这一点,并把人们逼到疲惫不堪。
• 从结果出发,用对照数据集验证,保持模型可解释,并修剪掉失效的部分。

目标不是看到一切,而是清楚地看到那少数真正重要的东西。如果你想少花点时间处理遥测数据、多花点时间对真正能预测交易结果的信号采取行动,不妨看看收入编排是如何呈现经过验证的信号的——这是一个明智的下一步。