シグナル対ノイズ：案件を実際に予測するデータをフィルタリングする

現代のレベニューチームはほぼすべてを捕捉できます。すべてのページビュー、メール開封、機能クリック、ミーティング、サポートチケット。より多くのデータがより良い予測を意味するという本能がありますが、実際にはたいてい逆のことが起こります。本当に案件を予測する一握りの行動は、インターネット上で生きていることと相関するだけの数千のものの中に埋もれてしまいます。あなたは洗練されて見えるのに何も有用なものを予測しないスコアリングモデルを手にすることになります。

スコアが実際に使われるチームは、ほとんどのデータを捨てる覚悟のあるチームです。それは聞こえるより難しいことです。なぜならノイズは魅惑的だからです。それは大量に到着し、測定が簡単で、満足のいくチャートを生み出します。そのほとんどを無視することを学ぶことがスキルです。

より多くのデータはたいてい予測を悪化させる

弱い、あるいは疑わしい変数を予測モデルに加えることは、いくつかの特定の方法で積極的に害を及ぼします。

十分な数の変数があれば、モデルは過去の案件に、純粋な偶然にすぎないパターンを見つけ出します。それは過去のデータでは見事に見え、新しい案件では崩壊します。構造を学ぶ代わりにノイズを暗記してしまったからです。それが過学習であり、モデルにすべてを与えたときのデフォルトの結果です。

本物の予測因子も希釈されます。その重みは数十のほとんど役に立たないインプットに薄く広がり、スコアへの影響は薄れていきます。

そしてすべてを与えられたモデルは、ステークホルダーが本来よりも信頼してしまう、精密に見える数字を生み出します。精密さは、それが正確でなくても正確に読まれます。CROは整った2桁のスコアを見て、それが何から構成されているかを問いません。

数十年にわたる応用統計学は同じ方向を指し示しています。強く、よく理解された少数の予測因子は、弱い予測因子の大集団にほぼ常に勝ります。作業は引き算です。

行動がスコアリングされる前の3つのテスト

捕捉されたほとんどのイベントは、これらのうち少なくとも一つで失敗します。

それは識別するか。本物のシグナルは、コンバージョンするアカウントとしないアカウントで異なる振る舞いを見せます。ある行動が勝者と敗者に等しく現れるなら、たとえば月次ニュースレターの開封のようなものは、それがどれほど測定しやすくても予測情報を何も持ちません。

それは因果的か、それとも単なる鏡か。多くの行動は、それが意図を生み出すからではなく、すでに存在する意図によって引き起こされるために購買と相関します。価格ページを訪問することは購買と相関しますが、その訪問はすでに形成されつつある決断を反映しているにすぎません。それは冷めたアカウントを動かしません。先行指標を意図の反映から切り分けることは微妙であり、それが重要です。

それは安定しているか。昨年は案件を予測したが今年はしない、あるいは一つのセグメントでは機能するが別のセグメントでは機能しないシグナルは、おそらく運が良かっただけのノイズです。本物のシグナルは時間とコホートを超えて持ちこたえます。

この3つすべてに合格する行動はスコアリングする価値があります。それ以外はすべて、保存はできても重み付けすべきではないテレメトリです。

文脈が意味を反転させる

同じ生のイベントが、ある枠組みでは純粋なノイズであり、別の枠組みでは強力なシグナルになり得ます。だからこそ生の閾値と単純なアラートはこれほど成績が悪いのです。

プロダクト利用の40パーセントの低下を考えてみましょう。まだオンボーディング中の真新しいトライアルアカウントにとって、それはノイズです。その段階では利用は本質的に不規則です。2年間安定していて更新まで45日の成熟したアカウントにとって、それは大きなチャーンシグナルです。同じイベント、正反対の意味です。

優れたシグナルは、一つのグローバルなルールを適用するのではなく、各アカウント自身のベースライン、ライフサイクルステージ、セグメントに対して正規化します。生の閾値で訓練されたアラートがこれほど疲労を生むのは、まさにイベントに意味を与える文脈を取り除いてしまうからであり、この区別はレベニューシグナルとは実際に何かで探求されています。

フィルターの構築

成果から始めましょう。予測したいもの(コンバージョン、拡張、チャーン)を正確に定義し、そこから逆算してそれを識別する行動にたどり着きましょう。たまたま収集しているすべてのイベントをカタログ化することから始めてはいけません。私たちは、あるチームがそのカタログ化に四半期を費やし、決してモデルにたどり着かなかったのを見てきました。

ホールドアウトに対して検証しましょう。候補となるシグナルを、モデルが一度も見たことのないデータでテストしましょう。サンプル内でのみ機能するシグナルは、変装した過学習です。

初期段階では解釈可能性を保ちましょう。RevOpsリーダーがパイプラインレビューでそのロジックを説明できるシンプルなモデルは、ブラックボックスよりも早く信頼を築き、悪いインプットを露呈させます。洗練さは、基本が確立された後に来ることができます。

刈り込みましょう。識別しなくなったインプットを定期的に取り除きましょう。シグナルは劣化します。モデルは記念碑ではなく庭園です。

検証されたシグナルのフィルタリングされたセットは、アクションのための原材料です。クリーンなシグナルは散在するデータを次善のアクションに変えるで説明されているランキングとルーティングに供給され、それらはそもそも存在するために統一されたデータ基盤に依存しています。それがシステム間でイベントを結合する単一の信頼できる情報源です。Revnewoのようなオーケストレーションプラットフォームは、結合と継続的なスコアリングを処理するため、チームはパイプラインを操作するのではなく、どのシグナルが実際に予測するかを検証することに時間を使えます。

重要なポイント

• モデルにすべてを与えることはそれを悪化させます。弱いインプットは過学習を引き起こし、本物の予測因子を希釈し、人々が理由もなく信頼するスコアを生み出します。
• ある行動がスコアリングに値するのは、それが勝者と敗者を分け、結果を単に反映するのではなくもっともらしく引き起こし、時間とセグメントを超えて機能し続ける場合です。
• 文脈が決めます。利用の低下は1週目には何も意味せず、更新前の45日目にはすべてを意味します。生の閾値によるアラートはそれを見逃し、人々を疲弊させます。
• 成果から始め、ホールドアウトデータで検証し、モデルを説明可能に保ち、機能しなくなったものを刈り込みましょう。

目標はすべてを見ることではありません。重要な少数のものを明確に見ることです。テレメトリの操作に費やす時間を減らし、案件を予測するものに基づいて行動する時間を増やしたいなら、レベニューオーケストレーションが検証されたシグナルをどう表面化させるかを見ることは、賢明な次のステップです。