Перейти к содержимому

Сигнал и шум: как отфильтровать данные, которые действительно предсказывают сделки

Большая часть данных о выручке — шум. Умение отфильтровать сигналы, действительно предсказывающие сделки, — конкурентное преимущество.

10 min read

Сигнал или шум: как отфильтровать данные, которые действительно предсказывают сделки

Современные выручечные команды могут фиксировать почти всё. Каждый просмотр страницы, открытие письма, клик по функции, встречу и обращение в поддержку. Инстинкт подсказывает, что больше данных означает лучший прогноз, а на практике обычно происходит обратное. Несколько видов поведения, которые действительно предсказывают сделку, тонут среди тысяч тех, что лишь коррелируют с самим фактом присутствия человека в интернете. В итоге у вас модели скоринга, которые выглядят изощрённо и не предсказывают ничего полезного.

Команды, чьими оценками действительно пользуются, готовы выбросить большую часть данных. Это труднее, чем кажется, потому что шум соблазнителен. Он приходит в большом объёме, его легко измерять, и он даёт приятные графики. Умение игнорировать большую его часть и есть настоящий навык.

Больше данных обычно ухудшает прогноз

Добавление слабых или ложных переменных в предиктивную модель активно ей вредит, и вот как именно.

При достаточном числе переменных модель находит в прошлых сделках закономерности, которые являются чистым совпадением. На исторических данных она выглядит блестяще, а на новых сделках разваливается, потому что запомнила шум вместо того, чтобы выучить структуру. Это переобучение, и оно — результат по умолчанию, когда вы подаёте модели всё подряд.

Реальные предикторы тоже размываются. Их вес растекается по десяткам почти бесполезных входов, и их влияние на оценку угасает.

А модель, которой скормили всё, выдаёт число, выглядящее точным, и заинтересованные стороны доверяют ему больше, чем следует. Точность воспринимается как правильность, даже когда это не так. CRO видит аккуратную двузначную оценку и не спрашивает, из чего она сложилась.

Десятилетия прикладной статистики указывают в одну сторону: небольшой набор сильных, хорошо понятных предикторов почти всегда побеждает большой набор слабых. Работа — это вычитание.

Три проверки, прежде чем поведение попадёт в скоринг

Большинство фиксируемых событий не проходит хотя бы одну из них.

Различает ли оно? Настоящий сигнал ведёт себя по-разному в аккаунтах, которые конвертируются, и в тех, которые нет. Если поведение одинаково проявляется у победителей и проигравших, как открытие ежемесячной рассылки, то у него нет никакой предсказательной информации, как бы легко его ни было измерить.

Причина оно или просто отражение? Многие виды поведения коррелируют с покупкой, потому что их порождает уже существующее намерение, а не потому, что они его создают. Посещение страницы с ценами коррелирует с покупкой, но визит отражает уже складывающееся решение. На прохладный аккаунт он не влияет. Отделить опережающие индикаторы от отражений намерения тонко, и это важно.

Стабильно ли оно? Сигнал, предсказывавший сделки в прошлом году, но не в этом, или работающий в одном сегменте, но не в другом, — вероятно, шум, которому повезло. Настоящие сигналы выдерживают проверку временем и когортами.

Поведение, прошедшее все три проверки, стоит оценивать. Всё остальное — телеметрия, которую можно хранить, но нельзя взвешивать.

Контекст меняет смысл

Одно и то же сырое событие может быть чистым шумом в одной рамке и сильным сигналом в другой, поэтому сырые пороги и простые оповещения работают так плохо.

Возьмём падение использования продукта на 40%. Для совершенно нового пробного аккаунта, который ещё проходит онбординг, это шум. На этой стадии использование по природе нестабильно. Для зрелого аккаунта за 45 дней до продления, стабильного уже два года, это громкий сигнал оттока. То же событие, противоположный смысл.

Хорошие сигналы нормализуются относительно собственной базовой линии аккаунта, стадии жизненного цикла и сегмента, а не применяют одно глобальное правило. Оповещения, обученные на сырых порогах, вызывают столько усталости именно потому, что отсекают контекст, придающий событию смысл; это различие разбирается в материале что такое revenue signal на самом деле.

Как построить фильтр

Начните с результатов. Точно определите то, что хотите предсказывать (конверсию, расширение, отток), а затем двигайтесь назад к видам поведения, которые для этого различают. Не начинайте с каталогизации каждого события, которое вы случайно собираете. Мы видели команды, которые тратили квартал на каталог и до модели так и не добирались.

Проверяйте на отложенных выборках. Тестируйте кандидатов в сигналы на данных, которых модель не видела. Сигнал, работающий только на обучающей выборке, — это переобучение в маскировке.

Сначала сохраняйте интерпретируемость. Простая модель, логику которой руководитель RevOps может объяснить на обзоре воронки, формирует доверие и выявляет плохие входные данные быстрее, чем чёрный ящик. Сложность можно добавить позже, когда основа выдержит.

Прореживайте. Периодически удаляйте входы, переставшие различать. Сигнал затухает. Модель — это сад, а не памятник.

Отфильтрованный набор проверенных сигналов — сырьё для действий. Чистые сигналы питают ранжирование и маршрутизацию, описанные в статье как превратить разрозненные данные в следующие лучшие действия, и вообще существуют только благодаря единой основе данных: единому источнику истины, который связывает события между системами. Платформы оркестрации вроде Revnewo берут на себя объединение и непрерывный скоринг, чтобы команды тратили время на проверку того, какие сигналы действительно предсказывают, а не на борьбу с конвейерами.

Ключевые выводы

  • Если подать модели всё, она станет хуже. Слабые входы вызывают переобучение, размывают настоящие предикторы и порождают оценки, которым люди доверяют без оснований.
  • Поведение заслуживает места в скоринге, если оно отделяет победителей от проигравших, правдоподобно влияет на результат, а не просто отражает его, и продолжает работать во времени и по сегментам.
  • Решает контекст. Падение использования ничего не значит на первой неделе и значит всё на 45-й день до продления. Оповещения по сырым порогам этого не улавливают и выматывают людей.
  • Начинайте с результата, проверяйте на отложенных данных, сохраняйте модель объяснимой и прореживайте то, что перестало работать.

Цель не в том, чтобы видеть всё. А в том, чтобы ясно видеть немногое важное. Если вы хотите меньше возиться с телеметрией и больше действовать по тому, что предсказывает сделки, разумный следующий шаг — посмотреть, как revenue orchestration выявляет проверенные сигналы.

See revenue orchestration in action

Unify your revenue data, signals, and plays on one AI-native platform.