Перейти к содержимому

Реальное время или пакетная обработка: когда важна свежесть данных о выручке

Не все данные о выручке должны быть в реальном времени. Когда свежесть важна, когда достаточно пакетной обработки и как это решить.

7 min read

Реальное время или пакетная обработка: когда важна свежесть данных о выручке

«Реальное время» — пожалуй, самое дорогое слово, которое когда-либо печатали в документе с требованиями. С ним никто не спорит, ведь кому нужны устаревшие данные? Так оно попадает в спецификацию без возражений, а полгода спустя потоковый конвейер питает дашборд, который вице-президент открывает дважды в день. Счёт за это — не только инфраструктура. Это дежурства, хрупкость и бремя поддержки, которое переживёт автора требования.

Лучше спросить, насколько свежим должно быть именно это решение. Свежесть — свойство каждого отдельного потока, а потоки данных о выручке различаются в своих потребностях необычайно сильно. Мы видели, как команды заметно экономили, просто задавая этот вопрос для каждого потока вместо единого глобального значения по умолчанию. Эта статья — о том, как принимать такое решение осознанно. Она дополняет другие решения о контрактах в эталонной архитектуре современной платформы выручки, где свежесть — один из явных контрактов между слоями.

Свежесть определяется решением, а не данными

Начните с каденса действия, которое определяют данные. Что происходит из-за этой цифры и как быстро ответ устаревает?

Маршрутизация лидов должна происходить в течение секунд после отправки формы. Медленный отклик измеримо снижает конверсию, так что здесь действительно нужна низкая задержка.

Квартальный прогноз — совсем другое дело. Руководство смотрит на него раз в неделю. Обновлять его каждую секунду хуже, чем бесполезно, потому что внутридневной шум создаёт ложные движения, и кто-нибудь на них отреагирует. То же с индексом здоровья для QBR: он должен быть актуален на момент обзора, а не с точностью до минуты.

Подбирайте свежесть под каденс решений. Данные свежее, чем решение, которое они питают, ничего не дают и чего-то стоят. Большинство споров о реальном времени и пакетной обработке заканчиваются на этом, стоит кому-нибудь произнести это вслух.

Во что на самом деле обходится реальное время

Потоковая обработка — это не пакетная, только быстрее. Это иное инженерное обязательство, и его издержки легко недооценить, когда пишешь спецификацию, а не эксплуатируешь систему.

Потоковым системам приходится иметь дело с событиями вне порядка, с запоздавшими данными, с семантикой «ровно один раз» и с обработкой, которая никогда не отдыхает. Когда падает пакетная задача, её перезапускают. Когда ломается поток, сбой тоньше, и вы можете не узнать о нём, пока цифры не начнут выглядеть неправильно.

Отладка тоже сложнее. У пакетного конвейера есть отдельный запуск, который можно изучить и воспроизвести. Поток — движущаяся мишень, и воспроизведение ошибки, случившейся в 2:14 ночи при определённом порядке событий, — неприятный вечер.

И есть проблема корректности. Системам реального времени часто приходится выдавать ответ до того, как поступили все данные, а потом его исправлять. Для метрики выручки, которую сфотографируют в презентацию для совета директоров, число, меняющееся задним числом, убивает доверие быстрее, чем число четырёхчасовой давности. Никто не хочет объяснять, почему показатель воронки за вторник отличается от того, что было в письме.

Пакетная обработка скучна в лучшем смысле: предсказуема, воспроизводима, легко поддаётся осмыслению. Для большинства аналитики по выручке это именно то, что нужно, а скучное дешевле держать корректным. Это важно, потому что аналитика хороша ровно настолько, насколько хороша лежащая под ней гигиена данных RevOps.

Разложите потоки по уровням

Откажитесь от глобальной настройки. Отнесите каждый поток к одному из трёх уровней.

Реальное время, измеряемое секундами. Оставьте его для потоков, где задержка меняет исход: маршрутизация лидов, оповещения по сигналам, ответ на входящие обращения, меры против мошенничества или оттока. Окно действия — секунды, так что потоковая обработка оправдывает свою цену.

Околореальное время, от минут до нескольких часов. Микропакеты для потоков, где важна разумная свежесть, но не секунды. Дашборды воронки, оценка вовлечённости, большинство обратных записей в системы действия. Этот уровень даёт большую часть воспринимаемой ценности реального времени за долю стоимости, и, по нашему опыту, именно сюда должна попадать основная масса потоков.

Пакетная обработка, от часов до суток. Значение по умолчанию для агрегированной аналитики, прогнозирования, моделей атрибуции и отчётности. Ночного обновления или нескольких раз в день вполне достаточно, а стабильность здесь — достоинство, а не компромисс.

Дисциплина состоит в том, чтобы не поддаваться искушению переводить всё на первый уровень, потому что реальное время кажется надёжнее. Обычно это не так. Оно просто дороже в эксплуатации, и ему труднее доверять.

Два места, где свежесть спорит с корректностью

Атрибуция по природе временная. Атрибуционный хребет распределяет заслугу по цепочке касаний, и для этого ему нужны полные пути. Неполные фрагменты в реальном времени дают распределения заслуг, которые придётся пересматривать снова и снова. Атрибуция принадлежит пакетной обработке. Погоня за атрибуцией в реальном времени чаще всего оборачивается погоней за неверной атрибуцией.

Второе место — обратная запись. Передача выводов в системы, где работают люди, через слой обратной записи, требует свежести, согласованной с тем, как используется получатель. Оповещение менеджера о горячем лиде — околореальное время. Ночная синхронизация здоровья аккаунтов в CRM — пакет. Если записывать обратно слишком агрессивно, получатся шум, усталость от оповещений и состояния гонки, когда задача синхронизации затирает правку, внесённую менеджером десять минут назад.

Свежесть — это контракт, который для каждого потока заключают производитель данных и их потребитель. Относитесь к ней так, и спор о глобальной настройке «быстрее» исчезнет.

Ключевые выводы

  • Вопрос в том, насколько свежим должно быть решение, а не насколько свежими могут быть данные. Ценность ограничена каденсом решений.
  • У реального времени есть издержки, которые недооценивают: операционная сложность, мучительная отладка и цифры, меняющиеся после того, как их уже вставили в презентацию.
  • Три уровня покрывают почти всё: секунды для действий, чувствительных к задержке, минуты для дашбордов и обратных записей, часы или сутки для аналитики и прогнозирования. Большинство потоков относится к двум нижним.
  • Атрибуции нужны полные пути, поэтому она принадлежит пакетной обработке. Обратная запись требует свежести, согласованной с целевой системой, иначе превращается в шум.

Осознанный выбор свежести — один из менее заметных признаков хорошо построенного стека выручки и пример проектирования на основе контрактов, на котором строится такая платформа, как Revnewo. Если в каждой спецификации вашей команды по умолчанию стоит «реальное время», разбиение потоков по уровням — быстрый способ вернуть часть бюджета и надёжности.

See revenue orchestration in action

Unify your revenue data, signals, and plays on one AI-native platform.