A/B‑тесты — классический инструмент маркетолога, но что делать, если база мала, каждый пользователь на вес золота, а выделить контрольную группу невозможно? В этой статье руководитель CRM-направления в Рокетбанке и автор Telegram-канала СиндRоM самозванца Дмитрий Алпацкий поделился, как получать инсайты без идеальных экспериментов.

Почему стандартные A/B‑тесты не всегда применимы

В стартапах и нишевых проектах любая коммуникация с пользователем важна. Но иногда нельзя выделить глобальную контрольную группу, потому что каждый клиент на счету. Или аудитории недостаточно, чтобы результаты теста были статистически значимыми.

A/B‑тесты — как МРТ или КТ: дают точный результат, но это дорого и не всегда нужно. Часто достаточно «пульсометра» — наблюдать тренд через простые метрики, чтобы понимать, работает ли механика.

Что можно использовать

1. Продуктовая воронка / дерево метрик

Построение дерева метрик помогает взглянуть на картинку целиком. Анализ данных позволит найти просадки и наметить стратегию роста.

2. Атрибуция

Чтобы оценить, как мы влияем на ту или иную метрику — стоит договориться о правилах (игры) атрибуции.

Last click attribution. Самый простой способ — приписывать действие к последней рассылке. Работает, если коммуникаций немного. Но если после рассылки пользователь перешёл по платной рекламе, то заказ уйдёт в перформанс, а CRM «потеряет вклад». Поэтому обязательно промечайте все ссылки UTM-метками и анализируйте путь пользователя: часто видно, что конверсия складывается из нескольких касаний, включая рассылки. Attribution window. Задаём окно (например, 24 или 72 часа). Все действия в этот период считаем реакцией на рассылку. Для SMS и push обычно окно короче, для email — длиннее. Важно учитывать не только клики, но и view-through эффект: часть пользователей видят пуш или SMS и заходят в приложение напрямую. Multi-touch. При большом числе коммуникаций можно распределять вклад между каналами (линейно или через модели). Это сложнее, но позволяет честнее оценить CRM.

Анализ базовых метрик

Важно регулярно отслеживать базовые метрики: отправки, доставки, клики, CTR и CR — эти данные помогут найти проблемные зоны и точки роста. Сконцентрируемся на двух последних: регулярная проверка CTR и CR позволяет вовремя заметить технические сбои и протрубить тревогу.

Например, на этапе онбординга (welcome-коммуникации) есть сценарий, который возвращает пользователей в воронку. Из недели в неделю показатели то растут, то падают. Нужно понять, почему так происходит, а для этого — пойти от общего к частному.

Что можно сделать:

1. Разбить пользователей на сегменты (возраст, пол, локация, платформа и так далее) — и проверить, кто лучше реагирует на рассылки. Строить гипотезы: масштабирования таких пользователей (к примеру, в связке с диджитал) и роста показателей по неактивным / «отстающим» клиентам.
2. Проверить количество рассылок, которые получает пользователь, наложить это на конверсию в целевое действие — и найти идеальный баланс. Важно смотреть не только на краткосрочные цели, но и на долгосрочные, чтобы не скатиться в механики моментальной выгоды, которые будут выжигать базу.
3. Проанализировать лучшее время отправок и персонализировать тайминг коммуникаций.

Анализ пре и пост периода

Анализ поможет свериться, изменилось ли поведение пользователей после внедрения механики. Например, благодаря внедрению реферальной программы можно увидеть, сколько приглашений было до сценария — и сколько после запуска цепочки «Пригласи друга». Но здесь стоит учитывать и тренды. Важно проверить общий тренд того, что происходило с пользователями: был ли приток, менялись ли перфоманс кампании, менялся ли источник трафика и тип привлекаемых пользователей, запускались ли продуктовые фичи, акции и не было ли багов.

Также полезно оценивать каннибализацию: часть прироста может быть просто смещением активности, а не чистым результатом рассылки.

Например, до запуска сценария пользователи в среднем делали 100 приглашений в день. После запуска стало 120. При этом рассылка напрямую принесла 40 приглашений. Получается, чистый прирост составил +20, а оставшиеся 20 — это, вероятно, перетекание органики (пользователи, которые всё равно совершили бы действие). Такой метод даёт грубую оценку каннибализации и наводит на мысль: а не стоит ли сместить время коммуникации, чтобы не мешать естественному поведению пользователей?

Это иллюстрация логики, а не строгий расчёт. Мы берём средние значения, а данные могут колебаться от недели к неделе: например, за счёт сезонности или перформанс-кампаний.

Когортный анализ

Цель анализа — оценить поведение пользователей в зависимости от периода привлечения в базу или в зависимости от периода привлечения в базу и выполнения дополнительных критериев (получение/открытие рассылок и иное).

Метрики

LTV, retention. Базово можно отслеживать эти показатели по датам попадания клиентов в базу.

Берём когорту января и снимаем данные о том, как пользователи возвращаются в феврале, марте, апреле и так далее. Далее берём когорту февраля и также смотрим, как они возвращаются в марте, апреле, мае и в следующих месяцах. Аналогично проходимся по каждому месяцу. Гранулярность можно корректировать в зависимости от вашего бизнеса: смотреть по дням, неделям, месяцам, годам. Так вы начнёте замечать пики и падения — и это будет почвой для размышлений: «А что там такое произошло, из-за чего мы уронили/вырастили Retention?»

Целевые действия. Здесь также можно брать когорты, смотреть выполнения целевых действий и ловить тренды.

Получали коммуникацию / не получали коммуникацию. Можно разделить показатели по пользователям, которые получают и не получают SMS/пуши/email и так далее. Сравнить их с точки зрения выполнения важных целевых действий, например: вступление в программу лояльности, списание бонусов, уровень ПЛ, количество/частота/сумма/чек заказов, количество позиций в заказе, Retention, LTV.

Байесовский подход

Это способ оценивать возможные результаты рассылок через вероятности, а не через жёсткие «да» или «нет». Так мы можем понять, что сработает лучше — и насколько лучше. Разберёмся, для каких целей можно использовать подход. 

— Для оценки эффективности сценария

— Для работы с малыми выборками

Допустим, в стартапе всего 300 клиентов в группе. P‑value будет говорить, что данных нет, а байесовский метод позволяет интерпретировать данные как вероятности и принять управленческое решение быстрее.

— Для приоритизации гипотез

Предположим, по рассылкам есть всего 3 гипотезы. Можно рассчитать процент вероятности, что каждая из них лучше текущей, и выбрать не вслепую, а осознанно.

Качественный анализ

Не стоит забывать про NPS, CSI и кастдев. Это методы исследования, которые помогают понять мотивацию, восприятие и причины поведения пользователей — не только сухие цифры.

— Кастдев (customer development)

Это интервью с пользователями. Главная задача — увидеть стоп-факторы к выполнению целевого действия. Например, почему не заинтересовались финансовым продуктом, не заказывают доставку, не открывают письма. А затем найти драйверы роста. Клиент не знал, что процент по вкладу самый высокий на рынке — надо его проинформировать. Не знал, что первая доставка бесплатная — нужно отобразить информацию в приложении или цепочке welcome-писем.

— CSI (customer satisfaction index)

Индекс удовлетворённости клиентов, основанный на оценке качества продукта или сервиса по нескольким критериям.

Что делаем: спрашиваем у клиентов, насколько они довольны по шкале от 1 до 5 — например, скоростью доставки, удобством приложения, программой лояльности. Затем выводим усреднённый балл — скажем, 4,2 из 5.

Для чего: чтобы определить конкретные зоны улучшения продукта или сервиса и отследить динамику удовлетворённости.

— NPS (net promoter score)

Метрика лояльности, основанная на вопросе: «Порекомендовали бы вы наш продукт друзьям?»

Что делаем: просим клиента поставить оценку от 0 до 10. Считаем долю промоутеров (поставили 9–10 баллов) и детракторов (0–6 баллов).

Формула NPS: % промоутеров – % детракторов

Для чего: понять общий уровень лояльности, спрогнозировать удержание и отток. Например, если в сегменте новых пользователей NPS низкий, CRM-команда проверяет welcome-сценарий и коммуникации — возможно, продуктовый опыт или оффер не соответствуют ожиданиям.

Ошибки

Ошибки и сбои в CRM-коммуникациях — это неприятно, но они тоже дают данные. Если правильно на них смотреть, можно извлечь пользу.

Какие могут быть ошибки?

— Сегментационные

Примеры: письмо ушло только на часть базы, перепутали активных клиентов с новичками.

Как можно использовать: сравнить группы получивших и не получивших письмо, затем сравнить поведение после рассылки, оценить, насколько коммуникация на него влияет.

— Технические

Примеры: письмо ушло, но упало в спам из-за фильтров, пуш не доставился на iOS из-за настроек.

Как можно использовать: сравнить группы получивших и не получивших сообщение, затем проанализировать отличия в активности: иногда недоставленные коммуникации подсвечивают «спящих» пользователей или проблемные сегменты.

— Ошибки в механиках и начислениях

Пример: начислили в 2 раза больше бонусов, сценарий сработал дважды.

Как можно использовать: сравнить поведение пользователей с ошибочным начислением и с обычным. Фактически это естественный A/B‑тест: так можно оценить, как изменились Retention, средний чек и частота заказов.

Бенчмарки

Это ориентиры по метрикам (например, средний CTR или CR по каналу, индустрии или компании).

— Внешние бенчмарки

Можно смотреть на открытые данные (например, на средний CTR email по индустрии). Важно: такие цифры усреднённые и нестабильные, у каждого бизнеса своя специфика.

— Внутренние бенчмарки

Можно зафиксировать свои исходные данные. Например, у welcome-пуша средний CTR = 12%. Тогда каждая новая версия оценивается не в вакууме, а в сравнении со своей нормой. Если CTR упал, значит что-то изменилось (время отправки, сегмент, появились конкурирующие компании). 

Зачем нужны бенчмарки — Чтобы понимать, когда механика сработает лучше/хуже обычного. — Чтобы собирать гипотезы. — Чтобы грамотно приоритизировать задачи: сначала чинить то, что просело по средним значениям, а потом оптимизировать успешные сценарии.

Выводы

В условиях стартапа и малого бизнеса классические A/B‑тесты часто недоступны, но это не означает, что оценивать эффективность коммуникаций невозможно. Дерево метрик, когортный анализ, байесовский подход, отслеживание CTR и CR, а также качественные исследования позволяют принимать управленческие решения на основе данных, даже если контрольная группа отсутствует.

Главное — смотреть на тренды, анализировать сегменты, понимать влияние каждой коммуникации и не бояться использовать небольшие «пульсометры», чтобы вовремя реагировать на изменения. Так вы сможете не только поддерживать стабильность показателей, но и находить новые точки роста.