A/B‑тестирование: спасение или манипуляция специалиста? Разбираемся от и до

В этой статье зачерпнём верхушку сплит-тестирования: как это работает, что можно затестить и как оценить результат тестов. А ещё обсудим тонкий момент: что делать, если «УСПЕЙТЕ КУПИТЬ СЕГОДНЯ — ЭТО НЕ ОБМАН!» побеждает.

В следующей — ищите инструменты, формулы и метрики. Её можно взять и сразу применять в работе при анализе результатов.

Что такое сплит-тестирование

Те самые А/В и А/В/С‑тесты

Это метод исследования, который применяют в маркетинге для оценки эффективности страниц сайта.

В ходе работы вы выдвигаете гипотезу и анализируете действия клиентов: проверяете, какая из них сработает лучше и даст более конверсионный результат. После сравнения метрик вы можете понять, какие элементы сайта улучшают показатели.

А попроще можно?

Можно.

Вы готовите оладушки: сегодня они поднялись, завтра нет, послезавтра снова пухленькие. Чтобы понять, какой рецепт круче, вы замешиваете две порции одинакового теста, но в каждое добавляете разные порции разрыхлителя (ну или что там за пышность отвечает?). 

Ваша гипотеза: 1,5 ч. л. разрыхлителя работает круче, чем 1 ч. л.

И вот, первый рецепт даёт потрясающие блюдо, а второй — ну такое. 

Вывод: 1,5 ч. л. разрыхлителя делают оладушки пухлыми. Будем готовить так.

А/В/С: что за алфавит

Буквы показывают количество гипотез, которые вы выдвигаете и потом тестируете «в поле». А/В — если решили сравнить два варианта, А/В/С — если три. Вариантов может быть больше: в таком случае и букв тоже будет больше.

Зачем проводить сплит-тестирование

С примером снова будет проще. Вы решили оказывать услуги по уборке помещений. Запустили сайт, заказы пошли в гору. Чтобы не общаться со всеми лично, оставили на посадочной странице форму заявки для заполнения.

Заявка получилась длинной — 8 полей. Вы понимаете, что её можно адаптировать и сделать короче — тогда больше людей будут доходить до кнопки «Оформить заказ». 

В данном случае сплит-тест — инструмент, который поможет с помощью эксперимента выявить самую эффективную форму заявки на сайте. 

Выдвигаете предположение: количество лидов при короткой форме заявки (вариант А) будет на 10% больше, чем при длинной (вариант В). Тестируете оба и смотрите, где показатели будут лучше.

Со сплит-тестированием вы можете:

• узнать, как отдельные компоненты влияют на поведение клиентов;
• направить ресурсы (финансовые и трудовые) на элементы, которые приносят лучшие результаты;
• исключить решения, которые не приносят положительных результатов;
• улучшить конверсию и экономические метрики (выручки, среднего чека и т. д.).

Какие элементы можно тестировать

От поставленной цели зависит выбор тестируемых элементов, и наоборот. А вообще, тестить на странице сайта можно что угодно: главное — понимать что и зачем. 

💡 Главное, не забывайте: один параметр — один тест. То есть у вас должно быть два одинаковых макета (рассылки, формы заявки, пуша), но тестируемый элемент на них будет отличаться.

Заголовки, подзаголовки

Что лучше работает: «скидка 100%» или «бесплатно».

Тексты, описания продуктов

Создавайте креативные и более официальные варианты с одинаковыми офферами.

Количество контента на странице

Лаконичность страницы быстрее приведёт к целевому действию или нет.

Изображения и картинки

Согласно исследованиям, люди лучше всего реагируют на изображения других людей, животных, графику и качественную презентацию товара. Используйте разные решения и выявляйте, какие больше нравятся вашей аудитории. 

Внешний вид и текст СТА-кнопок

[В корзину] или [Купить со скидкой]

Цены, акции, условия доставки и другие бизнес-компоненты

Акция сработает лучше, если дать промокод в рассылке сразу или при переходе на сайт компании?

Аудитория

Предлагайте одну версию разным возрастным группам и смотрите на их реакцию.

Можно ли протестировать сразу несколько параметров

Сразу всё не получится — надо поэтапно. Сначала выдвигаете тезис о короткой форме заполнения, определяете лучшие показатели, а затем меняете СТА-кнопку в уже победившей странице сайте и запускаете снова. Так, пока не протестируете всё, то хотели.

Но если аудитория большая, её стоит разбить сразу на несколько сегментов и параллельно проверять разные версии. 

Пример: пять баз по возрастам, на каждую — по три версии текста в описании услуги. Каждой из пяти баз предлагаете по три версии, смотрите на финальные данные. Механика та же, просто посев больше.

Как это работает

Механизм прост: выдвигаете гипотезы, определяете, что хотите увидеть по итогу в реальных цифрах, и начинаете тестить. Сегментируете клиентов на базы: причём не обязательно, чтобы они были 50/50. Есть и другие соотношения: 60/40, 80/20 и другие.

💡 Важное

— Исключить возможность показа обоих вариантов. Вы должны сделать так, чтобы один и тот же клиент не мог видеть два тестируемых элемента в одно время. Иначе показатели теста будут неточными.
— Задействовать все каналы трафика: социальные сети, поисковики, рекламу и email-рассылки.

— Делать замеры по тестам нужно в одно время, чтобы добиться более точных данных.
— Если есть возможность, нужно приостановить работу внутренних факторов: операторов call-центра, сервисной службы и других.

Как начать тест

Если тестируете первый раз, рекомендуем следовать пошаговой инструкции ниже. Так вы наделаете меньше ошибок и сразу получите лучший результат.

Инструкция, как провести a/b или a/b/c сплит-тестирование:

1. Определитесь с целью и показателями, которые хотите улучшить.
2. Проведите исследование аудитории. Узнайте, какие действия совершают клиенты на вашем сайте чаще всего. Google Analytics вам в помощь.
3. Сформируйте чёткую гипотезу. Или гипотезы, если их несколько.
4. Расставьте их по приоритетности. Самые важные — вперёд и с большей базой, менее важные — назад.
5. Рассчитайте размер выборки. Тут используйте либо формулы, либо специальные сервисы.
6. Проведите сплит-тестирование.
7. Соберите и проанализируйте получившиеся данные. Если показатели улучшились — ваш тезис верный. Если изменения не существенные — возвращайтесь к формулировкам и пробуйте новые решения. И так, пока не выявите «то самое» идеальное решение.

Как оценить результаты

По показателям: CTR, CPC и CPA. Рассмотрим каждый из них подробнее.

CTR — коэффициент кликабельности, в процентах. Рассчитывается по формуле: CTR = количество кликов / количество показов х 100%.

CPC — стоимость клика (если настраиваем рекламу). Рассчитывается по формуле: CPC = стоимость рекламы / количество кликов.

CPA — цена за целевое действие. Тут вы сами выбираете, что это за действие: покупка, переход на другую страницу сайта, заполнение формы и т. д. Рассчитывается по формуле: CPA = стоимость рекламы / количество целевых действий.

Для более точной оценки рекомендуем брать за основу целевое действие, которое легко отследить. Самый удобный вариант — кликабельность кнопок, заполнение форм и заявок.

Немного про этику

Что делать, если на тестах легендарное закрытие магазинов работает, а на деле — раздражает и отталкивает всех.

Знаете, скримеры работают на всех: даже если вам не страшно, вы всё равно вздрогнете. Но это совсем не значит, что вы включите ужастик снова.

Если эпатажный вариант побеждает в сплит-тестировании, но бьёт по репутации бренда, лучше хорошо подготовиться. Сделайте презентацию и докажите, что адекватная коммуникация «вдолгую» покажет лучшую выручку и конверсию, чем моментальные выручки распродажи. 

Понимаем, переубедить клиентов бывает сложно: закрытие квартала на носу, нужны цифры, а не вот это вот всё. Но когда-то будет и закрытие года, которое, если вести грамотную коммуникацию с покупателями, покажет себя отлично 😉

Что ждёт вас в следующей статье

С базой познакомились, а в следующем материале расскажем:

• Какие инструменты использовать для оценки результатов сплит-тестирования.
• Бенчмарки показателей на 2022–2023 год.
• «Ничего себе» примеры, которые переворачивают популярные гипотезы.
• Алгоритм отчёта после проведения теста.