A/B‑тестирование: спасение или манипуляция специалиста? Разбираемся от и до
В этой статье зачерпнём верхушку сплит-тестирования: как это работает, что можно затестить и как оценить результат тестов. А ещё обсудим тонкий момент: что делать, если «УСПЕЙТЕ КУПИТЬ СЕГОДНЯ — ЭТО НЕ ОБМАН!» побеждает.
В следующей — ищите инструменты, формулы и метрики. Её можно взять и сразу применять в работе при анализе результатов.
Что такое сплит-тестирование
Те самые А/В и А/В/С‑тесты
Это метод исследования, который применяют в маркетинге для оценки эффективности страниц сайта.
В ходе работы вы выдвигаете гипотезу и анализируете действия клиентов: проверяете, какая из них сработает лучше и даст более конверсионный результат. После сравнения метрик вы можете понять, какие элементы сайта улучшают показатели.
А попроще можно?
Можно.
Вы готовите оладушки: сегодня они поднялись, завтра нет, послезавтра снова пухленькие. Чтобы понять, какой рецепт круче, вы замешиваете две порции одинакового теста, но в каждое добавляете разные порции разрыхлителя (ну или что там за пышность отвечает?).
Ваша гипотеза: 1,5 ч. л. разрыхлителя работает круче, чем 1 ч. л.
И вот, первый рецепт даёт потрясающие блюдо, а второй — ну такое.
Вывод: 1,5 ч. л. разрыхлителя делают оладушки пухлыми. Будем готовить так.
А/В/С: что за алфавит
Буквы показывают количество гипотез, которые вы выдвигаете и потом тестируете «в поле». А/В — если решили сравнить два варианта, А/В/С — если три. Вариантов может быть больше: в таком случае и букв тоже будет больше.
Зачем проводить сплит-тестирование
С примером снова будет проще. Вы решили оказывать услуги по уборке помещений. Запустили сайт, заказы пошли в гору. Чтобы не общаться со всеми лично, оставили на посадочной странице форму заявки для заполнения.
Заявка получилась длинной — 8 полей. Вы понимаете, что её можно адаптировать и сделать короче — тогда больше людей будут доходить до кнопки «Оформить заказ».
В данном случае сплит-тест — инструмент, который поможет с помощью эксперимента выявить самую эффективную форму заявки на сайте.
Выдвигаете предположение: количество лидов при короткой форме заявки (вариант А) будет на 10% больше, чем при длинной (вариант В). Тестируете оба и смотрите, где показатели будут лучше.
Оценка результативности — не единственный вариант оценки тестирования. На гипотезы можно смотреть абсолютно с разных ракурсов: к примеру, с точки зрения затрат на разработку.
Со сплит-тестированием вы можете:
- узнать, как отдельные компоненты влияют на поведение клиентов;
- направить ресурсы (финансовые и трудовые) на элементы, которые приносят лучшие результаты;
- исключить решения, которые не приносят положительных результатов;
- улучшить конверсию и экономические метрики (выручки, среднего чека и т. д.).
Какие элементы можно тестировать
От поставленной цели зависит выбор тестируемых элементов, и наоборот. А вообще, тестить на странице сайта можно что угодно: главное — понимать что и зачем.
? Главное, не забывайте: один параметр — один тест. То есть у вас должно быть два одинаковых макета (рассылки, формы заявки, пуша), но тестируемый элемент на них будет отличаться.
Заголовки, подзаголовки
Что лучше работает: «скидка 100%» или «бесплатно».
Тексты, описания продуктов
Создавайте креативные и более официальные варианты с одинаковыми офферами.
Количество контента на странице
Лаконичность страницы быстрее приведёт к целевому действию или нет.
Изображения и картинки
Согласно исследованиям, люди лучше всего реагируют на изображения других людей, животных, графику и качественную презентацию товара. Используйте разные решения и выявляйте, какие больше нравятся вашей аудитории.
Внешний вид и текст СТА-кнопок
[В корзину] или [Купить со скидкой]
Цены, акции, условия доставки и другие бизнес-компоненты
Акция сработает лучше, если дать промокод в рассылке сразу или при переходе на сайт компании?
Аудитория
Предлагайте одну версию разным возрастным группам и смотрите на их реакцию.
Можно ли протестировать сразу несколько параметров
Сразу всё не получится — надо поэтапно. Сначала выдвигаете тезис о короткой форме заполнения, определяете лучшие показатели, а затем меняете СТА-кнопку в уже победившей странице сайте и запускаете снова. Так, пока не протестируете всё, то хотели.
Но если аудитория большая, её стоит разбить сразу на несколько сегментов и параллельно проверять разные версии.
Пример: пять баз по возрастам, на каждую — по три версии текста в описании услуги. Каждой из пяти баз предлагаете по три версии, смотрите на финальные данные. Механика та же, просто посев больше.
Как это работает
Механизм прост: выдвигаете гипотезы, определяете, что хотите увидеть по итогу в реальных цифрах, и начинаете тестить. Сегментируете клиентов на базы: причём не обязательно, чтобы они были 50/50. Есть и другие соотношения: 60/40, 80/20 и другие.
? Важное
— Исключить возможность показа обоих вариантов. Вы должны сделать так, чтобы один и тот же клиент не мог видеть два тестируемых элемента в одно время. Иначе показатели теста будут неточными.
— Задействовать все каналы трафика: социальные сети, поисковики, рекламу и email-рассылки.
— Делать замеры по тестам нужно в одно время, чтобы добиться более точных данных.
— Если есть возможность, нужно приостановить работу внутренних факторов: операторов call-центра, сервисной службы и других.
Как начать тест
Если тестируете первый раз, рекомендуем следовать пошаговой инструкции ниже. Так вы наделаете меньше ошибок и сразу получите лучший результат.
Инструкция, как провести a/b или a/b/c сплит-тестирование:
- Определитесь с целью и показателями, которые хотите улучшить.
- Проведите исследование аудитории. Узнайте, какие действия совершают клиенты на вашем сайте чаще всего. Google Analytics вам в помощь.
- Сформируйте чёткую гипотезу. Или гипотезы, если их несколько.
- Расставьте их по приоритетности. Самые важные — вперёд и с большей базой, менее важные — назад.
- Рассчитайте размер выборки. Тут используйте либо формулы, либо специальные сервисы.
- Проведите сплит-тестирование.
- Соберите и проанализируйте получившиеся данные. Если показатели улучшились — ваш тезис верный. Если изменения не существенные — возвращайтесь к формулировкам и пробуйте новые решения. И так, пока не выявите «то самое» идеальное решение.
Как оценить результаты
По показателям: CTR, CPC и CPA. Рассмотрим каждый из них подробнее.
CTR — коэффициент кликабельности, в процентах. Рассчитывается по формуле: CTR = количество кликов / количество показов х 100%.
CPC — стоимость клика (если настраиваем рекламу). Рассчитывается по формуле: CPC = стоимость рекламы / количество кликов.
CPA — цена за целевое действие. Тут вы сами выбираете, что это за действие: покупка, переход на другую страницу сайта, заполнение формы и т. д. Рассчитывается по формуле: CPA = стоимость рекламы / количество целевых действий.
Для более точной оценки рекомендуем брать за основу целевое действие, которое легко отследить. Самый удобный вариант — кликабельность кнопок, заполнение форм и заявок.
Немного про этику
Что делать, если на тестах легендарное закрытие магазинов работает, а на деле — раздражает и отталкивает всех.
Знаете, скримеры работают на всех: даже если вам не страшно, вы всё равно вздрогнете. Но это совсем не значит, что вы включите ужастик снова.
Если эпатажный вариант побеждает в сплит-тестировании, но бьёт по репутации бренда, лучше хорошо подготовиться. Сделайте презентацию и докажите, что адекватная коммуникация «вдолгую» покажет лучшую выручку и конверсию, чем моментальные выручки распродажи.
Понимаем, переубедить клиентов бывает сложно: закрытие квартала на носу, нужны цифры, а не вот это вот всё. Но когда-то будет и закрытие года, которое, если вести грамотную коммуникацию с покупателями, покажет себя отлично ?
Что ждёт вас в следующей статье
С базой познакомились, а в следующем материале расскажем:
- Какие инструменты использовать для оценки результатов сплит-тестирования.
- Бенчмарки показателей на 2022–2023 год.
- «Ничего себе» примеры, которые переворачивают популярные гипотезы.
- Алгоритм отчёта после проведения теста.