Оптимизация конверсии

A/B-тестирование сайта: гипотеза, расчёт выборки и анализ результата

Главное в A/B-тестировании сайта не настроить инструмент, а убедиться, что результат не случаен. Тесты, остановленные слишком рано, запущенные на недостаточном трафике или совпавшие с неделей распродажи, объявляют «победителя», а внедрённое изменение потом ничего не приносит. Мы проектируем тесты с расчётом трафика и заранее фиксируем длительность и критерий успеха.

Записаться на консультацию Подробнее

Условное изображение: условное изображение двух версий страницы в A/B-тесте.

Назначение и вид

Для чего мы используем эту услугу?

A/B-тесты мы проводим, чтобы доказать, что изменение на сайте действительно увеличивает продажи, ещё до того, как его увидят все посетители. Решения о дизайне или отображении цены опираются на измеренный результат, а изменения, которые снизили бы продажи, отсеиваются на небольшой группе посетителей, не доходя до всего трафика. Каждый результат даёт материал для гипотезы следующего теста.

Этапы воронки

Узнаваемость
Рассмотрение
Конверсия
Лояльность

Размер выборки для A/B-теста: расчёт до старта

Сколько трафика нужно тесту, определяют три величины: текущая конверсия, минимальная разница, которую мы хотим обнаружить, и допустимая погрешность. Например, на странице с конверсией 2 % для того, чтобы увидеть относительный рост на 10 % (с 2 % до 2,2 %) при значимости 95 % и мощности 80 %, нужно примерно 80 тысяч посетителей на каждый вариант.

Этот расчёт нередко меняет сам предмет теста. Если трафика не хватает, вместо мелочей вроде цвета кнопки мы тестируем изменения с заметным эффектом: отображение цены, число шагов оформления заказа, структуру оффера. При необходимости основную метрику переносим на более высокий шаг воронки, например с покупки на начало оформления заказа.

Сколько должен длиться A/B-тест

Длительность рассчитываем из необходимой выборки и всегда округляем до полных недель, потому что посетители в будни и выходные ведут себя по-разному. Мы не смотрим на результаты каждый день и не останавливаем тест, как только появилась значимость: такой подход заметно повышает риск объявить ложного победителя. Учитываем и периоды, характерные для торгового календаря в Турции:

В ноябрьский сезон скидок, на неделе Black Friday и перед религиозными праздниками новые тесты не запускаем
В категориях, где заметен эффект дня зарплаты и начала месяца, планируем тест так, чтобы он охватил как минимум один месячный цикл
Во время теста не меняем рекламные кампании, которые ведут трафик на эту страницу
Если доля посетителей в вариантах отклоняется от плановой (SRM), результат не используем

Инструменты A/B-тестирования после закрытия Google Optimize

Google Optimize закрылся 30 сентября 2023 года, а встроенного инструмента A/B-тестирования в GA4 нет. Сегодня мы работаем с независимыми инструментами вроде VWO, AB Tasty, Optimizely или Convert и передаём информацию о варианте в GA4 как параметр события. Так результат можно читать не только в отчёте инструмента, но и в GA4 и данных о заказах.

Тесты на стороне браузера меняют контент во время загрузки страницы, поэтому могут вызывать кратковременное мерцание, а скрывающий код способен ухудшить скорость загрузки, особенно LCP. Для критичных тестов, например оформления заказа и цены, мы рекомендуем серверное тестирование, при котором вариант выбирается ещё при формировании страницы на сервере. Какую схему выбрать, решаем исходя из доли выручки, которую приносит тестируемая страница.

Какие A/B-тесты запускать первыми

Идеи для тестов приходят из анализа воронки и записей поведения пользователей. Очерёдность определяем по шкале ICE, описанной в разделе экспериментов роста; в тестах на сайте оценку влияния ставим по объёму потерь на шаге, который затрагивает изменение. Тесты на сайте ведём отдельно от рекламных: для тестов креативов и посылов используем собственные инструменты экспериментов платформ и анализ рекламных креативов. Выигравший рекламный посыл часто даёт следующую гипотезу для теста на посадочной странице.

A/B-тестирование: когда мы это рекомендуем?

Как мы ведём A/B-тестирование

ГипотезаОдним предложением формулируем изменение, его причину и ожидаемый эффект.
Расчёт выборкиПо текущей конверсии и целевой разнице рассчитываем нужное число посетителей и длительность.
Настройка и контроль качестваПроверяем варианты на всех устройствах и в браузерах и подтверждаем, что событие варианта доходит до GA4.
Запуск и ожиданиеНе принимаем решений до окончания запланированного срока; проводим только проверку SRM и ошибок.
Анализ и фиксацияЧитаем результат в разрезе устройств и записываем каждый тест, выигрышный или проигрышный, в архив выводов.

A/B-тестирование: метрики и требования

Метрики, которые мы отслеживаем

Первичная конверсия
Выручка на посетителя
Доверительный интервал
Распределение по вариантам (SRM)
Средний чек

Что нужно для старта

Лицензия инструмента A/B-тестирования или поддержка разработчика для серверных тестов
Параметр варианта, заданный в GA4 как пользовательский параметр
Достаточный и стабильный трафик на тестируемую страницу
Решение заморозить изменения страницы и кампаний на время теста

Официальные источники

Команда CRO The Brand Move

Чтобы узнать больше о «A/B-тестирование» и других услугах по оптимизации конверсии, свяжитесь с командой The Brand Move по оптимизации конверсии.

Связаться с нами

Смотрите также

Другие направления: Оптимизация конверсии

Обзор: Оптимизация конверсии

Анализ воронки

Анализ воронки продаж в GA4: на каком шаге, устройстве и в каком канале теряются покупатели и что исправлять в первую очередь.

Подробнее

Тепловые карты и поведение пользователей

Анализ поведения пользователей на сайте: тепловые карты, глубина прокрутки и записи сессий с фильтрами показывают, где и почему посетитель застревает.

Подробнее

Скорость сайта и Core Web Vitals

Ускорение сайта: измеряем LCP, INP и CLS по данным реальных пользователей, находим причины медленной загрузки и приоритизируем исправления.

Подробнее

Связанные страницы

Частые вопросы

A/B-тестирование: частые вопросы

Что такое A/B-тестирование сайта?

Это сравнение двух версий страницы на реальном трафике: часть посетителей видит текущий вариант, часть изменённый, и по заранее выбранной метрике мы проверяем, даёт ли изменение рост. Решение принимается только после запланированного срока и при достаточной выборке.

Сколько посетителей нужно для A/B-теста?

Зависит от текущей конверсии и минимальной разницы, которую нужно обнаружить. Например, на странице с конверсией 2 %, чтобы увидеть рост до 2,2 % при значимости 95 % и мощности 80 %, нужно примерно 80 тысяч посетителей на каждый вариант. Если трафика меньше, тестируем более крупные изменения или переносим метрику на более высокий шаг воронки.

Сколько должен длиться A/B-тест?

Не меньше двух полных недель, со всеми днями недели; точный срок рассчитываем из нужной выборки и округляем до полных недель. В ноябрьский сезон скидок, на неделе Black Friday и перед праздниками новые тесты не запускаем.

Тест показывает победу с достоверностью 90 %. Можно внедрять?

Нет, если запланированная выборка и срок не достигнуты. Промежуточные результаты часто колеблются, и разница, замеченная в рано остановленных тестах, потом обычно сокращается. Когда запланированный срок истекает, мы принимаем решение по заранее заданному порогу и первичной метрике.

Чем заменить Google Optimize?

Google Optimize закрылся 30 сентября 2023 года, а встроенного A/B-тестирования в GA4 нет. Мы работаем с независимыми инструментами вроде VWO, AB Tasty, Optimizely или Convert и передаём вариант в GA4 как параметр события, чтобы результат можно было сверить с заказами. Для оформления заказа и цены рекомендуем серверные тесты.

Что делать, если к концу срока разница незначима?

Мы фиксируем тест как безрезультатный и не продлеваем его в поисках значимости. Безрезультатный тест говорит о том, что при таком трафике две версии неразличимы. В этом случае пишем новую гипотезу с более крупным изменением или переносим основную метрику на более высокий шаг воронки.

Проведём первую оценку направления «A/B-тестирование» вместе.

На бесплатной консультации мы найдём точки потерь в воронке и на посадочных страницах и письменно пришлём три первые идеи для тестов.

Записаться на консультацию Без давления продаж. Только выводы.