Phone icon Связаться с нами

Данные и аналитика

Что такое A/B-тестирование?

A/B-тестирование (сплит-тестирование) — это эксперимент, в котором пользователей случайно делят на две или больше групп и показывают каждой свою версию страницы, кнопки, письма или функции. Затем сравнивают результаты и определяют, какая версия лучше влияет на выбранный показатель.

Группа A видит текущую версию (контрольная группа), группа B — изменённую. Всё остальное для них одинаково, поэтому разницу в поведении можно объяснить именно изменением. Так решения принимают на основе данных, а не вкуса или мнения самого старшего в комнате.

Главное в A/B-тесте — статистика. Небольшая разница на малом количестве пользователей может быть случайной. Поэтому заранее определяют показатель, нужный размер выборки и длительность теста, а результат проверяют на статистическую значимость.

Где применяется

A/B-тесты проводят интернет-магазины, мобильные приложения, SaaS-продукты и маркетологи: проверяют заголовки, цены, дизайн кнопок, порядок шагов оформления заказа, тексты рассылок, новые функции. Крупные продукты одновременно запускают десятки экспериментов.

Аналитик данных в таких тестах формулирует гипотезу вместе с продуктовой командой, рассчитывает размер выборки, следит за корректностью распределения пользователей и делает вывод. Знание основ статистики и SQL для выгрузки результатов — обязательная часть этой работы.

Пример

Интернет-магазин хочет проверить, увеличит ли кнопка «Купить в один клик» количество заказов. Половина посетителей видит обычную кнопку, половина — новую. Через две недели в группе B конверсия выше на 0,4 процентного пункта, и статистический тест показывает, что это не случайность. Новую кнопку включают для всех.

Ошибки, которые портят A/B-тест

Самые распространённые: остановить тест, как только появилась приятная разница; изменить несколько вещей одновременно и не знать, что сработало; провести тест на слишком малом количестве пользователей; сравнивать группы, в которые люди попали не случайно. Каждая из этих ошибок может дать уверенный, но ложный вывод.

Частые вопросы

Сколько должен длиться A/B-тест?

Столько, сколько нужно, чтобы набрать заранее рассчитанное количество пользователей, и не меньше одной-двух полных недель. Так учитываются разница между буднями и выходными и другие колебания. Останавливать тест раньше из-за хорошего промежуточного результата нельзя.

Что такое статистическая значимость?

Это оценка того, насколько вероятно, что разница между группами возникла случайно. Обычно результат считают значимым, если такая вероятность меньше 5%. Значимость не означает, что эффект большой, — лишь то, что он, скорее всего, настоящий.

Какие инструменты используют для A/B-тестов?

Специализированные платформы вроде Optimizely, VWO, GrowthBook или собственные системы внутри продукта. Результаты часто анализируют отдельно — SQL-запросами к базе и расчётами в Python или таблицах, чтобы проверить выводы платформы.

Можно ли тестировать несколько изменений одновременно?

Можно, но это уже мультивариантное тестирование, и для него нужно гораздо больше пользователей. Если трафика немного, лучше проверять одно изменение за раз: так понятно, что именно повлияло на результат.

Обучение аналитике данных в OWU

Освойте профессию аналитика данных на практических курсах с менторами и реальными проектами.

Выбрать курс