A/B-тест на сайте: когда он имеет смысл, как провести и почему маленьким сайтам он часто врёт

Короткий ответ: A/B-тест — это способ проверить, какой из двух вариантов страницы приносит больше заявок, на реальных посетителях и со статистикой, а не по ощущениям. Он имеет смысл, когда за один-два месяца на страницу приходят от нескольких тысяч посетителей, набираются сотни заявок и вы проверяете крупное изменение: тогда разницу можно отличить от случайности. Сайту услуг с 1 500 посетителями и 20 заявками в месяц честный тест почти недоступен — такому сайту дешевле и точнее разобрать записи сессий, поговорить с клиентами и протестировать страницу на пяти людях.

Ниже — как устроен тест, сколько нужно трафика (с модельным расчётом), что проверять на сайте услуг, как запустить эксперимент в Яндекс Метрике и какие ошибки чаще всего превращают «победу» в шум. Если нужно найти, где сайт теряет заявки, — начните со статьи почему сайт не приносит заявки: тест проверяет гипотезу, но не придумывает её.

Что такое A/B-тест простыми словами?

Посетителей случайно делят на две группы: группа A видит текущую страницу, группа B — изменённую. Остальное одинаково: реклама, сезон, цены, менеджеры. Через заранее рассчитанный срок сравнивают долю заявок и проверяют, не объясняется ли разница случайностью.

Три слова, которые важно понимать до запуска:

• Конверсия — доля посетителей, которые сделали целевое действие: отправили форму, нажали на телефон, написали в мессенджер. Без настроенных целей тест мерить нечем — как их поставить, разобрано в статье о целях Метрики для заявок.
• Статистическая значимость — насколько маловероятно получить такую разницу, если на самом деле варианты равны. Обычный порог — 5 %: в справке Вариокуба он используется по умолчанию.
• Минимальный заметный эффект (MDE) — самое маленькое изменение, которое тест способен поймать при вашем трафике. Если тест ничего не показал, это не значит «разницы нет». Скорее всего, это значит «разница не больше MDE» — так о принятии нулевой гипотезы сказано и в справке Вариокуба.

Сплит-тест лендинга — то же самое, только варианты часто живут на разных адресах, и посетителей распределяет редирект. A/B/n — когда вариантов больше двух; трафика тогда нужно пропорционально больше.

Сколько трафика нужно, чтобы тесту можно было верить?

Чем ниже конверсия и чем меньше эффект, который хотите заметить, тем больше посетителей нужно. При конверсии 2 % поймать рост до 2,5 % удастся примерно на 27 600 посетителях обоих вариантов и около 620 заявках. Мелкий рост на 10 % требует уже больше 160 000 посетителей.

Цифры в таблице ниже — модельный расчёт по стандартной формуле для двух долей, а не данные конкретного сайта. Он показывает порядок величин. Ваши значения подставляйте в калькулятор выборок перед запуском — в Вариокубе он есть на шаге настройки эксперимента.

Как читать таблицу на примере. Сайт получает 3 000 посетителей в месяц на страницу услуги и 60 заявок. Чтобы заметить рост с 2 до 2,5 %, тест должен идти около девяти месяцев. За это время сменятся сезон, реклама, цены и половина текстов — сравнивать будет уже нечего. Рост с 2 до 3 % такой сайт проверит месяца за два с половиной, но такие скачки дают только крупные изменения: новый оффер, другая форма, другая цена, а не цвет кнопки.

Какой рост хотим заметить	Посетителей на вариант	Всего посетителей в тесте	Заявок за тест, примерно
С 2 % до 3 % (+50 %)	около 3 800	около 7 600	около 190
С 2 % до 2,5 % (+25 %)	около 13 800	около 27 600	около 620
С 2 % до 2,2 % (+10 %)	около 80 700	около 161 400	около 3 400
С 5 % до 6,25 % (+25 %)	около 5 300	около 10 700	около 600

Почему маленьким сайтам A/B-тест часто врёт?

Потому что при десятках заявок случайный разброс больше эффекта, который вы ищете. При 20 заявках на вариант три случайные заявки — это разница в 15 %, и отчёт уже показывает «победителя». Если остановить тест в этот момент, вы внедрите случайность.

Типичная картина на малом трафике выглядит так:

• Подглядывание. Владелец открывает отчёт каждый день и выключает тест, как только вариант B «выиграл». В классическом тесте с заранее заданной выборкой частые проверки и остановка на первом удачном моменте поднимают вероятность ложной победы заметно выше заявленных 5 %.
• Одна крупная сделка. Выручка на малом числе заявок держится на одном-двух клиентах: один крупный договор в группе B перевесит всё остальное. Поэтому по выручке малый тест не судят — сравнивают заявки, а качество сверяют с CRM.
• Эффект новизны. Посетители, которые заходят не впервые, нередко реагируют на любое изменение, и первые дни новый вариант выглядит живее. Иногда через пару недель разница сходит на нет.
• Неравные группы. Если варианты распределяются по устройствам, источникам или времени суток неслучайно, вы сравниваете аудитории, а не страницы.

Отсюда правило: если честный тест не помещается в один-два месяца, A/B-тест на этой странице не делаем. Это не стыдно: у многих сайтов малого бизнеса трафика на тест просто нет.

Что тестировать на сайте услуг?

Крупные вещи, которые меняют решение посетителя: оффер первого экрана, длину формы, показ цены «от», призыв к действию, место блока с кейсами. Мелочи вроде цвета кнопки на трафике сайта услуг обычно не дают измеримой разницы.

Хорошая гипотеза записывается одной фразой: «Если заменить X на Y, то конверсия в отправку формы вырастет, потому что Z». Пример: «Если в заголовке написать срок и цену „от“ вместо „15 лет на рынке“, заявок станет больше, потому что в Вебвизоре видно, как люди ищут цену и уходят». Причина «потому что» берётся из данных — записей сессий, звонков, вопросов менеджерам, — а не из чужого кейса.

Меняйте одну вещь за раз. Если в варианте B новые заголовок, форма и фото, а заявок стало больше, вы не узнаете, что сработало, и при следующей правке можете убрать именно это.

Какие элементы обычно стоит проверять и по какой метрике судить — в таблице ниже. Про сам состав первого экрана есть отдельный разбор — что разместить на первом экране.

Что меняем	Пример гипотезы	Основная метрика	На что ещё смотреть
Оффер первого экрана	Заголовок про срок вместо заголовка про опыт	Отправка формы	Глубина просмотра, отказы
Форма заявки	Два поля вместо пяти	Отправка формы	Доля пустых и мусорных заявок в CRM
Цена «от» на странице	Показать цену «от» против «рассчитаем стоимость»	Отправка формы	Доля заявок, дошедших до договора
Призыв к действию	«Рассчитать стоимость» против «Оставить заявку»	Клик по кнопке и отправка формы	Звонки и сообщения в мессенджер
Доказательства	Блок с кейсом выше блока «О компании»	Отправка формы	Переходы на страницы кейсов

Как провести тест по шагам?

Сначала гипотеза и расчёт выборки, потом подготовка варианта, проверка целей и запуск на весь заранее рассчитанный срок. Решение принимаете один раз — в конце, по основной метрике, выбранной до запуска.

1. Проверьте цели. Отправка формы, клик по телефону и мессенджеру должны считаться в Метрике и совпадать с тем, что приходит в почту или CRM. Тест на сломанной цели бесполезен.
2. Запишите гипотезу и основную метрику. Одна главная метрика — например, отправка формы. Остальные — дополнительные, по ним не «выбирают победителя».
3. Посчитайте выборку и срок. Подставьте текущую конверсию и эффект, который для вас имеет смысл. Если срок выходит больше двух месяцев — остановитесь на этом шаге.
4. Сделайте вариант B. Простые правки текста можно сделать визуальным редактором. Новую форму или другую структуру страницы надёжнее собрать в коде и включать флагом или редиректом.
5. Проверьте оба варианта на телефоне и компьютере: форма отправляется, заявка доходит, цель срабатывает, страница не «мигает» старой версией при загрузке.
6. Запустите и не трогайте. На время теста не меняйте рекламу, цены и тексты на этой странице. Отчёт смотрите только на исправность, а не на победителя.
7. Подведите итог по полным дням и сверьте с CRM: сколько заявок из каждого варианта дошло до встречи или договора.
8. Внедрите победителя и уберите код теста. Тестовые страницы, скрипты и флаги после эксперимента — лишний вес и риск ошибок.

Какие инструменты подойдут?

Если сайт уже считается в Яндекс Метрике, самый короткий путь — Вариокуб, сервис экспериментов внутри Метрики. Для правки текста подходит визуальный редактор, для готовой страницы — редирект, для новой логики — флаги.

Флаги нужны, когда меняется не только текст, например форма: разработчик пишет код новой версии, и сайт по значению флага показывает старую или новую логику.

Что о Вариокубе сказано в справке Яндекса:

• эксперимент создаётся из кабинета Метрики, раздел «Вариокуб → Эксперименты»; счётчик Метрики должен стоять на сайте заранее;
• типы эксперимента — визуальный редактор, редирект, флаги, рекламные блоки и виджеты;
• в тест можно включить от 1 до 100 % аудитории, период показа — от 1 до 90 дней, по умолчанию трафик делится между вариантами поровну;
• на шаге настройки есть калькулятор выборок и проверка, что изменения применились и отображаются корректно; основная метрика задаётся отдельно от дополнительных;
• в отчёте используется порог значимости 0,05 и показывается MDE, а фильтр «Только полные дни» убирает день запуска и остановки.

У сервиса есть базовая версия и платные тарифы («Персонализации+», «Стандартный», «Расширенный»); часть настроек — например, динамическое перераспределение трафика между вариантами — доступна только на платных. Условия смотрите в справке на дату запуска.

Google Оптимизацию в планах не учитывайте: по справке Google, сервис прекратил работу 30 сентября 2023 года, и старые инструкции с ним устарели.

Сколько должен идти тест?

Ровно столько, сколько требует рассчитанная заранее выборка, и всегда целыми неделями: минимум одна полная неделя, на сайтах услуг разумнее две. Заявки в понедельник и в субботу ведут себя по-разному, и тест, оборванный в среду, сравнивает разные дни.

Что ещё учитывать при выборе срока:

• Сезонность. Не запускайте тест через праздники, распродажи и начало сезона: поведение в эти дни нетипично, а вывод применят к обычным месяцам.
• Цикл сделки. Если клиент думает неделю и возвращается, короткий тест засчитает его визит, но не заявку.
• Верхняя граница. Не растягивайте тест без нужды: слишком долгий эксперимент плох и для поиска — подробности в разделе об ошибках.

Какие ошибки ломают вывод?

Чаще всего тест ломают раннее выключение, несколько изменений сразу, запуск в нетипичный сезон, смена рекламы посреди эксперимента и сломанные цели. Каждая из этих ошибок даёт уверенную цифру, за которой ничего не стоит.

• Выключили при первом зелёном цвете. Решение принимается по окончании рассчитанного срока, не раньше.
• Поменяли всё сразу. Новый дизайн против старого — это проверка редизайна, а не элементов. Её можно провести, но выводы о «том, что сработало», делать нельзя.
• Посреди теста поменяли рекламу. Пришла другая аудитория, и сравнение начинается заново.
• Считают только количество заявок. Вариант с меньшим числом полей может нагнать спам и пустые обращения. Сверяйте с CRM.
• Страница «мигает». Если вариант B подменяется скриптом или редиректом, посетитель может на мгновение увидеть исходную страницу. В справке Вариокуба для редиректа описан «антифликер», который скрывает содержимое до перенаправления, — попросите разработчика его включить. Иначе мерцание портит результат варианта B.
• Забыли про поиск. По рекомендациям Google: не показывать роботу отдельную версию, ставить rel="canonical" на тестовых адресах, при своём редиректе использовать временный 302, а не 301, не держать эксперимент дольше необходимого и после теста убрать тестовые страницы и скрипты. Google предупреждает: слишком долгий эксперимент может быть расценён как попытка обмануть поисковые системы, особенно если большая часть аудитории видит один вариант.
• Подогнали вывод. «По основной метрике разницы нет, зато по глубине просмотра B впереди» — так находят победителя в любом тесте: среди многих метрик и срезов какая-нибудь «выиграет» случайно.

Что делать, если трафика мало?

Искать проблемы качественными методами и вносить правки без эксперимента: записи сессий, разговоры с клиентами и менеджерами, юзабилити-тест на пяти людях. Эти методы не дают процентов, но быстро показывают, где люди застревают.

• Вебвизор и карты. Пересмотрите 30–50 записей визитов с рекламы на страницу услуги: где человек остановился, что пытался нажать, на каком поле формы бросил.
• Вопросы менеджерам. Что клиенты спрашивают первым делом по телефону? Если все спрашивают цену и срок, а на странице их нет — это гипотеза, которую не обязательно проверять тестом.
• Короткий опрос. Один вопрос после отправки формы: «Чего не хватило на странице, чтобы решиться быстрее?» Или пять звонков клиентам, которые уже купили.
• Юзабилити-тест на пяти людях. Дайте задание — «найдите, сколько стоит услуга, и оставьте заявку» — и молча смотрите. По оценке Nielsen Norman Group, пять похожих друг на друга участников выявляют около 85 % проблем интерфейса; если у вас заметно разные аудитории, тестируйте каждую отдельно.
• Сравнение «до и после». Внесли правку — сравните заявки и их качество за равные периоды без изменений рекламы. Это слабее A/B-теста: на результат влияют сезон и рынок, поэтому записывайте даты правок.

Когда A/B-тест не нужен?

Когда трафика не хватает на вывод за один-два месяца, когда правка очевидна (сломанная форма, нет телефона, нет цены), когда страница вот-вот будет полностью переделана и когда решение всё равно примут по другим причинам — юридическим, бренду или себестоимости.

• Ошибки не тестируют, а исправляют. Форма не отправляется с телефона — это не гипотеза.
• Обязательные элементы не тестируют. Согласие на обработку данных у формы, ссылка на политику, реквизиты остаются в обоих вариантах: это не гипотеза для проверки.
• Старый сайт. Если сайт медленный, не адаптирован под телефон и выглядит устаревшим, тест «заголовок против заголовка» мало что даст. Сначала решите, хватит ли редизайна или нужен новый сайт, — об этом статья редизайн или новый сайт.
• Нет ресурса довести тест. Недоведённый эксперимент хуже, чем отсутствие эксперимента: он даёт уверенность без оснований.

Сколько стоит A/B-тест и кто его делает?

Сам Вариокуб встроен в Метрику и имеет базовую версию; основная работа — подготовить вариант B, проверить цели и не сломать сайт. Небольшую правку текста можно сделать самому в визуальном редакторе; новую форму, другую структуру страницы или тип «Флаги» делает разработчик.

В нашем прайсе отдельного тарифа «A/B-тест» нет — работу считаем после брифа. Ориентиры по прайсу:

• Подготовка вариантов и правки на работающем сайте — доработки в рамках поддержки и развития: от 7 900 ₽ в месяц по абонентке или разово по задаче; состав и цену называем после брифа.
• Вариант B как отдельная страница с новым дизайном для сплит-теста — ориентир по тарифу «Лендинг»: от 24 000 ₽, 2 дня.
• Обновление вида страниц перед тестами, если сайт устарел, — редизайн от 29 000 ₽, 2–3 дня: платформа и адреса страниц остаются прежними.

Цену и срок фиксируем в договоре до старта, оплата 50/50. Результат теста заранее не обещаем: он может показать, что новый вариант ничем не отличается, — это тоже ответ, и он экономит деньги на правки, которые не работают.

Короткие ответы на частые вопросы

Что такое A/B-тест простыми словами?

Это эксперимент, в котором посетителей случайно делят на группы: одна видит текущую страницу, другая — изменённую. Через заранее рассчитанный срок сравнивают долю заявок и проверяют статистикой, не случайна ли разница.

Сколько посетителей нужно для A/B-теста?

Зависит от исходной конверсии и того, какой эффект хотите заметить. В модельном примере с конверсией 2 % для уверенного вывода о росте до 2,5 % нужно около 27 600 посетителей на оба варианта и около 620 заявок. Точнее — калькулятором выборок перед запуском.

Можно ли провести A/B-тест в Яндекс Метрике?

Да, через встроенный в Метрику сервис Вариокуб: визуальный редактор, редирект на другую страницу или флаги в коде. Перед началом на сайт нужно установить счётчик Метрики; часть настроек доступна только на платных тарифах.

Сколько должен длиться A/B-тест?

Столько, сколько нужно для рассчитанной заранее выборки, и не меньше одной-двух полных недель, чтобы учесть будни и выходные. В Вариокубе период показа задаётся от 1 до 90 дней.

Навредит ли A/B-тест позициям сайта в поиске?

Google допускает такие тесты, если не показывать поисковому роботу отдельную версию, поставить на тестовые адреса rel="canonical" на основную страницу, использовать временный редирект (302), не затягивать эксперимент и убрать лишний код и страницы после теста.

Что делать, если трафика мало для A/B-теста?

Смотреть записи сессий в Вебвизоре, спрашивать клиентов и менеджеров по продажам, проводить юзабилити-тест на пяти людях и вносить очевидные правки без эксперимента, сравнивая заявки и их качество по периодам.

Услуги и кейсы по теме: редизайн сайта · поддержка сайта от 7 900 ₽/мес · цены и сроки