A/B-тестирование: как правильно

Кирик Наталья
Кирик Наталья
Ти прочитаєш це за 4 хвилин(и)

Наталья Кирик, руководитель контент-студии WordFactory

За 7 лет работы контент-студии WordFactory я так и не научилась не обращать внимания на надписи “экспрессо” у входа в кофейню и спокойно реагировать на фразы типа “Получила ваш текст, дала почитать девочкам, они сказали, что он какой-то не продающий”. Обычно в этот момент я делаю глубокий вдох, захлопываю крышку ноутбука, иду на полчаса подышать свежим воздухом и выпить чашечку кофе. Но теперь просто буду давать ссылку на авторитетную  статью, в которой речь пойдет о единственном способе убедиться, “продающий” текст или нет, — проверить его эффективность на практике, в частности, правильно сделать A/B-тестирование. Разобраться в вопросе нам помогут эксперты:

Сергей Гудков, специалист по разработке и продвижению сайтов (более 160 сайтов и 250 сплит-тестов), руководитель Сonversion42  

Андрей Осипов, сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»

Мы часто получаем запросы на тексты для А/В-тестирования. Для каких целей есть смысл его проводить?

А/В-тест можно проводить практически для любых изменений на сайте. Ведь тест – это возможность достоверно узнать, насколько они эффективны.

Если у вас страница с описанием услуги, то основной продающий контент – это именно текст. Посетители на основании текста принимают решение оставить заявку или нет. В данном случае текст является основным объектом тестирования:

  • какие характеристики указывать в тексте, а какие нет;
  • какие призывы использовать в тексте;
  • в каком стиле должен быть написан текст и т.д.

Запрос «текст для А/В-тестирования» звучит не очень. Лучше заказывать просто новый, более продающий текст. А измерять продающие характеристики текста можно с помощью тестирования.

A/B-тестирование для сайтов: нужно тестировать текст, дизайн, страницу в целом,  «продающесть» текста или страницы?

Тестировать можно что угодно.

Если вы думаете, что кнопка «Купить» незаметна, тестируйте только изменение кнопки. Если вы сделали новый дизайн страницы, можно протестировать разницу между двумя дизайнами.

Иногда в тесте сравнивают два сайта. Это очень спорное занятие – если вам интересно, предлагаем обсудить этот вопрос на вебинаре более конкретно.

Можно тестировать и по одному элементу за раз, и сразу целые страницы. От чего это зависит? Всё очень просто. Если у вас есть 10/30/100 мелких изменений, и вы уверены, что каждое из них увеличит конверсию, совмещайте это всё в один тест. Если запускать их по отдельности, то делать даже 30 тестов – это может быть очень долго и не слишком эффективно. И наоборот. Если есть одно важное изменение, и вы сомневаетесь насчет реакции посетителей сайта на него, запускайте один тест на одно изменение.

Какие данные (максимум) можно получить при А/В-тестировании?

Смысл А/В-тестов крайне прост: делим посетителей на две группы – одной из них  показываем вариант А, другой – вариант В.

Основным результатом теста считается разница между поведением пользователей. Например, мы хотим узнать, как изменится конверсия интернет-магазина.

Также при интеграции А/В-теста с системами веб-аналитики, в частности с Google Analytics, можно увидеть разницу в поведении по всем параметрам: глубина и время посещения, посещение конкретных страниц, показатели отказов, достижение всех целей и т.д.

Какие сервисы могут помочь правильно провести A/B-тест?

Правильность запуска всегда зависит от вас. Сервисы – это инструмент. Как молоток. Если вы умеете им пользоваться, то у вас всё получится.

Самые распространённые сервисы для запуска А/В-тестов:

Для большинства потребностей хватает Google Analytics. Мы сами его часто используем и вам рекомендуем.

Сколько элементов можно тестировать за один раз? Правильно ли сравнивать 2 текста, в которых отличается более 1–2 элементов?

Да, можно. Самое главное, нужно понимать, как эти элементы повлияют на конверсию и почему. У вас должна быть рабочая гипотеза.

Когда вы проводите очень-очень много тестов, бывают моменты, когда идей и гипотез нет. Такой себе провал. В такие моменты можно тестировать по принципу «А давайте сделаем и поглядим… Интересно же».

В А/В-тестировании самое ценное – это время и объем трафика. Иными словами, вы можете провести ограниченное количество тестов в ограниченное время. Поэтому простой сайта без теста – это растрата бесценного ресурса.

Какие условия должны соблюдаться для правильного А/В-тестирования? Какой минимум просмотров/визитов/уников?

Чтобы тест получился хорошим, должно соблюдаться достаточно много условий. Назовем основные из них:

  1. Должен быть целевой показатель, например, общая конверсия интернет-магазина или лендинга, показатель отказов какой-то группы страниц, кликабельность кнопки «Купить» и т.д.
  2. Тест должен завершиться победой одного из вариантов со статистической достоверностью. Это означает, что данный вариант с очень большой вероятностью действительно лучше.
  3. Тест должен продолжаться ~2 цикла принятия решения о покупке. Например, известно, что девушки выбирают украшения около недели. Значит, минимальный срок теста составит 2 недели. В целом мы рекомендуем держать тесты от 1 до 3 недель.

Вопрос «А сколько надо трафика?» не совсем корректный. Длительность теста зависит от количества трафика и дельты целевого показателя. Например, тест с увеличением конверсии с 1% до 2% завершится быстрее, чем тест, где рост будет с 1% до 1,2%. Также тест на сайте с посещаемостью 1000 человек в сутки будет идти дольше, чем на сайте с 5000 посетителей.

Как интерпретировать полученные результаты для дальнейшей проверки гипотез?

Интерпретация результатов довольно проста. Выигравший вариант надо внедрить.

В любом случае, независимо от результатов теста, вы обязаны оценить поведение людей на новом варианте. Это даст вам новые идеи для новых гипотез.

Какие главные ошибки допускаются при А/В-тестировании?

Ошибок много. ТОП-3 из них:

  1. Тесты заканчивают раньше достижения статистической достоверности. Это может очень дорого стоить бизнесу. Внедряя изменения после таких тестов, вы не знаете, сделали вы лучше или хуже.
  2. Тестируются необоснованные идеи, подсказанные уборщицей из соседнего офиса. По сути, впустую тратятся бесценное время сайта и ресурсы компании на подготовку и реализацию теста.
  3. Не отслеживаются показатели во время теста. Часто бывает, что при запуске программисты ошиблись, и одна вариация работает с ошибкой. Если не контролировать тест, то узнать об этом можно через недели 2–3. Это пустая трата времени и ресурсов.
Рассылка блога
Если эта статья была вам полезна, поделитесь с друзьями.