Главная ›Каталог ›Статьи ›Что такое A/B‑тестирование и как его провести

Что такое A/B‑тестирование и как его провести

19 сентября 202412 минут

Любой продукт создают для определённой аудитории, поэтому при его разработке важно опираться на обратную связь от потенциальных клиентов. Узнать их мнения, выбрать лучшую версию и устранить недостатки поможет A/B-тестирование. Разберёмся, каким оно бывает и как его применять.

Что такое A/B‑тестирование
A/B-тестирование — это способ проверки того, на какой из двух вариантов продукта аудитория реагирует лучше. Компания делит испытуемых на две группы, предлагая им отдельный вариант товара, услуги, интерфейса. Однако объект оценки одинаков, как и критерии. Объектом может быть удобство использования продукта, дизайн, путь пользователя, условия бонусной программы.
Компании разрабатывают критерии сами и выбирают, как будут оценивать их пользователи. Например, можно поинтересоваться, как быстро привлекла внимания кнопка призыва к действию и предложить оценить её по пятибалльной шкале. В большинстве случаях клиентам не предлагают анкеты, а отслеживают их поведение во время взаимодействия с продуктом. Например, через системы веб-аналитики специалисты наблюдают, какие страницы сайта посещает пользователь, на каких из них задерживается, как быстро переходит к выполнениям целевых действий.
Кому нужно
Метод используют в разных отраслях для проверки различных гипотез. Он наиболее популярен при разработке IT-решений, но и в других случаях A/B-тестирование бывает полезно. Так, онлайн-магазин может оценить, как пользователи реагируют на изменения на сайте, и выявить решения, которые чаще приводят к конверсиям. Маркетинговые агентства могут тестировать разные слоганы, дизайнеры — варианты брендинга.
Результатами A/B-тестирования пользуются:
Продакт-менеджеры. Тесты проводят при оптимизации воронки продаж или корректировки ценовых стратегий.
Маркетологи, таргетологи и другие специалисты по рекламе. Тестируют призывы к действию, креативы, рекламные тексты. Так, в VK Рекламе есть опция «сплит-тестирование» для лид-форм, которая позволяет проводить исследование автоматически. Достаточно загрузить разные креативы, сформировать и загрузить объявления, чтобы проверить свои гипотезы.
Продуктовые дизайнеры. Они проверяют эффективность разных решений: структурных, цветовых и прочих.
При настройках лид-форм в VK Рекламе можно включить опцию «сплит-тест»
Какие задачи решает
Увеличение конверсии. Тестирование поможет понять, внедрение каких решений приведёт к увеличению кликов, подписок, регистраций, заказов и других целевых действий.
Можно проверить, на какой баннер пользователи кликают активнее, какая форма регистрации побуждает оставить контакты, какой контент привлекает внимание на странице сайта. Предположим, вам нужно проверить, влияют ли отзывы на сайте на количество добавлений товара в корзину. Создайте два варианта страницы — с отзывами и без них — и проследите, у какой группы добавлений в корзину больше.
Улучшение юзабилити. A/B-тесты помогают понять, как пользователи взаимодействуют с продуктом и какой дизайн кажется им удобным.
Например, производитель гитарных усилителей может протестировать расположение регуляторов, переключателей и разъёмов. А разработчик сайта — навигацию, вёрстку, цветовые решения. Словом, то, что влияет на поведение пользователей.
Принятие решений. Изменения вносят на основе результатов тестирования. Непроверенные корректировки могут снизить конверсию, в итоге компания потеряет клиентов.
Виды A/B-тестирования
Сплит-тест (простое тестирование). Сравнивают два варианта продукта по одному критерию, чтобы вносить точечные изменения. Например, одной группе пользователей предлагают воспользоваться сайтом с верхним горизонтальным меню на главной странице, а другой — с левым боковым. Или протестировать два рекламных креатива для графического редактора, один из которых будет выполнен в тёплых оттенках, а другой — в холодных.
Многовариантное тестирование. В этом случае тестируют сразу несколько изменений, а также их сочетания друг с другом. Например, можно изучить два варианта главной страницы с разным расположением меню, дизайном кнопок целевого действия и формой регистрации.
A/B/n-тест. Для группы запускают несколько вариантов элемента и сравнивают количество конверсий для каждого. Например, на странице размещают несколько видов кнопок: квадратную, прямоугольную с острыми и сглаженными углами, овальную. Затем смотрят, по какой из них кликнули больше пользователей.
Инструменты
Выбор инструментов зависит от того, что именно вы тестируете.
Сайт. Для изучения поведения пользователей используйте веб-аналитику, например, сервисы Яндекс.Метрика и Google Analytics. Они покажут, как перемещаются пользователи по страницам, на какие кнопки и ссылки кликают, сколько дочтений и доскроллов совершают на каждой из тестируемых страниц, сколько длится каждый сеанс. Инструмент Вебвизор покажет, как перемещается курсор пользователя по странице, а Тепловые карты — на какой части страницы останавливаются пользователи, кликают ли на активные элементы.
Используйте специализированный сервис Varioqub, чтобы настроить целевую метрику и другие детали A/B-тестирования и проверить ваши гипотезы.
Реклама. Протестировать объявления поможет VK Реклама. Запустите два объявления на одну и ту же аудиторию, чтобы понять, какие визуальные элементы, призывы, тексты, преимущества потенциальные клиенты воспринимают благосклоннее. На дашбордах VK Рекламы вы увидите результаты по просмотрам, кликам, конверсии, стоимости 1000 просмотров, стоимости клика и другим показателям.
Цифровой продукт. Есть специализированные сервисы, внутри которых можно создать разные варианты кода, реализовать разный функционал и дизайн цифрового продукта. Или интегрировать программу с вашим продуктом, чтобы отслеживать результаты его использования. С их помощью тестируют не только сайты, но и мобильные приложения, мессенджеры, онлайн-тренажёры, видеоплатформы. Примеры сервисов — AB Tasty, Optimizely, Adobe Target.
Товар/Услуга. В оценке помогут бумажные и электронные анкеты, опросы. Попросите клиентов попользоваться продуктом и заполнить анкету, ответив на вопросы о его функциях, удобстве, дизайне. Анкету или опрос можно создать через Google форму или использовать инструмент «Опросы Вконтакте».
Этапы
Определение цели тестирования. Сформулируйте цели, которые будут соответствовать бизнес-задачам вашей организации.
Например, если вы только запускаете онлайн-магазин, ваша задача — увеличение количества зарегистрированных пользователей. С помощью тестирования вы выберете оптимальную форму регистрации. Если же вы запускаете рекламу, чтобы повысить конверсию, важно понять, какое объявление побуждает кликнуть на кнопку перехода на сайт.
Выбор метрики. Определите метрику, которая позволит оценить результаты тестирования.
Например, для испытания формы регистрации подойдёт показатель Registration Rate — доля зарегистрированных пользователей от общего количества испытуемых. Если вы запускаете рекламное объявление, смотрите на показатель кликабельности (CTR) — соотношение числа кликов к числу просмотров.
Постановка гипотез. Разработайте предположение: что и почему изменится, если вы поменяете объект тестирования. Это нужно, чтобы понимать примерные результаты и их причины.
Например, вы запустили через VK Рекламу объявление. В нём — креатив с изображением продукта. Затем вы публикуете новое объявление с похожим креативом, но добавляете на него текст с преимуществами продукта. Вы выдвигаете гипотезу: «Доля кликов по новому объявлению увеличится, так как пользователи будут понимать ценность продукта и захотят узнать больше подробностей».
Выбор дизайна. По сути, это подготовка эксперимента — то, как он будет выглядеть. Подготовьте тестируемые объекты, определите, на каком носителе они будут показываться пользователям. Решите, как вы будете оценивать результаты — с помощью автоматических инструментов или анкетирования пользователей. Также важно определить:
Размер выборки. Сколько пользователей будет в обеих группах. Размер выборки можно рассчитать по формуле:
где:
n — объём выборки;
Z — коэффициент доверительного уровня. Его определяет аналитик на основе требований к надёжности исследования, но в маркетинге обычно берут уровень в 95%. В этом случае коэффициент Z будет равен 1,96.
p — количество пользователей, которые совершили целевое действие. Данные берут из систем аналитики компании. Если их нет, можно применить значение 0,5 — 50%.
q — доля участников, которые не совершили целевое действие. Считается так: 1 – p.
Δ — максимальная ошибка выборки. По мнению маркетологов, она не должна превышать 4%, то есть коэффициент 0,04.
Характеристики пользователей. Они должны соответствовать вашей целевой аудитории. В характеристики входят пол, возраст, гео, интересы, потребности, предпочитаемые площадки и другие значимые характеристики.
Состав групп. Сбалансируйте количество участников каждой группы — в них должно быть примерно одинаковое количество пользователей из каждого клиентского сегмента.
Временные рамки. Важно понять, сколько времени займёт тест. Сплит-тестирование простых продуктов можно организовать в течение 14 дней. На запуск рекламных кампаний или исследование сайта может понадобиться несколько недель.
Уровень статистической значимости. Это погрешности — отклонения от вашей гипотезы. Сюда включают процент пользователей, которые могли совершить действие случайно, не разобравшись в условиях. Учитывают и возможные погрешности в работе сервисов.
Тест. Проведите эксперимент. Перед запуском проверьте корректность работы ваших инструментов, количество участников.
Анализ результатов. Обработайте данные, чтобы оценить успешность версии А и версии В. Изучайте метрику, которую вы определили на этапах планирования.
Обработать данные помогут автоматические инструменты — VK Реклама, дашборды веб-аналитики, статистические сервисы, инструменты подсчёта в электронных анкетах. Учтите уровень статистической значимости при определении результатов.

Расширенная статистика в VK Рекламе
Основные ошибки
Возможные ошибки при подготовке и проведении тестирования:
Слишком много изменений. Если варианты сильно различаются — имеют разный дизайн, элементы, текст, призывы, — становится сложно отследить, что именно сработало лучше.
Непродуманные гипотезы. Результаты могут быть нерепрезентативны, если компания берёт чужие гипотезы или формулирует их, не отталкиваясь от своих целей.
Небольшая выборка или короткий период тестирования. Важно, чтобы как можно больше пользователей поучаствовали в исследовании — особенно при анализе IT-продуктов. В ином случае будет сложно сделать однозначные выводы.
Слишком широкая аудитория. Если не отталкиваться от ЦА, а брать случайных пользователей, результаты могут быть неприменимы к вашему продукту и реальным клиентам.
Неучёт внешних факторов. На результаты могут влиять многие аспекты: сезонность, скорость интернет-соединения, устройство пользователя, тренды. Всё это нужно иметь в виду при подготовке тестирования.
Удваиваем ваш бюджет на первую рекламную кампанию  

При регистрации в VK Рекламе и первом пополнении счёта мы автоматически удвоим ваш платёж. Размер бонусов ограничен. С полными условиями акции можно ознакомиться по ссылке.

Обратите внимание: платёж увеличивается только при регистрации по кнопке ниже.
Перейти в VK Рекламу
Подведём итог
A/B-тестирование — это проверка того, как пользователи реагируют на изменения в продукте. Аналитики создают две похожии версии продукта и изучают, как испытуемые воспринимают отличающиеся элементы.
Для проведения тестов набирают две группы, каждая из которых идёт по отдельному пользовательскому пути. Испытуемые должны быть представителями целевой аудитории.
Для тестирования цифровых продуктов используют веб-аналитику и специальные сервисы статистики. Чтобы провести сплит-тестирование маркетинговых объявлений, пользуются инструментами VK Рекламы. Дополнительным инструментом могут быть опросы.
Чтобы провести A/B тестирование, необходимо отталкиваться от целей компании. Сформулируйте гипотезу, отберите испытуемых, создайте дизайн эксперимента. Отслеживайте результаты.