Блог MTRENDOHOLOWAY

Как А/В тесты помогли увидеть увеличение конверсии в 1% при небольшом изменении формы заказа

ЭРКАФАРМ — розничная компания, которая управляет сетью более тысячи ста аптек. Основные бренды «Озерки», «Доктор Столетов» и другие. Компания № 2 в рейтинге крупнейших аптечных сетей России и обслуживает более 7 миллионов клиентов ежемесячно.

СТРАТЕГИЯ — повышение эффективности.
Цель
Увеличение выручки интернет-магазина в рамках общей стратегии компании по повышению эффективности бизнеса
Задачи

  1. Установить инструмент для анализа поведения на сайте
  2. Сгенерировать и проверить гипотезу, проанализировав поведение пользователей на сайте
  3. Предложить варианты исправления и доказать, что они более эффективны

РЕШЕНИЕ
Проверка гипотезы
Настроить сбор данных о поведении пользователей на сайте
В качестве инструмента для анализа поведения пользователей на сайте был выбран Google Analytics App+Web

На сайте были промечены следующие типы событий взаимодействия пользователя с сайтом:

  1. Клики на все элементы формы
  2. Изменения данных в элементах формы
  3. Скроллы
  4. Сообщения бэкэнда об ошибках в заполнении и отправке форм
Построить отчеты

Задача этапа: показать, что проблема имеет место и оценить возможный потенциал для проведения АБ-теста.


Вопрос к данным #1
Каков размер проблемы?
Классический отчет по воронке заказа показывает, что после клика на кнопку оформить 8.1% пользователей не завершают заказ. Таким образом, мы убедились, что проблема существует, оценили ее размер и одновременно оценили потенциал дополнительной прибыли при ее полном устранении.

Вопрос к данным #2

Есть ли основания полагать, что проблема, в частности вызвана тем, что пользователям непонятно текущее поведение формы?

Данный отчет показывает, что из 865 отказов, 313 происходит уже после повторной неудачной попытки отправить форму. И так далее.


А/Б-тестирование


Формирование вариантов


  1. Вариант A (исходный) — при нажатии кнопки отправить заказ не отправляется — просто не нажимается кнопка
  2. Вариант Б — окно сообщения об ошибке и перематывает к полю, в котором ошибка
  3. Вариант С — перематывает к полю, в котором ошибка

Инструменты тестирования


Тип теста — Server Side. Разбиение на варианты происходит на сервере, вариант пользователя сохраняется в куки.


Настраиваем


  • GTM для передачи варианта в пользовательскую переменную GA, GA App+Web
  • Google Optimize — для первичного независимого контроля эксперимента.
  • OWOX BI — для сбора сырых данных о поведении на сайте в проект BigQuery. Сырые данные мы будем использовать для получения более точного результата, устранив различные артефакты в данных: В частности, в данном эксперименте нас интересует поведение пользователей, которые ранее не совершали заказ. Поэтому мы исключим из расчетов постоянных покупателей.

Базовый вариант, А — по клику на «Оформить заказ» не происходит видимой реакции. Поле с ошибкой остается вне зоны видимости пользователя.

Вариант С — при ошибке происходит перемотка формы для попадания поля с ошибкой в область видимости

Результат
По данным Google Optimize лидером оказался вариант «Новый валидатор», то есть обычная перемотка, без отображения окна с ошибкой. У него лучшая конверсия из трех вариантов 4.04% против 4.00% у варианта «Original».

Вывод

  1. Даже небольшие изменения формы влияют на конверсию
  2. Выбор лучшего варианта желательно подкреплять данными
  3. В итоге решение, принятое на основе данных, позволило даже при помощи небольшой корректировки формы заказа на сайте увеличить конверсию на 1%. Если опираться на информацию об обороте, взятую из открытых источников, и примерную долю выручки которую дают заказы с анализируемого сайта, то прирост составляет примерно 2, 4 миллиона рублей