A/B тест: Как задача на 12 часов реализуется за 12 минут. Сервисы: Website Optimizer, Optimizely, VisualWebsiteOptimizer, ABtest.

С развитием интернета все больше и больше внимания уделяется юзабилити сайта и повышению конверсии. С ростом конкуренции в сети просто обеспечив «поток трафика» на сайт не возможно добиться хороших продаж. Сайт должен постоянно подстраиваться под своих пользователей, учитывая их поведение и не забывая про цели. Как лучше оформить элементы дизайна или где расположить те или иные блоки теперь решает пользователь, а не дизайнеры или менеджеры. А на вопрос: «чего хочет посетитель?», поможет ответить тестирование. Сейчас, работа над крупными и средними проектом уже никак не обходится без этого инструмента.

Так, одной из компаний-подрядчиков, работавшей над крупным интернет-магазином была поставлена задача: «Подготовить возможность проведения А/Б тестов».  И вот что было предложено:

• Параметр Оценка времени изменился на 12.00
• На основном сервере нужно будет завести еще одну площадку по B-функционал (запрос к админам)
• На сервере нужно будет настроить отправку части пользователей на B-площадку (запрос к админам)
• Скорее всего нужно будет переводить проект на гит для работы с ветками. Сделать A и B ветки, задачи выполнять в отдельных ветках, которые будем сливать в A или B

Для тех, кто не понял немного расшифрую:

1. Программисты посчитали, что задача может быть выполнена за 12 часов (~12 000 рублей);
2. Предлагается полностью «клонировать» сайт и все изменения проводить на «клоне», а после тестирования уже переносить их на основной сайт;
3. Для тестирования часть пользователей будет отправляться на «сайт-клон», с тестируемыми изменениями;
4. Предлагается ввести систему контроля версий Git, для работы с «ветками» (т.е. «разделяя» основной и тестируемый сайт, с возможностью быстрого переноса изменений между ними)

Но, кроме того, что такая система несет в себе много сложностей, она оставляет нерешенными множество ключевых вопросов. Например: «По какому принципу разделять трафик между серверами, что бы добиться равноценной выборки?», или «Как именно и с помощью каких систем статистики будет отслеживаться результаты тестирования» (что-бы при этом не пострадала общая статистика сайта), и т.д.

Возможно, в определенных случаях такой подход и имеет право на существование, на для большинства задач есть гораздо более простые и эффективные инструменты. О них и пойдет речь в этой статье.

Website Optimizer

Одним из самых известных инструментов для проведения тестирования является бесплатный инструмент Website Optimizer, который до недавнего времени существовал, как отдельный сервис, а сейчас интегрирован в Google Analytics (В панеле проекта: Содержание -> Эксперименты).

Большим недостатком инструмента является то, что для проведения теста необходимо подготовить экспериментальную страницу на сайте, и задать в Optimizer’е её URL. Таким образом тестирование элементов, присутствующих на всех страницах сайта (или, например, тестирование всех карточек товаров) представляется очень затруднительным, а иногда невозможным.

После создания одной или нескольких экспериментальных страниц на сайте, создаем новый эксперимент в Website Optimizer и задаем их URL, после чего выбираем цель эксперимента и добавляем на экспериментальную страницу сайта сгенерированный Google код. После запуска эксперимента для некоторых пользователей на сайте автоматически будет подставляться экспериментальная страница, и отслеживаться подробная статистика по каждому варианту эксперимента.

При правильной настройке целей в Google Analytics (в т.ч. настройке целей интернет магазина) Website Optimizer отображает очень подробную информацию о ходе эксперимента и его результатах. На основе накопленной статистики, через некоторое время можно будет сделать вывод о достоинствах и недостатках того или иного варианта и определить победителя.

Однако, при необходимости проведения более глобальных экспериментов, чем над одной страницей сайта  Website Optimizer не достаточно эффективен. Поэтому, для таких экспериментов применяют немного более сложные сервисы.

Optimizely

Optimizely — один из наиболее популярных тест-сервисов в России. Технология его работы в корне отличается от Website Optimizer: нет необходимости создавать экспериментальные страницы на самом сайте, страницы подготавливаются через удобный визуальный редактор самого сервиса. Возможно редактирование любого блока и элемента на странице, а так же настройки шаблонов URL, на которых будут заменятся экспериментальные элементы.

Таким образом, вы редактируете нужную страницу в визуальном редакторе Optimizely, задаете ограничение по URL, настраиваете цели эксперимента, вставляете сгенерированный сервисом код на страницы сайта и запускаете эксперимент.

В популярных CMS создается шаблон сайта (общие элементы для сайта в целом) и настраивается отображение конкретных типов страниц (новостей, карточек товаров). С помощью подхода к тестированию, используемого Optimizely вы имеете возможность изменять сам шаблон, а не конкретную страницу сайта, что очень удобно для тестирования «сквозных» элементов.

По сравнению с сервисом от Google у Optimizely один недостаток — его стоимость. Стоимость зависит в основном от количества посетителей вашего сайта. Минимальный тариф — 2000 посетителей, 17$ в месяц. Тестирование среднего сайта с 600 посетителей в день обойдется уже в 71$ в месяц. Проекты от 1000 до 6000 посетителей в день вынуждены платить по «Золотому» тарифу 357$ в месяц!

VisualWebsiteOptimizer

Сервис VisualWebsiteOptimizer — аналог Optimizely, работающий по тому же принципу, но с более гуманной политикой ценообразования.

ABtest

ABtest — отечественный аналог Optimizely. Немного меньше функционал, часто возникают ошибки при редактировании страниц в редакторе сервиса (при эксперименте, на сайте страница отображается иначе, чем в редакторе), поэтому работать с ним нужно очень аккуратно. Вместе с тем, сервис отлично подходит для тестирования простых элементов (заголовки, кнопки-картинки и т.д.), что в сочетании с понятным русским интерфейсом делает его довольно удобным. Главный плюс ABtest.ru — возможность бесплатного тестирования при посещаемости до 15000 человек в месяц (500 человек в день). Таким образом сервис предоставляет возможность бесплатно улучшать юзабилити небольших проектов (и создавать небольшие экспериментальные тесты для средних).

Сравнительная ценовая таблица