A/B тест: Как задача на 12 часов реализуется за 12 минут. Сервисы: Website Optimizer, Optimizely, VisualWebsiteOptimizer, ABtest.

A/B тест
Интернет
6

С развитием интернета все больше и больше внимания уделяется юзабилити сайта и повышению конверсии. С ростом конкуренции в сети просто обеспечив «поток трафика» на сайт не возможно добиться хороших продаж. Сайт должен постоянно подстраиваться под своих пользователей, учитывая их поведение и не забывая про цели. Как лучше оформить элементы дизайна или где расположить те или иные блоки теперь решает пользователь, а не дизайнеры или менеджеры. А на вопрос: «чего хочет посетитель?», поможет ответить тестирование. Сейчас, работа над крупными и средними проектом уже никак не обходится без этого инструмента.

Так, одной из компаний-подрядчиков, работавшей над крупным интернет-магазином была поставлена задача: «Подготовить возможность проведения А/Б тестов».  И вот что было предложено:

  • Параметр Оценка времени изменился на 12.00
  • На основном сервере нужно будет завести еще одну площадку по B-функционал (запрос к админам)
  • На сервере нужно будет настроить отправку части пользователей на B-площадку (запрос к админам)
  • Скорее всего нужно будет переводить проект на гит для работы с ветками. Сделать A и B ветки, задачи выполнять в отдельных ветках, которые будем сливать в A или B

Для тех, кто не понял немного расшифрую:

  1. Программисты посчитали, что задача может быть выполнена за 12 часов (~12 000 рублей);
  2. Предлагается полностью «клонировать» сайт и все изменения проводить на «клоне», а после тестирования уже переносить их на основной сайт;
  3. Для тестирования часть пользователей будет отправляться на «сайт-клон», с тестируемыми изменениями;
  4. Предлагается ввести систему контроля версий Git, для работы с «ветками» (т.е. «разделяя» основной и тестируемый сайт, с возможностью быстрого переноса изменений между ними)

Но, кроме того, что такая система несет в себе много сложностей, она оставляет нерешенными множество ключевых вопросов. Например: «По какому принципу разделять трафик между серверами, что бы добиться равноценной выборки?», или «Как именно и с помощью каких систем статистики будет отслеживаться результаты тестирования» (что-бы при этом не пострадала общая статистика сайта), и т.д.

Возможно, в определенных случаях такой подход и имеет право на существование, на для большинства задач есть гораздо более простые и эффективные инструменты. О них и пойдет речь в этой статье.

Website Optimizer

Одним из самых известных инструментов для проведения тестирования является бесплатный инструмент Website Optimizer, который до недавнего времени существовал, как отдельный сервис, а сейчас интегрирован в Google Analytics (В панеле проекта: Содержание -> Эксперименты).

Большим недостатком инструмента является то, что для проведения теста необходимо подготовить экспериментальную страницу на сайте, и задать в Optimizer’е её URL. Таким образом тестирование элементов, присутствующих на всех страницах сайта (или, например, тестирование всех карточек товаров) представляется очень затруднительным, а иногда невозможным.

После создания одной или нескольких экспериментальных страниц на сайте, создаем новый эксперимент в Website Optimizer и задаем их URL, после чего выбираем цель эксперимента и добавляем на экспериментальную страницу сайта сгенерированный Google код. После запуска эксперимента для некоторых пользователей на сайте автоматически будет подставляться экспериментальная страница, и отслеживаться подробная статистика по каждому варианту эксперимента.

При правильной настройке целей в Google Analytics (в т.ч. настройке целей интернет магазина) Website Optimizer отображает очень подробную информацию о ходе эксперимента и его результатах. На основе накопленной статистики, через некоторое время можно будет сделать вывод о достоинствах и недостатках того или иного варианта и определить победителя.

Однако, при необходимости проведения более глобальных экспериментов, чем над одной страницей сайта  Website Optimizer не достаточно эффективен. Поэтому, для таких экспериментов применяют немного более сложные сервисы.

Google Website Optimizer

 

Optimizely

Optimizely — один из наиболее популярных тест-сервисов в России. Технология его работы в корне отличается от Website Optimizer: нет необходимости создавать экспериментальные страницы на самом сайте, страницы подготавливаются через удобный визуальный редактор самого сервиса. Возможно редактирование любого блока и элемента на странице, а так же настройки шаблонов URL, на которых будут заменятся экспериментальные элементы.

Таким образом, вы редактируете нужную страницу в визуальном редакторе Optimizely, задаете ограничение по URL, настраиваете цели эксперимента, вставляете сгенерированный сервисом код на страницы сайта и запускаете эксперимент.

В популярных CMS создается шаблон сайта (общие элементы для сайта в целом) и настраивается отображение конкретных типов страниц (новостей, карточек товаров). С помощью подхода к тестированию, используемого Optimizely вы имеете возможность изменять сам шаблон, а не конкретную страницу сайта, что очень удобно для тестирования «сквозных» элементов.

По сравнению с сервисом от Google у Optimizely один недостаток — его стоимость. Стоимость зависит в основном от количества посетителей вашего сайта. Минимальный тариф — 2000 посетителей, 17$ в месяц. Тестирование среднего сайта с 600 посетителей в день обойдется уже в 71$ в месяц. Проекты от 1000 до 6000 посетителей в день вынуждены платить по «Золотому» тарифу 357$ в месяц!

Optimizely

 

VisualWebsiteOptimizer

Сервис VisualWebsiteOptimizer — аналог Optimizely, работающий по тому же принципу, но с более гуманной политикой ценообразования.

visualwebsiteoptimizer.com

ABtest

ABtest — отечественный аналог Optimizely. Немного меньше функционал, часто возникают ошибки при редактировании страниц в редакторе сервиса (при эксперименте, на сайте страница отображается иначе, чем в редакторе), поэтому работать с ним нужно очень аккуратно. Вместе с тем, сервис отлично подходит для тестирования простых элементов (заголовки, кнопки-картинки и т.д.), что в сочетании с понятным русским интерфейсом делает его довольно удобным. Главный плюс ABtest.ru — возможность бесплатного тестирования при посещаемости до 15000 человек в месяц (500 человек в день). Таким образом сервис предоставляет возможность бесплатно улучшать юзабилити небольших проектов (и создавать небольшие экспериментальные тесты для средних).

abtest.ru

Сравнительная ценовая таблица

 

 300
пос./сут
 1000
пос./сут
 3000
пос./сут
 6000
пос./сут
Website Optimizer  Бесплатно  Бесплатно  Бесплатно  Бесплатно
Optimizely  71$ 359$  359$ 359$
VisualWebsiteOptimizer  49$ 129$  249$ не указаны
ABtest Бесплатно 25$ 50$ не указаны

 

 

 

  • Алексей

    Здравствуйте, стоит задача протестировать стоимость доставки. Информация о стоимости есть на страницах карточки товара, доставка и оплата и , соответственно, в корзине товаров при заказе. Как в этом случае настроить visual website optimizer?

  • Andrei Baklinau

    Добрый день! Хорошая статья и очень клёвый заголовок!)
    Однако очень жаль, что здесь не хватает нашего сервиса Changeagain.me , ведь у нас можно создать эксперимент не за 12 минут, а всего за 5)
    Стоит только попробовать!
    Кстати, буду рад пообщаться с автором на тему A/B тестирования!

    • ablex

      Спасибо, Андрей!
      На момент написания поста (4 янв 2013), вашего сервиса еще не было (домен зарегистрирован 13 дек 2013). Сейчас у меня идет серия тестов в Аналитиксе, о чем писал в последнем посте. Есть еще несколько идей, возможно попробую с вашим сервисом, тогда напишу впечатления.
      Но не обещаю, что они будут только положительными)

      • Andrei Baklinau

        Спасибо за ответ!) Приятно видеть такую быструю реакцию)
        Да, нас ещё не было)
        Было бы круто обсудить Ваши идеи, так как мы сами неплохо разбираемся в оптимизации конверсии.
        Было бы круто, если бы Вы затестили наш сервис и даже написали что-то вроде кейсов!
        С Вами можно в скайпе связаться или в социальных сетях?

  • Pingback: Неудавшиеся АБ тесты: как не стоит тестировать блог | PRO IT()

Тренды e-mail маркетинга 2018
Бизнес
6 главных трендов e-mail маркетинга в 2018 году

К чему готовиться Digital специалистам и E-mail маркетологам в 2018 году? С учетом каких тенденций строить план развития E-mail канала? Поделиться «6 главных трендов e-mail маркетинга в 2018 году» FacebookTwitterGoogle+LinkedInVKontakteE-mail Интересное по теме:Домашний сервер — что можно сделать из старого компьютера?Верстка рассылки e-mail одним изображениемМультифон-фантом или пособие неудачникаРассылки купонных сайтов: …

Выявление случаев мошенничества в СРА
Интернет
Анализ трафика CPA партнеров в Google Analytics. Борьба с фродом

Для многих рекламодателей CPA сети, это не только большие возможности, но и большая головная боль. Да, в CPA сетях может быть много «фрода» и некачественного траффика. Но это не значит, что CPA плох сам по себе. Просто, при работе с любым рекламным каналом есть свои нюансы. В CPA, это необходимость …

Web Push уведомления для сайта
Интернет
3
Web Push уведомления для сайта

Вы уже заметили, что в блоге появилась «модная» сегодня функция — подписка на Push уведомления. Для посетителей это еще одна возможность первыми узнавать о появлении новых актуальных статей. Для блогера, это возможность постоянно поддерживать контакт со своей аудиторией. В этой статье мы разберем, что такое Web Push уведомления, как они …

Top