Неудавшиеся АБ тесты: как не стоит тестировать блог

Интернет

В продолжении серии статей о тестировании блога я рашил рассказать о АБ-тестах, которые не удались по тем или иным причинам. Обычно неудачный опыт многими замалчивается, а зря. Иногда полезно провести «работу над ошибками».


Еще раз напомню, что этот пост — продолжение серии статей о А/Б тесте блога, но в отличие от «истории успеха» в остальных статьях, тут речь пойдет о ошибках.

Тут мы поговорим о проведенных мною недавно многовариантных тестах:

  • Тест фона сайта
  • Тест межстрочного расстояния в статьях
  • Тест размера шрифта

Основная ошибка всех этих тестов — большое количество вариантов для тестирования. Например, в тесте «Фон сайта» было 14 вариантов фона, кроме исходного. Конечно же, это не допустимо, как с точки зрения того, что для проведения теста нужно огромное количество времени, так и с точки зрения правильности результата.
Давайте посмотрим на каждый тест подробнее.

Тест фона сайта

Гипотеза: Фон сайта сильно изменяет его восприятие, в т.ч. на восприятие рекламных баннеров. И может влиять, как на время проведения на сайте, количество просмотренных страниц, так и на количество кликов по баннерам.
Сравните:

Блог на черном фоне


Сайт на пурпурном фоне

Тестирование проходило в 2 этапа: сначало был запущен мега-тест на 14 вариантов. В результате 62 дней сбора данных, что-либо определенное сказать было очень затруднительно:

Тест фона сайта: версия 1 - результаты

Тогда был запущен нест на 2 лучших варианта, кроме исходного. Спустя несколько дней, стало понятно, что и этот тест не достаточно объективен. Почему?
Тут нужно напомнить то, о чем я писал неоднократно ранее: Google Analytics (с помощью которого я провожу все тесты) не дает возможность тестировать сразу несколько страниц сайта. Т.е. есть возможность заменить фон либо какой-то другой элемент на одной из страниц. Я сделал это на главной. Но это не самая показательная страница сайта. Все-таки большее количество времени посетители проводят на внутренних страницах. И каким образом фон главной страницы может повлиять на то, как пользователи поведут себя после прочтения той или иной статьи?
Для проведения тестов над всем сайтом нужно использовать другие инструменты. Про некоторые из них я писал в обзоре «A/B тест: Как задача на 12 часов реализуется за 12 минут. Сервисы: Website Optimizer, Optimizely, VisualWebsiteOptimizer, ABtest.».

Тест на фон сайта прекращен. Гипотезу считаю имеющий право на жизнь, и тестирование будет продолжено с помощью других инструментов.
Подписывайтесь на рассылку блога, что бы не пропустить пост о результате.

Тест межстрочного расстояния в статьях

Гипотеза:
Межстрочное расстояние, так же, как и сам шрифт (тест «Какой шрифт выбрать для сайта — с засечками или без?») сильно влияет на восприятие и удобство чтения текста.
Вдохновившись результатами теста о засечках, был запущен тест о межстрочном расстоянии. Варианты были выбраны следующие:

  • Исходный вариант — 1.5 em
  • Вариант 1 — 1 em
  • Вариант 2 — 1.8 em
  • Вариант 3 — 2 em
  • Вариант 4 — 2.5 em

Как вы уже видите, результатов все-равно довольно много. Вариант 3 и 4 без потерь можно было вычеркнуть.

Результаты теста были такими:

Тест - межстрочноя расстояние для текста

Т.е. любой изменение межстрочного расстояния шрифта, как в большую, так и в меньшую сторону приводило к резкому увеличению количества отказов. Да это и логично, визуально такой шрифт так же смотрится сложно читаемым.
Возможно, люди которые разрабатывали эту тему для WordPress блога подобрали наилучшее сочетание шрифта к дизайну. Об этом свидетельствует и следующий тест.

На этом примере можно видеть полный провал гипотезы. Но его можно было предугадать, не тратив время на эксперименты. Достаточно было просто визуально оценить варианты для тестирования. Как вам, например, такой вариант:

Bhban 2.5 em AblexBlog

Тест размера шрифта

Гипотеза:
Размер шрифта, как и его тип, межстрочное расстояние влияет на удобство чтения, в т.ч. и в блоге. Подобрав оптимальный шрифт можно уменьшить количество отказов, увеличить количество просматриваемых страниц и время нахождения на них.

Конечно, хочется протестировать огромное количество вариантов и найти оптимальный. Но никогда не делайте так, как я. В тесте на фон сайта было 14 вариантов. В этом тесте меньше, но все же — 9 вариантов! Получить приемлемые варианты практически не возможно. Даже за 75 дней теста:

Тест размера шрифта для блога

Google Analytics позволяет отключать в запущенном тесте варианты, которые явно проиграют в финале. После отключения большинства вариантов, осталось 2, на которых можно видеть хоть какое-то сравнение.
В целом тест оказался таким же неудачным, как и предыдущие. Думаю на этом стоит закончить тестирование шрифтов блога.

Вывод «работы над ошибками» АБ тестирования

Из каждой неудачи стоит извлекать вывод, что бы в будущем не повторять подобных ошибок. Думаю, эти правила не помешают и вам:

1. Не стоит делать тесты с большим количеством вариантов;
2. Не стоит тестировать на одной странице то, что нужно тестировать на всем сайте;
3. Иногда простая интуиция и здравый смысл может быть эффективнее и гораздо быстрее десятков тестов.

Тренды e-mail маркетинга 2018
Бизнес
6 главных трендов e-mail маркетинга в 2018 году

К чему готовиться Digital специалистам и E-mail маркетологам в 2018 году? С учетом каких тенденций строить план развития E-mail канала? Поделиться «6 главных трендов e-mail маркетинга в 2018 году» FacebookTwitterGoogle+LinkedInVKontakteE-mail Интересное по теме:Домашний сервер — что можно сделать из старого компьютера?Верстка рассылки e-mail одним изображениемМультифон-фантом или пособие неудачникаРассылки купонных сайтов: …

Выявление случаев мошенничества в СРА
Интернет
Анализ трафика CPA партнеров в Google Analytics. Борьба с фродом

Для многих рекламодателей CPA сети, это не только большие возможности, но и большая головная боль. Да, в CPA сетях может быть много «фрода» и некачественного траффика. Но это не значит, что CPA плох сам по себе. Просто, при работе с любым рекламным каналом есть свои нюансы. В CPA, это необходимость …

Web Push уведомления для сайта
Интернет
3
Web Push уведомления для сайта

Вы уже заметили, что в блоге появилась «модная» сегодня функция — подписка на Push уведомления. Для посетителей это еще одна возможность первыми узнавать о появлении новых актуальных статей. Для блогера, это возможность постоянно поддерживать контакт со своей аудиторией. В этой статье мы разберем, что такое Web Push уведомления, как они …

Top