Неудавшиеся АБ тесты: как не стоит тестировать блог

В продолжении серии статей о тестировании блога я рашил рассказать о АБ-тестах, которые не удались по тем или иным причинам. Обычно неудачный опыт многими замалчивается, а зря. Иногда полезно провести «работу над ошибками».

Еще раз напомню, что этот пост — продолжение серии статей о А/Б тесте блога, но в отличие от «истории успеха» в остальных статьях, тут речь пойдет о ошибках.

Тут мы поговорим о проведенных мною недавно многовариантных тестах:

Тест фона сайта
Тест межстрочного расстояния в статьях
Тест размера шрифта

Основная ошибка всех этих тестов — большое количество вариантов для тестирования. Например, в тесте «Фон сайта» было 14 вариантов фона, кроме исходного. Конечно же, это не допустимо, как с точки зрения того, что для проведения теста нужно огромное количество времени, так и с точки зрения правильности результата.
Давайте посмотрим на каждый тест подробнее.

Тест фона сайта

Гипотеза: Фон сайта сильно изменяет его восприятие, в т.ч. на восприятие рекламных баннеров. И может влиять, как на время проведения на сайте, количество просмотренных страниц, так и на количество кликов по баннерам.
Сравните:

Тестирование проходило в 2 этапа: сначало был запущен мега-тест на 14 вариантов. В результате 62 дней сбора данных, что-либо определенное сказать было очень затруднительно:

Тогда был запущен нест на 2 лучших варианта, кроме исходного. Спустя несколько дней, стало понятно, что и этот тест не достаточно объективен. Почему?
Тут нужно напомнить то, о чем я писал неоднократно ранее: Google Analytics (с помощью которого я провожу все тесты) не дает возможность тестировать сразу несколько страниц сайта. Т.е. есть возможность заменить фон либо какой-то другой элемент на одной из страниц. Я сделал это на главной. Но это не самая показательная страница сайта. Все-таки большее количество времени посетители проводят на внутренних страницах. И каким образом фон главной страницы может повлиять на то, как пользователи поведут себя после прочтения той или иной статьи?
Для проведения тестов над всем сайтом нужно использовать другие инструменты. Про некоторые из них я писал в обзоре «A/B тест: Как задача на 12 часов реализуется за 12 минут. Сервисы: Website Optimizer, Optimizely, VisualWebsiteOptimizer, ABtest.».

Тест на фон сайта прекращен. Гипотезу считаю имеющий право на жизнь, и тестирование будет продолжено с помощью других инструментов.
Подписывайтесь на рассылку блога, что бы не пропустить пост о результате.

Тест межстрочного расстояния в статьях

Гипотеза:
Межстрочное расстояние, так же, как и сам шрифт (тест «Какой шрифт выбрать для сайта — с засечками или без?») сильно влияет на восприятие и удобство чтения текста.
Вдохновившись результатами теста о засечках, был запущен тест о межстрочном расстоянии. Варианты были выбраны следующие:

Исходный вариант — 1.5 em
Вариант 1 — 1 em
Вариант 2 — 1.8 em
Вариант 3 — 2 em
Вариант 4 — 2.5 em

Как вы уже видите, результатов все-равно довольно много. Вариант 3 и 4 без потерь можно было вычеркнуть.

Результаты теста были такими:

Т.е. любой изменение межстрочного расстояния шрифта, как в большую, так и в меньшую сторону приводило к резкому увеличению количества отказов. Да это и логично, визуально такой шрифт так же смотрится сложно читаемым.
Возможно, люди которые разрабатывали эту тему для WordPress блога подобрали наилучшее сочетание шрифта к дизайну. Об этом свидетельствует и следующий тест.

На этом примере можно видеть полный провал гипотезы. Но его можно было предугадать, не тратив время на эксперименты. Достаточно было просто визуально оценить варианты для тестирования. Как вам, например, такой вариант:

Тест размера шрифта

Гипотеза:
Размер шрифта, как и его тип, межстрочное расстояние влияет на удобство чтения, в т.ч. и в блоге. Подобрав оптимальный шрифт можно уменьшить количество отказов, увеличить количество просматриваемых страниц и время нахождения на них.

Конечно, хочется протестировать огромное количество вариантов и найти оптимальный. Но никогда не делайте так, как я. В тесте на фон сайта было 14 вариантов. В этом тесте меньше, но все же — 9 вариантов! Получить приемлемые варианты практически не возможно. Даже за 75 дней теста:

Google Analytics позволяет отключать в запущенном тесте варианты, которые явно проиграют в финале. После отключения большинства вариантов, осталось 2, на которых можно видеть хоть какое-то сравнение.
В целом тест оказался таким же неудачным, как и предыдущие. Думаю на этом стоит закончить тестирование шрифтов блога.

Вывод «работы над ошибками» АБ тестирования

Из каждой неудачи стоит извлекать вывод, что бы в будущем не повторять подобных ошибок. Думаю, эти правила не помешают и вам:

1. Не стоит делать тесты с большим количеством вариантов;
2. Не стоит тестировать на одной странице то, что нужно тестировать на всем сайте;
3. Иногда простая интуиция и здравый смысл может быть эффективнее и гораздо быстрее десятков тестов.