Стоит ли игра свеч

Как и обещали, рассмотрим реальные примеры.

Пример 1: сайт 2012 года (рис. 9.1). Наше агентство выступало в роли посредника по заявкам для компании, которая выполняла ремонт стиральных машин. В ходе тестирования различных заголовков для сайта мы перебрали множество вариантов и в итоге сформировали заголовок, который позволил нам увеличить конверсию с 10 до 40 %. Всего лишь изменив оффер, мы стали получать 40 заявок вместо 10, а доход вырос с 10 000 до 40 000 соответственно.

Рис. 9.1. Сайт по ремонту стиральных машин

Как мы этого добились? Воспользовавшись техникой подмены заголовка. Прописав соответствующий скрипт, мы просто добавили в заголовок районы Москвы. Затем «плюсанули» основные улицы этих районов и станции метро, а под конец – ряд самых популярных моделей стиральных машин. В итоге, заголовок вида «Быстрый ремонт стиральных машин/Ariston/в/Ясенево/» дал прирост конверсии на 400 %!

Стоило ли проводить тест ради такого результата? Конечно, стоило.

Другой пример – «1001 тур» (рис. 9.2). Здесь мы протестировали все, абсолютно все! Конверсия оставалась равнодушной: ни заголовки, ни смена изображений на нее никак не влияли.

Рис. 9.2. Сайт «1001 тур»

Изменил картину лишь один-единственный элемент сайта: кнопка призыва к действию. Мы испытали разные версии: «Подобрать туры сейчас», «Оставить заявку» и множество других. Но только призыв «Подобрать лучшие туры» подарил нам прирост конверсии на 237 %.

При этом важно учесть: в верстку мы не внесли ни одной правки. А лиды в результате стали обходиться дешевле в 2,5 раза.

Следующий пример, о котором уже упоминалось ранее (рис. 9.3), – сайт нашей компании Convert Monster.

Рис. 9.3. Сайт Convertmonster.ru

Вы, наверное, обращали внимание на сайты, где цены на услуги не представлены. Мы провели испытание и этого способа: цен на услуги на нашем сайте теперь нет. Сначала мы опасались, что заявки, поступающие на сайт, будут нецелевыми или придут те люди, которые нас не интересуют. Но, как выяснилось, качество заявок от этого никак не ухудшается, а количество обращений выросло почти на 20 %.

В ходе теста выяснилось, что, убрав цену на сайте, можно получить весьма заметный положительный результат.

Вернемся к посадочной странице «1001 тур». Про кнопку призыва к действию вроде все понятно, теперь хотелось бы сказать о длине самого сайта. К общему знаменателю мы пришли не сразу. Удивительно, но по итогам теста «длинный» сайт заметно лидировал по конверсии. В «коротком» заявки оказались в шесть раз дороже.

Для чего здесь все эти примеры? Чтобы вы поняли: если хотите получить работающий, конвертирующий лендинг или думаете, что можете явно улучшить показатели своей страницы, – не откладывайте и не гадайте – тестируйте.

Стандартный подход

Cначала поговорим о том, как тестировать не стоит.

Первый подход, который вы можете встретить на практике, чаще всего звучит следующим образом: «Сделаем у разных веб-мастеров пять разных сайтов. Потом увидим, какой из них будет лучше работать».

Если вы владелец бизнеса, а не маркетолог, то, возможно, такой подход объясним. Но экономически это абсолютно невыгодно: вы потратите на сайты и верстку минимум 40 000 рублей, даже если это будут самые дешевые шаблоны сайтов.

Не забывайте, что каждый из этих сайтов нужно будет протестировать. Для этого на них надо привлечь большое число кликов, иначе невозможно будет говорить о статистике. Соответственно, прибавьте еще по 15 000–20 000 рекламного бюджета на каждый одностраничник. В результате все сайты с тестами обойдутся вам в 120 000–160 000 рублей. Даже если вы увидите, что один из сайтов дает результат чуть лучше остальных, на самом деле это простая случайность, потому что (сюрприз) все ваши сайты работают плохо.

Оптимальный вариант – создать одну посадочную страницу, потратив на нее 70 000–90 000 рублей. Запуститься, дождаться, когда пойдут заявки, и уже на работающем проекте выявлять недочеты, менять варианты и выбирать из них самый результативный. Потому что, если нет, то…

В итоге получится так

Сайт на рис. 9.4 очень показателен. Здесь вообще сложно понять, что продается.

Рис. 9.4. Пример неудачного сайта

Если бы вы были потенциальным покупателем, то вряд ли что-то приобрели здесь. Только после внимательного изучения можно выяснить, что здесь продаются очки за 22 000 рублей.

Представьте себе пять таких сайтов с затратами на бесполезное тестирование. Представили? Посчитали? Теперь запомните главное – лучше сделать один вариант, но сделать его качественно.

Вторая ошибка, допускаемая при тестировании, – это «стандартный» подход к нему, когда тестируется все подряд.

Это выглядит как: «Я слышал, что компания “Оптималь” изменила на сайте цвет кнопки и благодаря этому увеличила число регистраций в три раза».

Не стоит следовать этому методу, не имея представления, что на что вы меняете и почему. Нельзя тестировать что-либо «просто так» – бездумно менять картинки, цвета, заголовки.

По статистике, 1,5 % мужчин – дальтоники. Если вы предполагаете, что это большая часть аудитории вашего сайта, то да, кнопка должна контрастно выделяться. Тогда, и только тогда имеет смысл тестировать ее цвет. Возможно, в вашем интернет-магазине кнопка Заказ недостаточно заметна. Вы легко можете отследить это по вебвизору, а подтвердив теорию, изменить ее цвет и размер. Но, если вы начнете просто так менять картинки и кнопки, не понимая зачем, это приведет к негативному результату.

Если у вас нет четкой гипотезы, вы никогда не сможете получить результат!

Стандартный подход

Третий неудачный вариант – это случай, когда первый и второй подходы делаются одновременно. Разберем такую ситуацию: «У меня пять сайтов. На третий сайт поступило за день два звонка, значит, конверсия 50 %. На четвертый поступил один звонок за день, значит – 25 %. Остальные сайты не работают».

Имея подобные данные, делать какие-либо выводы о конверсии нельзя, потому что тест требует более длительного времени. Понимать нужно следующее: вы не увидите достоверных результатов теста, если тест проводился меньше 30 дней, а на сайте было не больше 100 кликов.

Результат

Есть еще одно важное понятие, о котором необходимо знать. Ни в коем случае нельзя оценивать результат теста по 20–30 кликам с одной рекламной кампании.

Вам может показаться, что какой-то вариант сайта работает лучше или хуже, чем предыдущий. Такое случается часто, но для того, чтобы делать вывод, этого недостаточно.

Чем меньше кликов, тем дольше должен идти тест. Здесь вам нужно знать о таком понятии, как дисперсия. Дисперсия в данном случае – это мера разброса какой-то случайной величины, то есть ее отклонения от математического ожидания. Она позволяет определить, насколько достоверно то наблюдение, которое вы сделали.

Стандартный подход

Есть ситуации, когда тест необходимо проводить на двух уровнях (как в случаях с интернет-магазинами).

Например, вы одновременно тестируете две кнопки: Добавить в корзину и Оформить заказ. Часто происходит так, что первая находится на карточке товара, а вторая – на карточке оформления заказа. При этом кнопка Добавить в корзину одного цвета, а кнопка Оформить заказ – другого. Пользователь воспринимает это как диссонанс.

Мы все подчиняемся неким социальным правилам. Например, для нас привычно, что кнопка оранжевого цвета означает «купить».

Если у вас она на первом шаге оранжевого цвета, на втором – синего, а на третьем шаге и вовсе превращается в белую, то в результате у пользователя происходит коллапс в голове и он вообще ничего не покупает.

Резюме: будьте последовательны в своих действиях.

Еще пример: допустим, у вас в карточке товара победил вариант Б, а на карточке оформления заказа – вариант А. Многие сделают вывод: надо оставить в карточке товара вариант Б, а на карточке заказа – вариант А. Но в действительности все сложнее: в этом случае мы имеем четыре варианта комбинаций кнопок: АА, ББ, АБ, БА. И вы не можете точно определить, какая из кнопок вам дала большую прибыль.

Нужно протестировать все четыре варианта, один за другим, с остановками. Ни в коем случае нельзя тестировать все разом. Не у всех с первого раза получается даже правильно сегментировать целевую аудиторию, что уж говорить о таких вещах, как тестирование.

Результат

Такой подход в итоге не приносит нам желанного результата от «победившей» версии. Вы можете столкнуться с тем, что, несмотря на увеличение конверсии лендинга, прибыль остается невысокой. Причина – неправильно выбранный KPI для сплит-теста.

Как быть?

Во-первых, вы должны понимать, к какому результату хотите прийти и что конкретно необходимо сделать, чтобы этот результат получить. Нужно составить гипотезу и грамотно спланировать тестирование.

Во-вторых, тест следует проводить длительное время, только тогда вы получите статистически значимые данные, которые сможете оценить.

В-третьих, нужно оценивать только один показатель, который будет ключевым. Оценивайте доход на вложенный рубль, средний чек или прибыль. Но только не конверсию. Оценивать конверсию – фатальная ошибка, потому что она бывает разной для разных отрезков времени, меняется в зависимости от источника трафика и является показателем относительным.