Как правильно выбрать размер контрольной группы и установить критерии успеха?

Как правильно выбрать размер контрольной группы и установить критерии успеха?

Чтобы определиться с размером контрольной группы, проведите «нулевое» А/В-тестирование. Оно, по сути, представляет собой А/А-тестирование: вы предлагаете обеим группам одинаковые страницы сайта и смотрите, насколько различаются между собой полученные результаты. Обычно погрешность составляет не более 0,05 %, хотя это вам решать. Размер контрольных групп, при котором результаты измерений примерно одинаковы, будет оптимальным.

Критерием успеха можно сделать определенное количество продаж за период времени, скажем, за две недели. Определите, какая разница в показателях эффективности будет считаться достаточной для того, чтобы выявить победителя. Существует негласное правило: результат считается лучшим, если превосходит другой результат в три раза (например, если при А показатель эффективности равен 5, а при В – 15, то вариант В будет лучшим).

А/В-тестирование – очень мощное средство оптимизации. Вот несколько советов по его проведению:

– используйте недорогие скрипты;

– поместите варианты тестируемой страницы на разные серверы, тогда каждый участник тестирования попадет на соответствующий сервер;

– используйте программное обеспечение, позволяющее проводить А/В-тестирование: Inceptor, Optimost, OfferMatica и Visual Sciences.

С помощью соответствующего ПО[25] можно изучить тысячи разных факторов, но помните, что значимую роль в работе сайта играют лишь некоторые из них. Хотя специальные программы и позволяют отследить влияние тех или иных показателей, они не помогут вам в поиске данных для измерения и не дадут знаний и опыта, необходимых для успешного А/В-тестирования. Здесь уже все зависит от вас.

Что нужно тестировать? Легче, пожалуй, составить список того, о чем можно не беспокоиться, – это будет чистый лист бумаги. Но мы все-таки перечислим элементы, заслуживающие особого внимания. Вот что следует тестировать в первую очередь:

– рекламную рассылку: подарки, купоны, текст сообщений, гарантии, слова в поле «От:», призывы к действию, приветствие, шрифт, расположение элементов на странице, графические изображения;

– сайт: целевые страницы, продающий текст (заголовки, содержание, призывы к действию, аргументы, подкрепляющие уверенность), цветовое решение, расположение элементов, настроение, создаваемое сайтом, и ссылки.

А/В-тестирование – это вовсе не высшая математика, и, конечно, существуют более сложные методы исследования эффективности сайта. Но именно в простоте и заключается главное преимущество А/В-тестирования. Проведя необходимые тесты, вы сможете, не колеблясь, принимать серьезные решения. Ведь, кроме интуиции, в вашем распоряжении будут реальные цифры.