А/В-тестирование
А/В-тестирование
А/В-тестирование (его еще называют сплит-тестированием) – это самый легкий способ узнать, как влияет на общую эффективность отдельный элемент сайта или рекламного письма. Для проведения А/В-теста следует разделить аудиторию сайта на две группы (А и В). Одной группе вы показываете первоначальную версию того, что тестируете, а второй – улучшенный вариант, в котором изменен один элемент. Затем измеряете результаты.
Предположим, вы не можете определиться с темой для своего рекламного письма. Подготовьте два варианта рассылки, которые будут отличаться лишь названием темы. Первую версию письма разошлите одной половине получателей, вторую – другой половине.
Чтобы узнать, какая тема письма является наиболее удачной, посчитайте количество переходов на сайт у первой группы получателей и сравните их с аналогичным показателем у второй группы. Лучший показатель переходов и станет вашим контрольным показателем. С ним вы будете сравнивать эффективность других вариантов, пока не найдете самое удачное название темы. Результаты тестирования могут вас удивить. Однажды мы проводили подобный тест, и оказалось, что один вариант темы привлек на сайт на 300 % больше посетителей, чем его ближайший конкурент. Такая разница может иметь огромное значение для прибыльности вашего бизнеса.
Если вы хотите получить более наглядное представление о данном виде тестирования, то представьте, что пришли к окулисту, чтобы подобрать очки. Врач заводит вас в темную комнату и просит посмотреть в окуляры жутковатого на вид аппарата. Перед вами две одинаковые таблицы с буквами. Врач спрашивает: «Какую таблицу вы видите лучше и можете без труда прочитать?», вы отвечаете, окулист немного меняет настройки аппарата и спрашивает снова: «А теперь какую?» Затем он опять что-то исправляет и улучшает результат. Этот процесс продолжается до тех пор, пока не будет найден оптимальный вариант.
Но аналогия с подбором очков, к сожалению, не полностью подходит для нашего случая. Окулист, проверяя зрение, опирается на данные многочисленных медицинских исследований. В его распоряжении имеется готовая шкала и хорошо откалиброванная аппаратура, поэтому точность измерения гарантирована, а для обработки результатов нужно лишь воспользоваться проверенными методами. И все-таки эффективность А/В-тестирования очень впечатляет.
Вот один из наших любимых примеров. Несколько лет назад на сайте Amazon.com возникла необходимость внести некоторые улучшения в работу. Ниже показана область, которую изменяли в ходе А/В-тестирования:
А/В
Первоначально в каждом разделе сайта использовалась версия А. А/В-тест провели следующим образом: версия В появилась лишь в книжном разделе: были убраны некоторые слова в скобках и текст на кнопках. Неизвестно, почему организаторы теста решили так поступить; мы всегда рекомендуем подкреплять уверенность покупателей в точке действия. Но тут важен сам подход к А/В-тестированию. Оба варианта оформления страницы довольно долго сосуществовали в разных разделах сайта.
А вот еще один пример. На сайте Ice.com А/В-тестирование проводилось с использованием программы Visual Sciences tool. Целью тестирования было найти оптимальный вариант продающего текста для каждого из продуктов, представленных на домашней странице сайта. Для тестов выбрали три варианта продающего текста, а эталоном для измерения стало изображение продукта, под которым вообще не было ни слова описания. Посмотрим на эти четыре версии.
Как вы думаете, какая из них оказалась лучшей? Часто бывает, что нам нравится один из вариантов, и мы очень хотим, чтобы он победил.
А/В-тестирование дает ответы, основанные на реальных данных и не зависящие от нашего мнения. В ходе измерений быстро выяснилось, что вариант D намного лучше остальных. Тестирование принесло сайту тысячи долларов прибыли.
Более 800 000 книг и аудиокниг! 📚
Получи 2 месяца Литрес Подписки в подарок и наслаждайся неограниченным чтением
ПОЛУЧИТЬ ПОДАРОКДанный текст является ознакомительным фрагментом.
Читайте также
А/В-тестирование
А/В-тестирование А/В-тестирование (его еще называют сплит-тестированием) – это самый легкий способ узнать, как влияет на общую эффективность отдельный элемент сайта или рекламного письма. Для проведения А/В-теста следует разделить аудиторию сайта на две группы (А и В).
Тестирование
Тестирование В основе всех тестов будут лежать одни и те же принципы. Мы будем генерировать большое количество случайных чисел из диапазона от 0.0 (включительно) до 1.0 (исключительно). Получаемые в результате работы генераторов значения будут разбиваться на несколько
Тестирование
Тестирование Одной из наиболее эффективных методик является рандомизированное тестирование (fuzz testing), когда на вход подаются полуслучайные данные. Попробуйте увеличить длину входных строк и понаблюдайте за поведением приложения. Обратите внимание на одну особенность:
Тестирование
Тестирование Передайте приложению входную строку со спецификаторами формата и посмотрите, выводятся ли шестнадцатеричные значения. Например, если программа ожидает ввода имени файла и в случае, когда файл не найден, возвращает сообщение об ошибке, в которое входит
Тестирование
Тестирование Если на вход подаются строки символов, попробуйте задать размеры так, чтобы вызвать ошибку. Часто это происходит, если длина строки составляет 64К или 64К – 1 байтов. Также ошибки возможны для длин, равных 127, 128, 255 и 32К плюс–минус единица. Если вам удалось
Тестирование
Тестирование Надо признать, что реальной альтернативы добросовестному анализу кода на предмет внедрения SQL не существует. Но иногда у вас может не быть доступа к коду, или вы просто не имеет опыта чтения чужих программ. Тогда дополните анализ кода тестированием.Прежде
Тестирование
Тестирование В общем случае нужно рассмотреть все входные данные, понять, какому интерпретатору команд они могут быть переданы, а затем попробовать включить в тестовые данные различные используемые в этом интерпретаторе метасимволы и посмотреть, что получится.
Тестирование
Тестирование Как отмечено выше, лучший способ обнаружить проявления греха заключается в анализе кода. Тестирование затруднительно, поскольку предполагается, что вы должны заставить функцию систематически возвращать ошибку. С точки зрения экономичности и затраченных
Тестирование
Тестирование Простейший способ протестировать наличие XSS–ошибок – отправить запрос своему Web–приложению, задав всем входным параметрам заведомо небезопасные значения. Затем взгляните на полученный от сервера ответ, не ограничивайтесь только визуальным
Тестирование
Тестирование Определить, зашифрованы данные или нет, обычно довольно просто – достаточно посмотреть на содержимое перехваченного пакета. Однако доказать в ходе строгого тестирования, что сообщения аутентифицируются, не так легко. Предположить, что это так, можно, если в
Тестирование
Тестирование Самый лучший способ найти подобные ошибки – подвергнуть код анализу, но на случай, если это невозможно или вы что–нибудь пропустили, можно выполнить некоторые тесты. Например, такие инструменты, как TamperlE (www.bayden.com/ Other), Web Developer (www.chrispederick.com/work/firefox/ webdeveloper) или
Тестирование
Тестирование В настоящее время имеется несколько программ, которые автоматизируют атаку с «человеком посередине» против HTTPS. В частности, к ним относятся dsniff и ethercap. Впрочем, они работают только против HTTPS, поэтому при использовании против совместимого с HTTPS приложения
Тестирование
Тестирование Некоторые проблемы, касающиеся паролей, можно обнаружить с помощью автоматизированного динамического тестирования. Например, многие сканеры баз данных проверяют, оставлены ли стандартные учетные записи и выставленные по умолчанию пароли. Кроме того,
Тестирование
Тестирование Инсталлируйте приложение и проверьте, какие элементы управления доступом заданы для созданных объектов. А еще лучше подключиться к функциям, которые создают объекты, и запротоколировать задаваемые права (если приложение предоставляет такую возможность).
Тестирование
Тестирование Анализу кода нет равных, но можно попытаться атаковать приложение, вызвать ошибку и посмотреть на сообщение. Следует также правильно и неправильно позапускать приложение от имени пользователя, не являющегося администратором, и понаблюдать, какую