Статистически значимые результаты

Мы уже говорили с вами о таком понятии, как дисперсия.

Дисперсия означает отклонение от математического ожидания. По одному лендингу вы можете получить 55 звонков за неделю. Но это не значит, что за следующую неделю вы сможете получить 55 звонков при том же количестве кликов. Их может быть и 60, и 45.

Величина, которая характеризует этот плюс-минус, называется дисперсией. В нашем случае это будет квадратный корень из количества конверсий, которые были получены по сайту. Если у вас было 55 конверсий, то корень примерно равен 7. Если у вас была 121 конверсия, то 11.

У вас также есть дополнительный коэффициент, который характеризует достоверность результатов. Он равен 1, 2 или 3. Если дисперсию умножить на один, то считаем, что результат достоверный на 66 %, то есть в 66 случаев из 100 при перезапуске теста можно получить ту же выигрышную версию.

Чтобы получить достоверность 95 %, нужно умножать уже на 2. Тогда в 95 случаях из 100 мы получим тот же самый результат при перезапуске теста.

Если умножаем на число 3, считается, что результат повторится практически со 100 %-ной вероятностью. Как правило, чтобы использовать множитель 3, нужно достаточно много времени и трафика.

Дальше все просто – сравнивается математическое ожидание и отклонение.

Как следует из рис. 9.7, по версии А было 55 конверсий, по версии Б – 49. Представим это в виде графика. В одном графике конверсия была бы 55, в другом – 49. Нам нужно сравнить, может ли возникнуть такая ситуация, когда при математическом отклонении одна версия будет наезжать на другую?

Рис. 9.7. Пример 1

Как это сделать? Формула элементарная: нужно сначала найти дисперсию, умножить ее на 2, потом вычесть из лучшей версии или прибавить к худшей.

Например, возьмем версию А, по которой было 55 конверсий. Считаем дисперсию: квадратный корень из 55 – это примерно 7. Версия Б: 49 конверсий. Квадратный корень из 49 также равен 7. Теперь нужно уточнить результат 95 %-ной вероятности, для этого нужно взять 7 и умножить на 2.

Итоговый результат с 95 %-ной вероятностью при перезапуске теста:

• версия А = 55 заявок ± 14 = либо 41 заявка, либо 69 заявок;

• версия Б = 49 заявок ± 14 = либо 35, либо 63 заявки.

Смысл в том, что нам нужно знать предельные значения, чтобы понять, не пересекаются ли они. Просто самый худший результат может дать 41 конверсию по версии А, а по версии Б может дать 63 конверсии. Теоретически, если поменять местами, мы могли бы получить те же самые показатели. Это говорит о том, что результат математически недостоверен, то есть версии А и Б работают одинаково.

Рассмотрим второй пример (рис. 9.8).

На этом примере мы видим по версии А 150 конверсий, а по версии Б 95 конверсий. Точно так же находим корень из версий А и Б. В одном случае это 12, в другом – 10.

Дальше нужно умножить на 2 для того, чтобы получить 95 %-ную вероятность достоверности. В итоге:

• по версии А: 150 ± 12 ? 2 = от 126 до 174 конверсий;

• по версии Б: 95 ± 10 ? 2= от 75 до 115 конверсий.

Рис. 9.8. Пример 2

Они не перекрываются. Минимально по версии А мы получили 126, а максимально по версии Б – всего 115 конверсий. Это говорит о том, что результат математически достоверный. Мы можем говорить, что версия А в 95 % случаев даст лучший результат, чем версия Б.

Если говорить о системах подсчета трафика, то существует специальный показатель, который называется chance to bit original – «вероятность победить оригинальную версию». Он показывает нам, что найдена лучшая комбинация.

Вам нужно обращать внимание на этот показатель. Если у вас меньше 95 % вероятности, тогда тест еще математически не валиден. А что для вас означает 120–150 конверсий? Это 150 заявок и звонков.

Вот пример из Google Analytics (рис. 9.9): вероятность превосходства над исходным вариантом. Справа выделено, где это показывается. 100 %, не бывает 99,7 %.

Что такое Z? Z – это коэффициент. Он берется из математической статистики, просто нужно понимать, что Z равен либо 1, либо 2, либо 3. В нашем случае нужно умножать на 2. Это статическое число, оно всегда равно 2 в вашем случае. Если Z равен 2, вероятность 95 %, то можно утверждать, что у нас тест прошел хорошо и все так и будет, если отключить другую версию.

Рис. 9.9. Подсчет дисперсии системами тестирования