Одинаковые данные — разные p-value: правило остановки ломает статистику A/B-тестов

Материал разбирает классическую статистическую ловушку: одни и те же исходные данные могут приводить к разным значениям p-value в зависимости от того, в какой момент исследователь решил остановить сбор данных. На примере с подбрасыванием монеты автор показывает, как правило остановки (stopping rule) влияет на частотный вывод, и почему это не парадокс, а прямое следствие логики проверки гипотез.

Далее аналогия переносится на практику A/B-тестов в продуктовых командах. Подглядывание в результаты до запланированного окончания эксперимента (peeking) и повторные проверки значимости на накапливающихся данных систематически завышают вероятность ложноположительного результата. Формально p-value перестаёт быть корректной мерой доказательности, потому что распределение статистики при многократных проверках меняется.

Для профессионалов киноиндустрии, которые всё чаще опираются на аналитику при тестировании маркетинговых кампаний, трейлеров, постеров и рекомендательных алгоритмов, это прямое предупреждение: методика сбора и остановки эксперимента не менее важна, чем сам инструмент. Ошибки в дизайне исследования приводят к решениям, основанным на шуме.

Подробные выкладки, формулы и разбор конкретных сценариев — на сайте источника.