В эксперименте вы делали ежедневные проверки. На 3-й день получили p-value < alpha и остановили тест, но позже выяснилось, что при продолжении до 14 дней результат стал бы незначимым. Какое объяснение наиболее вероятно?

В начале теста дисперсия высока, и метрика может случайно отклониться. Если остановить эксперимент в момент такого отклонения, вы фиксируете шум как effect size. При продолжении теста результат обычно усредняется и становится более стабильным. Поэтому важно использовать fixed horizon или корректные границы в sequential testing.