Вы сравнили метрику до изменения и после изменения и увидели рост. Какой риск чаще всего делает такой вывод о причинности ненадёжным?

Без контрольной группы у нас нет «второй вселенной», где релиза не было, поэтому мы не знаем, как метрика повела бы себя без изменения. Рост после релиза легко объясняется сезонностью, маркетинговой акцией, изменением трафика или другим внешним фактором, совпавшим по времени. Именно поэтому в A/B-тесте контрольная группа существует одновременно с тестовой, и обе подвергаются одним и тем же внешним влияниям. «До/после» без рандомизации — это слабый дизайн с высоким риском перепутать корреляцию с причинностью.