Вы проверили разницу конверсии в 20 сегментах и выбрали те, где p-value < 0.05. В чем главный риск и что лучше сделать?
AРиск ложноположительных находок из-за множественных проверок; лучше заранее фиксировать сегменты или контролировать ошибку, например корректировать
alphaBРиска нет, потому что
p-value уже учитывает число сегментовCНужно заменить
z-test на correlation, тогда риска не будетDНужно смотреть только сегмент с самой большой разницей, остальные игнорировать
Правильный ответ. При множественных проверках растет шанс случайных
p-value < alpha, поэтому нужны правила контроля ошибок.Разбор
Если вы делаете много тестов, даже при отсутствии эффекта где-то может 'случайно' появиться значимость. Это приводит к ложным выводам на уровне сегментов и плохим продуктовым решениям. Практика — заранее определить список сегментов, фиксировать гипотезы и применять корректировки или подтверждающий эксперимент. Ошибка — выдавать любой найденный сегмент как доказанный эффект.
Проверь себя · 1/3разбор после ответа
В A/B тесте
конверсия выросла с 10% до 12%. Какая формулировка наиболее точная и минимизирует путаницу между процентами и процентными пунктами?Ещё вопросы по теме «Тесты для долей»
- Что такое доля в задачах про конверсию?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →