Вы проверили разницу конверсии в 20 сегментах и выбрали те, где p-value < 0.05. В чём главный риск и что лучше сделать?
AРиска нет:
p-value сам учитывает число проверок при анализе сегментов одной и той же выборкиBГлавный риск, ложноположительные находки из-за множественных проверок: фиксируйте сегменты заранее или поправьте
alphaCЗаменить тест долей на корреляционный анализ между сегментом и метрикой, чтобы снять проблему множественных проверок
DСмотреть только сегмент с самой большой разницей конверсии и считать его эффект подтверждённым по всей выборке
Правильный ответ. При множественных проверках растёт шанс случайных значимых
p-value, поэтому нужны правила контроля ошибок.Разбор
Если делать много проверок, даже при отсутствии эффекта где-то случайно появится значимость — это приводит к ложным выводам по сегментам и плохим продуктовым решениям. Практика — заранее зафиксировать список сегментов, заявить гипотезы и применять поправки на множественные сравнения или подтверждающий эксперимент. Ошибка — выдавать любой найденный сегмент как доказанный эффект.
Проверь себя · 1/3разбор после ответа
Какие допущения делают биномиальную модель разумной для конверсии?
Ещё вопросы по теме «Тесты для долей»
- Команда считает конверсию из показа в клик: 80 кликов на 1000 показов. Как корректнее всего описать эту величину как долю?
- `конверсия` выросла с 5% до 6%. Как корректно назвать абсолютное изменение?
- Если `n` увеличили в 4 раза при том же `p`, как примерно изменится стандартная ошибка доли `SE = sqrt(p*(1-p)/n)`?
- Когда двухвыборочный `z-test` для сравнения долей обычно уместен?
- Вы считаете конверсию из визита в покупку на уровне пользователя. Что корректно считать `success` и что считать `trial` для расчёта доли?
- Все вопросы по «Тесты для долей» →