В A/B тесте оценка эффекта по конверсии равна +0.3 п.п., а 95% `confidence interval` от −0.1 п.п. до 0.7 п.п. Минимально полезный эффект для бизнеса — 0.2 п.п. Какой вывод корректнее всего?

Question

Карьерник · Accepted Answer

Правильный ответ: Данных недостаточно, чтобы уверенно утверждать улучшение хотя бы на 0.2 п.п.; интервал пересекает и 0, и порог 0.2.. Сравнивайте `confidence interval` не только с 0, но и с практическим порогом, который важен бизнесу. Интервал включает отрицательные значения и значения ниже порога 0.2, значит нельзя уверенно гарантировать полезный эффект. Для решения важно определить, что считать практическим успехом, и сравнивать `confidence interval` с этим порогом, а не только с нулём. Частая ошибка — запускать по положительной точечной оценке, игнорируя риск ухудшения и неопределённость.

В A/B тесте оценка эффекта по конверсии равна +0.3 п.п., а 95% `confidence interval` от −0.1 п.п. до 0.7 п.п. Минимально полезный эффект для бизнеса — 0.2 п.п. Какой вывод корректнее всего?

Разбор

Ещё вопросы по теме «Доверительные интервалы»

В A/B тесте оценка эффекта по конверсии равна +0.3 п.п., а 95% confidence interval от −0.1 п.п. до 0.7 п.п. Минимально полезный эффект для бизнеса — 0.2 п.п. Какой вывод корректнее всего?

Разбор

Ещё вопросы по теме «Доверительные интервалы»