Какой признак наиболее удачен для stratification в A/B тесте метрики conversion, если известно, что platform сильно влияет на базовый уровень?

AСтратифицировать по platform (iOS/Android), потому что это предэкспериментальный фактор, заметно связанный с метрикой.
BСтратифицировать по clicked_new_button в post-period, чтобы сильнее снизить variance.
CСтратифицировать по случайному числу, чтобы было честнее.
DСтратифицировать по p-value прошлых тестов.
Правильный ответ. Для stratification подходят предэкспериментальные факторы, которые заметно влияют на метрику и не зависят от варианта.

Разбор

Хороший признак для stratification объясняет различия пользователей и может уменьшить шум, но не должен зависеть от воздействия. platform часто влияет на базовые уровни conversion, поэтому баланс по нему снижает риск случайного перекоса. Нельзя строить stratification по post-period поведению, потому что это приводит к leakage и может ввести bias.

Проверь себя · 1/3разбор после ответа
Вы тестируете новый экран, целевая метрика conversion. Какую covariate (ковариата — вспомогательная переменная) нельзя использовать в CUPED (Controlled-experiment Using Pre-Experiment Data), чтобы не получить leakage (утечка данных между группами) и bias?
Тренировать A/B в Telegram

Ещё вопросы по теме «Снижение дисперсии и CUPED»