Перед анализом результата вы проверяете invariant metrics. Какая метрика чаще всего является invariant metrics в онлайн A/B тесте?
AКонверсия в покупку
BДоля трафика/пользователей, попавших в A и B (плановое соотношение групп)
CВыручка на пользователя
DСредний чек
Правильный ответ.
invariant metrics должны оставаться одинаковыми между группами, потому что эксперимент не должен на них влиять.Разбор
Проверка доли распределения по группам помогает убедиться, что рандомизация и пайплайн назначения работают корректно. Если группы сильно отличаются по размеру или составу, остальные выводы становятся подозрительными. invariant metrics обычно проверяют до интерпретации primary metric и secondary metrics.
Проверь себя · 1/3разбор после ответа
Эксперимент длился 2 дня и пришёлся на выходные, а обычно в выходные конверсия выше. Как правильнее учитывать
seasonality при выводах?Ещё вопросы по теме «Метрики и guardrail-метрики»
- Вы тестируете новый экран оплаты; цель — увеличить число завершённых покупок. Какая метрика наиболее логична как `primary metric` для решения «выкатывать или нет»?
- Вы улучшаете рекомендации, и команда спорит, что считать успехом: `CTR`, добавления в корзину или выручку. Как лучше зафиксировать метрики перед запуском?
- В тесте новый онбординг улучшил `primary metric` (активацию), но упали повторные визиты и выросли отписки. Как корректнее использовать `secondary metrics` в такой ситуации?
- Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?
- Вы тестируете увеличение числа рекламных блоков в ленте, ожидая рост выручки. Какие метрики наиболее уместны как `guardrail metrics`?
- Все вопросы по «Метрики и guardrail-метрики» →