Эксперимент рассчитан только на новых пользователей. Критерий «новый пользователь» пересчитывается каждый день из-за особенностей ETL, и часть пользователей может внезапно перестать удовлетворять этому критерию в середине эксперимента. Какой риск самый существенный и как его снизить?
AРиска нет: сегментация по «новым пользователям» не влияет на рандомизацию и состав групп при любом способе пересчёта
BЕдинственный риск это уменьшение выборки из-за потерь, смещения оценки не возникает: выпадают пользователи случайно
CСелекция и несопоставимость групп из-за динамической принадлежности к сегменту: фиксируйте принадлежность по
user_id на момент назначенияDДостаточно увеличить долю тестовой группы для компенсации потерь и анализировать только тех, кто остался в сегменте на конец теста
Правильный ответ. Сегмент, зависящий от времени или данных после старта, может привести к выборочной потере пользователей и несопоставимости групп.
Разбор
Если пользователь может внезапно перестать удовлетворять критерию, вы фактически меняете состав выборки по ходу эксперимента. Это может происходить неодинаково в тестовой и контрольной группах, особенно если продуктовые изменения влияют на события, из которых строится сегмент. В результате сравнение становится смещённым и плохо интерпретируемым. Надёжный приём — фиксировать принадлежность к сегменту на момент назначения по user_id и анализировать по этому фиксированному признаку.
Проверь себя · 1/3разбор после ответа
Есть два фактора: новый дизайн карточки и новая логика рекомендаций. Команда хочет запустить два эксперимента одновременно на одной аудитории. В каком случае разумно выбрать факторный дизайн
2x2 вместо взаимного исключения аудиторий?Ещё вопросы по теме «Дизайн эксперимента и рандомизация»
- Вы тестируете новый экран оплаты. Пользователь может заходить в приложение много раз. Метрика — конверсия в покупку за 7 дней на уровне `user_id`. Какую единицу рандомизации выбрать, чтобы минимизировать смешение вариантов?
- Эксперимент рандомизируется по `user_id`, а вы считаете метрику на уровне `session_id` (например, длительность сессии) и сравниваете сессии как независимые наблюдения. Что здесь главное методологическое последствие?
- В тесте нового реферального механизма пользователь из тестовой группы отправляет приглашения друзьям, которые попадают в контрольную и тоже меняют поведение. Какое допущение нарушается и почему это важно?
- Эксперимент меняет алгоритм распределения заказов между курьерами. Курьеры обслуживают сразу нескольких пользователей, и решение для одного заказа влияет на время доставки других. Какой подход к рандомизации чаще всего лучше уменьшит взаимное влияние групп?
- Вы делаете разбивку пользователей на группы как `hash(user_id + day) % 2`, где `day` — текущая дата. Что самое вероятное следствие для эксперимента?
- Все вопросы по «Дизайн эксперимента и рандомизация» →