Сегментация и конфаундинг: вопросы для собеседования (часть 4)
Конфаундинг — когда скрытая переменная создаёт ложную связь между метриками. Парадокс Симпсона, omitted variable bias, необходимость контроля за ковариатами — темы, которые проверяют аналитическое мышление. На собеседовании дают пример, где тренд в данных исчезает или разворачивается при разбивке на сегменты.
Вопросы 16–20 из 20
16Новая функция доступна только `users`, которые включили `beta`. Команда сравнила их `retention` с остальными `users` и увидела рост. Какой следующий шаг наиболее корректен для анализа?
AСразу запускать функцию на всех, потому что `retention` выше
BИгнорировать результат, потому что `segment` `beta` слишком маленький
CПризнать риск `selection bias` и пытаться получить сравнение без `self-selection`, например через `randomization` или `like-for-like` с `control variable`
DУвеличить `denominator` по времени, пока не получится нужный вывод
Ответ: Добровольный `beta` почти всегда создаёт `selection bias`, поэтому нужно сравнение без `self-selection`.
Пользователи `beta` обычно более мотивированы, и их `base rate` может быть выше. Поэтому рост `retention` может отражать состав аудитории, а не эффект функции. Лучшее решение — сделать `randomization` или сопоставимое сравнение `like-for-like` с контролем ключевых факторов.
17В продукте запустили опрос удовлетворённости. В `segment` `device` `desktop` отвечает заметно больше `users`, чем в `segment` `device` `mobile`, и отвечают в основном самые активные. Какой риск для сравнения результатов между `segment`?
AРиска нет, потому что опрос автоматически делает `randomization`
BЭто чистый `сдвиг микса`, который всегда повышает точность
CЭто `selection bias`: ответы не репрезентативны для всего `segment`, поэтому сравнение может быть искажено
DНужно просто заменить метрику на `conversion rate`, и `selection bias` исчезнет
Ответ: Если отвечают неслучайные `users`, возникает `selection bias` и результаты по `segment` могут быть искажены.
Опрос отражает не всю аудиторию, а подмножество, которое само решило ответить, то есть есть `self-selection`. Если доля ответивших различается между `segment`, сравнение становится нечестным. Чтобы снизить проблему, полезно следить за репрезентативностью и анализировать влияние участия в опросе как `control variable`.
18Команда сравнила среднее время доставки между `region` north и `region` south и увидела, что в north дольше. Позже выяснилось, что в north больше заказов крупногабаритных товаров. Что здесь наиболее вероятно объясняет разницу?
AЭто `selection bias`, потому что `users` выбирают `region`
BЭто значит, что `confounder` отсутствует и вывод точный
CЭто результат `randomization`, поэтому спорить нельзя
DЭто `сдвиг микса` по `segment` типа товара, поэтому нужно контролировать `product category` как `control variable`
Ответ: Разница может быть следствием `сдвиг микса` по `segment` типов заказов, а не качества доставки в `region`.
Крупногабаритные товары обычно доставляются дольше, поэтому состав заказов влияет на среднее время. Если в north доля такого `segment` выше, среднее будет хуже даже при одинаковой скорости логистики. Корректно сделать `stratification` по `product category` или сравнить `like-for-like` внутри одинаковых типов товаров.
19После изменения поиска общий `conversion rate` вырос, но в ключевом `segment` возвращающихся пользователей `conversion rate` снизился. Как корректнее всего интерпретировать результат?
AНужно сообщить только общий рост и не показывать `segment`, чтобы не путать
BНужно сообщить только падение в ключевом `segment` и игнорировать общий рост
CНужно объяснить оба факта: возможен `mix shift` между `segment`, поэтому важно смотреть эффект `like-for-like` и принимать решение с учётом цели
DЭто доказывает, что данные некорректны, потому что общий и `segment` не могут различаться
Ответ: Общий результат и `segment` результат могут расходиться из-за `mix shift`, поэтому важно уточнить, для какой аудитории принимается решение.
Если доля новых пользователей выросла, общий `rate` может улучшиться за счёт одного `segment`, при этом ключевой `segment` может пострадать. Решение о запуске зависит от продуктовой цели и ценности разных сегментов. Хорошая практика — показать разрезы по `segment`, их доли и выводы `like-for-like`.
20После запуска агрессивной кампании в `channel` paid общий `churn` вырос. Продуктовая команда считает, что продукт ухудшился. Какой вывод наиболее осторожный?
AРост `churn` доказывает, что продукт стал хуже для каждого `segment`
BЭто обязательно ошибка данных, потому что `churn` не может расти
CНужно убрать `segment` анализ и смотреть только общий `churn`
DВозможен `сдвиг микса`: пришла аудитория с другим `base rate` удержания, поэтому нужно сравнить `churn` `like-for-like` по `channel`, `region` или `cohort`
Ответ: Рост общего `churn` после изменения состава трафика может быть следствием `сдвиг микса`, а не ухудшения продукта.
Платный трафик часто приносит `users` с другим `base rate` и другими ожиданиями. Если доля такого `segment` выросла, общий `churn` может увеличиться даже при стабильном поведении старых сегментов. Корректный шаг — сделать `stratification` по ключевым `confounder` и посмотреть динамику внутри сегментов `like-for-like`.
Хотите тренировать интерактивно?
В приложении — таймер, прогресс, стрики и 1700+ вопросов по всем темам.
Тренировать в Telegram