Вы сравниваете два дизайна страницы оплаты, но один вариант показывается только «горячим» пользователям (они уже нажали купить), а другой — всем на входе. Как корректнее измерить эффект дизайна без смещения?
AСравнить только тех пользователей, кто оплатил подписку, чтобы убрать шум и получить более чистый сигнал об эффекте дизайна на оплативших.
BПрименять варианты дизайна в чередующиеся недели и считать сезонность пренебрежимой, если внешние условия в эти недели похожи между собой.
CСравнить
ARPPU среди оплативших в каждом варианте, поскольку эта метрика лучше отражает ценность пользователей и устойчива к разнице составов.DРандомизировать пользователей на варианты и показывать оба дизайна по одинаковым правилам, а затем сравнить
ARPU и конверсию в платных.Правильный ответ. Если аудитории разные, появится смещение отбора; нужны контрольная группа и рандомизация при одинаковых правилах показа.
Разбор
«Горячая» аудитория почти всегда конвертируется лучше, поэтому её нельзя напрямую сравнивать с «холодной». Чтобы измерить эффект дизайна, нужно держать одинаковые условия входа на страницу оплаты и случайно распределять пользователей по вариантам. Тогда различия в конверсии в платных и ARPU можно интерпретировать как эффект дизайна, а не как эффект сегмента. Дополнительно полезно следить, не изменился ли процент пользователей, которые вообще доходят до оплаты.
Проверь себя · 1/3разбор после ответа
Вы добавили новый дешёвый тариф. Конверсия в платящих выросла, но общая выручка почти не изменилась. Что нужно проверить в первую очередь, чтобы понять риск каннибализации?
Ещё вопросы по теме «Монетизация и юнит-экономика»
- В freemium-приложении вы хотите понять, сколько в среднем приносит один платящий пользователь за месяц. Какая метрика отвечает на этот вопрос?
- Как корректнее считать месячный ARPU в модели freemium, где платит только часть аудитории?
- Вы тестируете новый экран оплаты и хотите измерить конверсию в оплату именно из просмотра этого экрана. Что должно быть в знаменателе?
- Как лучше всего интерпретировать `LTV` в продукте с подпиской?
- После изменения цен конверсия в оплату упала, но `ARPU` вырос. Какое объяснение наиболее вероятно?
- Все вопросы по «Монетизация и юнит-экономика» →