Вы сравниваете два дизайна paywall, но один вариант показывается только «горячим» пользователям (они уже нажали купить), а другой — всем на входе. Как корректнее измерить эффект дизайна без смещения?

«Горячая» аудитория почти всегда конвертируется лучше, поэтому её нельзя напрямую сравнивать с «холодной». Чтобы измерить эффект дизайна, нужно держать одинаковые условия входа в paywall и случайно распределять пользователей по вариантам. Тогда различия в conversion to paid и ARPU можно интерпретировать как эффект paywall, а не как эффект сегмента. Дополнительно полезно следить, не изменился ли процент пользователей, которые вообще доходят до paywall.