В A/B тесте функция работает только у пользователей с новой версией приложения, а обновляются быстрее более активные пользователи. Что лучше проверить первым, чтобы понять риск смещения?

Рандомизация работает только тогда, когда обе группы имеют доступ к функции одинаково. Если функция доступна только обновившимся, а активные обновляются быстрее — в тестовой группе систематически больше активных пользователей, и разница в метриках частично объясняется составом, а не эффектом фичи. Первый шаг — сравнить состав групп по активности, поведенческим сегментам, версии приложения и другим срезам, чтобы понять масштаб смещения. Прыгать сразу к p-value бессмысленно при подозрении на disbalance. Удаление активных пользователей выкинет нужную аудиторию и не решит проблему.