Стейкхолдеры предлагают считать успех теста одновременно ростом конверсии, выручки и времени в приложении. Какой подход к метрикам наиболее здравый?

Несколько основных метрик часто дают конфликтующие сигналы и повышают шанс выбрать победителя случайно. Лучше заранее договориться об одном решающем показателе, близком к цели продукта, например OEC. Остальные метрики полезны, но их роль должна быть определена заранее: диагностика (вторичные метрики) или ограничения рисков (защитные метрики). Постфактумный выбор метрики по p-value и «победа по любой метрике» — это p-hacking и почти гарантированно приведут к ложноположительным выводам.