Задача звучит так: убери ботов из MAU. Какое уточнение наиболее важное, чтобы не заложить опасные допущения в фильтр?
AНужно ли параллельно с фильтрацией ботов обновить определение MAU и пересчитать исторические данные за прошлые периоды для сравнения
BКакие критерии бота используем, какой допустим риск ложных срабатываний и какие граничные случаи считаем приемлемыми для продукта
CНужно ли дополнительно посчитать долю ботов в DAU и WAU и отдельно вывести их на дашборд для мониторинга после применения фильтра
DНужно ли после фильтрации сравнить очищенный MAU с прошлым годом и отдельно показать, сколько процентов составляли боты в тот период
Правильный ответ. Фильтрация ботов — это выбор
criteria и явных assumptions про ошибки классификации и edge cases.Разбор
Любой фильтр ботов ошибается: можно удалить реальных пользователей или оставить часть ботов. Поэтому нужно договориться о criteria и о цене ошибок, то есть о допустимых assumptions и приоритетах бизнеса. Также важно заранее определить edge cases, например автоматизацию у партнеров или нагрузочное тестирование. После фиксации этих правил можно реализовывать фильтр и проверять его влияние на metric.
Ещё вопросы по теме «Постановка задачи»
- CEO пишет: «DAU упал на прошлой неделе, разберись что случилось». Что важнее всего уточнить в первую очередь, чтобы зафиксировать корректную область задачи и не уйти в ложные причины?
- Менеджер продукта говорит: «нужно поднять удержание в следующем квартале». Какой вопрос лучше задать первым, чтобы отделить цель от метрики и зафиксировать критерии успеха?
- В задаче написано: «Посчитай конверсию из установки в регистрацию». Какое уточнение наиболее критично для корректного определения числителя и знаменателя?
- Руководитель просит: «Сколько у нас активных пользователей за прошлый месяц?». Какой первый шаг наиболее правильный, чтобы избежать спорных пограничных случаев?
- В чате написали: отток вырос, срочно нужен отчёт. Какое уточнение важнее всего сделать первым, чтобы зафиксировать корректные допущения и определение?
- Все вопросы по «Постановка задачи» →