Задача звучит так: Убери ботов из MAU. Какое уточнение наиболее важное, чтобы не заложить опасные assumptions в фильтр?

AНужно ли параллельно с фильтрацией ботов обновить definition MAU и пересчитать исторические данные за прошлые периоды для сравнения.
BКакие criteria бота используем, какой допустим риск ложных срабатываний, и какие edge cases считаем приемлемыми для продукта
CНужно ли дополнительно посчитать долю ботов в DAU и WAU и отдельно вывести их на дашборд для мониторинга после применения фильтра.
DНужно ли после фильтрации сравнить очищенный MAU с прошлым годом и отдельно показать, сколько процентов составляли боты в тот период.
Правильный ответ. Фильтрация ботов — это выбор criteria и явных assumptions про ошибки классификации и edge cases.

Разбор

Любой фильтр ботов ошибается: можно удалить реальных пользователей или оставить часть ботов. Поэтому нужно договориться о criteria и о цене ошибок, то есть о допустимых assumptions и приоритетах бизнеса. Также важно заранее определить edge cases, например автоматизацию у партнеров или нагрузочное тестирование. После фиксации этих правил можно реализовывать фильтр и проверять его влияние на metric.

Открыть Карьерник в Telegram

Ещё вопросы по теме «Постановка задачи»