Техлид спрашивает: «сколько у нас ошибок в приложении». Какое уточнение самое важное, чтобы выбрать правильный знаменатель и критерии?

AНужно ли строить отдельный отчёт по моделям телефонов и операционным системам, чтобы выделить проблемные устройства из общей картины
BКакие версии приложения учитывать в расчёте и стоит ли считать только последний релиз, чтобы оценить эффект свежих изменений в коде
CЧто считать ошибкой по определению, какая критичность учитывается и нормируем ли счётчик на знаменатель вроде сессий или пользователей
DКакой период брать для сравнения с базовой линией и нужно ли учитывать недавние релизы при расчёте абсолютного числа ошибок в продукте
Правильный ответ. Без определения ошибки и выбора знаменателя нельзя интерпретировать уровень проблем и сравнивать периоды по единым критериям.

Разбор

Сырые числа ошибок часто вводят в заблуждение, потому что растут вместе с трафиком. Нужно определение события ошибки, правила по критичности и выбор знаменателя, чтобы понимать частоту на пользователя или на сессию. Также важно зафиксировать окно наблюдения, иначе пики могут быть связаны с релизом или внешними событиями. Разрезы по моделям телефонов, цвета на графиках и сравнение с конкурентами — вторичны: без общей метрики они ничего не дадут.

Открыть Карьерник в Telegram

Ещё вопросы по теме «Постановка задачи»