Базовая статистика для продакт-менеджера

Зачем PM статистика

Продакт без статистики делает выводы на интуиции — это дорого. Один клиент пожаловался → «фича плохая». A/B-тест на 100 юзерах показал 5% лифт → «работает!». Без статистики невозможно отделить шум от сигнала.

Глубокая математика PM не нужна. Хватит понимания базы: среднее vs медиана, дисперсия, p-value, доверительный интервал. Этого достаточно для интерпретации результатов от аналитика и принятия решений.

Среднее vs медиана

Среднее — сумма значений делённая на количество. Чувствительно к выбросам.

Медиана — значение в середине отсортированного списка. Устойчиво к выбросам.

Пример: зарплаты 5 человек: 50к, 60к, 65к, 70к, 500к. Среднее = 149к. Медиана = 65к.

Среднее завышено выбросом (500к). Медиана отражает «типичное» значение.

Для PM правило: если данные имеют длинный хвост (revenue, время в продукте, количество заказов на юзера) — используйте медиану. Среднее обманет.

Дисперсия и стандартное отклонение

Дисперсия — среднее квадратов отклонений от среднего. Показывает разброс данных.

Стандартное отклонение (σ) — корень из дисперсии. В тех же единицах, что и данные.

Зачем PM: если у одной фичи retention в среднем 30% ± 2%, а у другой 30% ± 15% — первая стабильнее. Вторая может работать круто или плохо для разных сегментов.

На собесе спросят: «Что важнее — среднее или дисперсия?» Ответ: «Зависит от задачи. Для маркетинга — среднее (общий объём). Для UX — дисперсия (стабильность опыта)».

Распределения

PM встречает 3 главных распределения:

• Нормальное — рост, IQ, шум измерений. Симметричное, без длинных хвостов
• Логнормальное — revenue, время до события, размер заказа. Длинный правый хвост
• Power law — viral content, доход топ-юзеров. Очень длинный хвост, 80/20 правило

Большинство продуктовых метрик — log-normal или power law, не нормальное. Поэтому медиана важнее среднего.

P-value и значимость

P-value — вероятность получить такие же или более экстремальные результаты, если разницы между группами на самом деле нет.

P-value 0.03 = 3% вероятность, что наблюдаемая разница случайна. Стандартный порог 0.05 → результат «статистически значим».

Подводный камень — p-value не говорит:

• Насколько большая разница (это effect size)
• Что разница важна для бизнеса
• Что вы правильно дизайнили эксперимент

PM должен спрашивать аналитика не только «p-value?», но и «effect size?» и «практическая значимость?»

Доверительные интервалы

Альтернатива p-value, часто понятнее. ДИ 95% означает: «при повторении эксперимента 100 раз, истинное значение метрики будет в этом интервале в 95 случаях».

Например: «Лифт 5% [ДИ 95%: 2-8%]» — мы уверены, что истинный лифт от 2 до 8%. Если интервал не включает 0 — есть значимый эффект.

ДИ говорит больше, чем p-value: показывает не только «есть эффект или нет», но и «насколько большой» с погрешностью.

Частые ошибки

Использовать среднее на длинном хвосте. Revenue per user — длинный хвост. Среднее обмануто 1% супер-богатыми. Используйте медиану.

Останавливать тест при p<0.05. Это peeking — проблема многократного тестирования. Размер выборки нужен заранее.

Игнорировать effect size. P-value 0.001 на лифте 0.1% — статистически значимо, но бизнесу это не нужно.

Сравнивать средние без проверки на нормальность. Если данные log-normal, t-тест на средние неточен. Используйте Mann-Whitney или bootstrap.

Принимать «не значимо» как «нет эффекта». Эффект может быть, но размер выборки мал. «Не значимо» = «не доказано», не «нет эффекта».

FAQ

Какие книги читать PM по статистике?

«Statistics for Hackers» (Allen Downey) — практичная база. «Trustworthy Online Controlled Experiments» (Kohavi) — для A/B-тестов.

Нужна ли PM продвинутая математика?

Нет. Бейзовая интуиция в среднем/медиане/p-value достаточна. Продвинутую математику делает аналитик.

Это официальная информация?

Нет. Статья основана на индустриальных практиках.