Распределения и выбросы: вопросы для собеседования (часть 3)
Гистограмма, box plot, violin plot — инструменты для визуализации распределений и обнаружения выбросов. На собеседовании спрашивают, как визуализировать распределение времени загрузки страницы или как обнаружить и обработать выбросы. Выбор между гистограммой и box plot зависит от того, что именно нужно показать аудитории.
Вопросы 11–15 из 20
11Что чаще всего означают отдельные точки за пределами «усов» на стандартном `boxplot`?
AЭто все наблюдения выше 75-го перцентиля, и они всегда трактуются как ошибки сбора и удаляются из анализа без проверки
BЭто наблюдения, помеченные как выбросы по правилу, связанному с перцентилями и интерквартильным размахом (`p25 - 1.5*IQR`, `p75 + 1.5*IQR`)
CЭто медиана и квартили, продублированные на графике для удобства, чтобы были видны вместе с прямоугольником в одной плоскости
DЭто данные, которые нельзя интерпретировать без дополнительных графиков, поэтому их обычно скрывают и не показывают аудитории
Ответ: Точки за «усами» на `boxplot` обычно помечают выбросы по правилу `IQR`.
В классическом `boxplot` «усы» часто идут до `p25 - 1.5*IQR` и `p75 + 1.5*IQR`, где `IQR = p75 - p25`. Значения за пределами этого диапазона отображаются отдельными точками. Это не автоматически ошибки, а кандидаты на проверку.
Подробный разбор → 12Вы видите единичные экстремальные значения в метрике времени ответа. Что разумнее всего сделать первым шагом перед удалением выбросов?
AСразу удалить все выбросы из выборки, чтобы итоговый график выглядел красиво и аккуратно для презентации
BПроверить, не являются ли выбросы реальными редкими случаями или ошибками логирования и единиц измерения
CЗаменить гистограмму на столбчатую диаграмму, считая, что новый тип графика автоматически уберёт проблему
DПосчитать только среднее значение и игнорировать форму распределения, предполагая, что выбросы её не искажают
Ответ: Выбросы могут быть и реальностью, и ошибкой — сначала диагностируйте причину, а уже потом решайте, что с ними делать.
Экстремальные значения могут отражать реальные сбои, пиковую нагрузку или редкие сценарии. Но они также могут появляться из-за ошибок единиц измерения, таймзон или дубликатов. Перед удалением стоит проверить источники данных и контекст, а затем уже решать, как их учитывать в анализе. Тихое удаление или смена графика проблему не решают и могут скрыть реальный сигнал.
Подробный разбор → 13Вы сравниваете распределение выручки по двум когортам на гистограмме. Что важно сделать, чтобы сравнение было честным?
AСортировать бины по убыванию частоты: крупные значения распределения выручки видны слева на графике
BИспользовать разные `bin_width` для каждой когорты: столбцы получаются красивее и читаются с одного взгляда
CПоказать одну когорту целиком, а вторую описать словами рядом с графиком, чтобы не загромождать пространство
DИспользовать одинаковые границы бинов и одинаковый `bin_width` для двух когорт ради сопоставимости столбцов
Ответ: Для сравнения распределений на гистограмме нужны одинаковые границы бинов и одинаковый `bin_width`.
Если бины разные, визуальные различия могут быть чисто артефактами биннинга. Одинаковые границы и `bin_width` дают сопоставимые столбцы. При сильной асимметрии распределения также полезно перейти на логарифмическую шкалу, но одинаковость шкал должна сохраняться.
Подробный разбор → 14Вы построили гистограмму и видите два пика. Какой следующий шаг помогает понять, не является ли это артефактом ширины бина?
AСразу удалить экстремальные значения, считая, что именно они создают видимость второго пика на графике
BУменьшать ширину бина без оглядки на результат, чтобы каждое наблюдение почти попадало в отдельный бин
CСменить тип графика на ящик с усами и считать, что вопрос о бимодальности больше не возникает
DПостроить гистограмму с несколькими значениями ширины бина и проверить, сохраняются ли два пика устойчиво
Ответ: Проверяйте форму распределения при разных значениях ширины бина, чтобы исключить артефакты биннинга.
Два пика могут быть реальной смесью подгрупп или результатом неудачного разбиения на бины. Построение нескольких гистограмм с разной шириной бина помогает понять, сохраняется ли бимодальность. Если структура устойчива, имеет смысл искать объяснение в сегментах данных. Удаление экстремумов или смена графика на ящик с усами не отвечает на исходный вопрос про артефакт биннинга.
Подробный разбор → 15Вы строите гистограмму по редкой метрике и видите «зубчатую» форму: много пустых бинов и несколько заполненных. Какой фактор наиболее вероятно приводит к этой картине?
AНеправильный выбор `boxplot` вместо гистограммы автоматически создаёт зубчатую форму у любой метрики
BСлишком маленькая выборка или слишком мелкая ширина бина при текущем объёме данных приводят к рваной форме
CБольшая правая асимметрия распределения всегда делает гистограмму зубчатой при любом размере выборки
DЛогарифмическая шкала по оси Y обязательно исправит зубчатость без увеличения выборки и подбора бинов
Ответ: При малом числе наблюдений и мелкой ширине бина гистограмма выглядит рвано из-за дискретности и шума.
Если наблюдений мало, распределение по бинам получается нестабильным, и часть интервалов оказывается пустой просто из-за дискретности данных. Это нормальное следствие малой выборки, а не свойство процесса. Чтобы оценка формы стала устойчивее, можно увеличить ширину бина, объединить периоды или собрать больше данных. Логарифмическая шкала меняет восприятие, но сама по себе зубчатость не лечит, а асимметрия и неверный выбор графика тут ни при чём.
Подробный разбор → Другие темы: Визуализация данных