Тесты для средних: вопросы для собеседования (часть 2)
z-тест, t-тест (одновыборочный, двухвыборочный, парный), тест Уэлча — основные инструменты для сравнения средних. На собеседовании спрашивают, когда использовать z vs t, что делать при неравных дисперсиях и как проверить предпосылки теста. Сравнение средних — ядро большинства аналитических задач.
Вопросы 6–10 из 20
6Для какой метрики `t-test` для средних наиболее естественен?
AСреднее время загрузки страницы `load_time` в миллисекундах
BДоля конверсии в покупку `conversion_rate` среди показанных карточек
CКоличество уникальных пользователей `unique_users` за неделю
DДоля ошибок `error_rate` от общего числа запросов в логе
Ответ: `t-test` по определению сравнивает средние значения количественной метрики.
`t-test` для средних предназначен для непрерывных метрик с приближённо нормальным распределением среднего по выборке (по `CLT` это выполняется при достаточном `n`). Время загрузки `load_time` — типичный пример: метрика непрерывная, у неё есть дисперсия, можно осмысленно сравнивать средние двух групп. Доли (`conversion_rate`, `error_rate`) — бинарные метрики на уровне наблюдения; для них корректнее z-test для пропорций или хи-квадрат, хотя `t-test` тоже работает приблизительно при больших `n`. Количество уникальных пользователей — счётчик, для сравнения которого обычно используют тесты на счётные данные.
Подробный разбор → 7В A/B эксперименте пользователи случайно распределены: группа A видит старую страницу, группа B — новую; пользователи не пересекаются. Какой тест сравнения средних подходит для метрики `revenue_per_user`?
AПарный `t-test`, где парами выступают одни и те же пользователи в группе A и в группе B одновременно
B`chi-square` тест по таблице 2x2 как наиболее уместный способ сравнения средних между двумя независимыми группами
CНепарный двухвыборочный `t-test` для сравнения средних значений двух независимых групп пользователей продукта
DПарный `t-test`, где парами выступают сессии одного и того же дня в группах A и B по календарной дате теста
Ответ: Для двух независимых групп используют непарный (двухвыборочный) `t-test` для сравнения средних.
В A/B группы состоят из разных пользователей, поэтому наблюдения независимы. Двухвыборочный `t-test` сравнивает средние двух выборок при этой структуре данных. Если ошибочно применить парный тест, вы искусственно создадите пары и получите неверную интерпретацию.
Подробный разбор → 8A/B тест: пользователи случайно распределены по группам, но у каждого много сессий. Вы агрегировали метрику до уровня пользователя `user_mean` и сравниваете группы. Какой тест по дизайну подходит лучше всего?
AПарный `t-test`, потому что у каждого пользователя есть много сессий внутри одной из двух групп
BТест `chi-square`, потому что данные изначально записаны на уровне отдельных сессий пользователей
CНепарный `t-test` для двух независимых выборок, потому что группы пользователей не пересекаются
DТест на равенство дисперсий двух выборок вместо обычного теста разницы средних значений
Ответ: После агрегации до пользователя сравнение идёт между разными группами пользователей — дизайн независимых выборок.
Ключевой вопрос — пересекаются ли объекты сравнения: пользователь относится либо к A, либо к B. Если метрика сведена к одному числу на пользователя, наблюдения независимы между группами, и подходит непарный `t-test`. Типичная ошибка — тестировать по сессиям без агрегации и получить псевдоувеличение n из-за зависимости внутри пользователя.
Подробный разбор → 9Вы получили `CI 95%` для разницы средних A−B: `[-1.2; 0.4]`. Что это означает на уровне значимости `alpha = 0.05`?
AРазница средних точно отрицательная и равна нижней границе интервала, то есть `-1.2` на уровне `alpha = 0.05`
BРазница средних точно положительная и равна верхней границе интервала, то есть `0.4` на уровне `alpha = 0.05`
CНельзя отвергнуть `H0` при `alpha = 0.05`, потому что значение `0` попадает внутрь `CI` для разницы средних
DМожно утверждать, что `A` и `B` различаются с вероятностью 95%, поскольку именно это и означает запись `CI 95%`
Ответ: Если `CI` для разницы включает `0`, то при `alpha = 0.05` эффект не считается статистически значимым.
Доверительный интервал показывает диапазон правдоподобных значений эффекта по данным. Если `0` лежит внутри `CI`, то нулевая разница совместима с наблюдениями, и `H0` обычно не отвергают на уровне `0.05`. Типичная ошибка — трактовать `CI` как вероятность истинного эффекта или как гарантию знака разницы.
Подробный разбор → 10В каких условиях предпосылка равенства дисперсий наиболее критична для классического `t-test` с pooled-дисперсией для независимых выборок?
AКогда обе группы одинакового размера и при этом число наблюдений в каждой из них очень большое
BКогда данные в обеих группах уже близки к нормальным, а значит дисперсии можно считать неважными
CКогда тест парный, потому что сами пары увеличивают суммарную дисперсию между наблюдениями
DКогда размеры групп заметно разные и при этом дисперсии в этих группах тоже заметно различаются
Ответ: Pooled-вариант чувствителен к разным дисперсиям, особенно при заметно разных размерах групп.
Если дисперсии отличаются и одна группа существенно больше, pooled-оценка может неверно оценить стандартную ошибку и уровень ошибок первого рода. В таких случаях чаще выбирают `t-test` Уэлча, не предполагающий равенства дисперсий. Типичная ошибка — использовать pooled-вариант «по умолчанию» без проверки размеров и разброса. Это особенно неприятно в A/B-тестах, где случайные перекосы по размеру групп вполне возможны.
Подробный разбор →