A/B тест: пользователи случайно распределены по группам, но у каждого много сессий. Вы агрегировали метрику до уровня пользователя user_mean и сравниваете группы. Какой тест по дизайну подходит лучше всего?

AПарный paired t-test, потому что у пользователя много сессий
Bchi-square тест, потому что данные по сессиям
CНепарный independent t-test, потому что группы пользователей разные
DТест на равенство дисперсий вместо теста разницы средних
Правильный ответ. После агрегации до пользователя сравнение идёт между разными группами пользователей, то есть дизайн independent.

Разбор

Ключевой вопрос — пересекаются ли объекты сравнения: пользователь относится либо к A, либо к B. Если метрика сведена к одному числу на пользователя, наблюдения независимы между группами, и подходит independent t-test. Типичная ошибка — тестировать по сессиям без агрегации и получить псевдоувеличение n из-за зависимости внутри пользователя.

Проверь себя · 1/3разбор после ответа
20 пользователей по очереди используют два дизайна (A и B), и для каждого пользователя измерено время выполнения задачи в обоих вариантах. Какой t-test подходит для сравнения средних времен?
Тренировать статистику в Telegram

Ещё вопросы по теме «Тесты для средних»