100+ вопросов с разборами — от дизайна эксперимента до CUPED. Проверь знания как на настоящем собеседовании, прямо в Telegram.
Как правильно спланировать A/B-тест: выбор метрик, единица рандомизации, длительность теста.
MDE, power analysis, формула расчёта — обязательная тема для middle-аналитика.
α, β, мощность теста, p-value — фундамент для принятия решений по результатам теста.
Как ускорить эксперимент и повысить чувствительность теста — продвинутая тема для senior.
Когда можно остановить тест раньше? Always valid p-values, group sequential methods.
Peeking, сеть-эффекты, novelty effect, Simpson's paradox — реальные кейсы из продакшена.
Попробуйте ответить — потом проверьте разбор.
Вы запустили A/B-тест, и через 2 дня p-value = 0.01. Можно ли остановить тест и объявить победителя?
Ответ: нет. Ранняя остановка при фиксированном тесте — это peeking problem. p-value при малой выборке нестабилен и завышает значимость.
Решение: дождаться запланированного размера выборки или использовать sequential testing.Peeking — самая частая ловушка на собеседованиях. Проверяет реальное понимание p-value.
Конверсия в контроле: 5%. Хотим обнаружить изменение на 0.5 п.п. (MDE = 10% относительных). α = 0.05, β = 0.2.
n ≈ 16 × p(1−p) / δ²
n ≈ 16 × 0.05 × 0.95 / 0.005² ≈ 30 400 на группу
При 1000 пользователей в день — тест займёт ~61 день (2 группы).Формулу наизусть не обязательно — но логику расчёта спрашивают всегда.
CUPED (Controlled-experiment Using Pre-Experiment Data) — метод снижения дисперсии.
Идея: вычитаем из метрики предсказуемую часть на основе пре-экспериментальных данных.
Ŷ_cuped = Y − θ(X − E[X])
Снижает дисперсию на 50-90%, сокращает длительность теста в 2-10 раз.CUPED спрашивают в Яндексе, Авито, Тинькофф — маст-хэв для senior.
Дизайн эксперимента, CUPED, ловушки — начните с того, что спрашивают чаще всего.
Вопросы с вариантами ответа и кейсами из реальных экспериментов.
После ответа — подробное объяснение: почему этот вариант верный, формулы и примеры.
Стрик, лиги, квесты — как в Duolingo. Видно, какие темы уже освоены, а где нужно подтянуть.
| Карьерник | Статьи на Habr | Karpov Courses | |
|---|---|---|---|
| Формат | интерактивный тест | статья | платный курс |
| Вопросы с собеседований | + | частично | + |
| CUPED, sequential testing | + | разрозненно | + |
| Проверка знаний | + | - | + |
| Мобильное приложение | Telegram | - | web |
| Геймификация | стрик, лиги | - | - |
| Бесплатно | + | + | - |
Более 100 вопросов по A/B-тестированию, разбитых по темам: дизайн эксперимента, размер выборки, ошибки I и II рода, CUPED, sequential testing, метрики. Вопросы регулярно пополняются.
Да, основной функционал бесплатный. Вы можете решать задачи, читать разборы и отслеживать прогресс без оплаты.
Базовые знания помогут, но не обязательны. Каждый вопрос содержит подробный разбор с объяснением теории. Начните с простых тем и двигайтесь к сложным.
Да, вопросы составлены по мотивам реальных собеседований в Яндекс, Тинькофф, Ozon, Avito и другие компании. A/B-тестирование — одна из ключевых тем на собеседованиях аналитиков.
Да. Тренажёр работает как Telegram Mini App — открывается прямо в мессенджере на любом устройстве.
Статьи дают теорию, Карьерник — проверяет понимание. Вопросы с ловушками, реальные кейсы, разбор частых ошибок. Плюс геймификация: стрик, лиги, квесты.
100+ вопросов с разборами. Бесплатно. Прямо в Telegram.
Открыть тренажёр