Собеседование на Data Scientist в Rutube

Проверь себя · 1/3разбор после ответа
В A/B тесте всего по 25 пользователей на группу, конверсия 0/25 в контроле и 2/25 в варианте. Какой подход к проверке разницы долей обычно более аккуратен при такой малой выборке?

Почему Rutube — особенный работодатель для DS

Rutube — крупная видеоплатформа с пользовательским контентом, и почти все продуктовые задачи DS здесь крутятся вокруг рекомендаций видео. Модель должна для каждого пользователя собрать ленту из миллионов роликов, учитывая, что каталог постоянно пополняется, а сигналы обратной связи почти всегда неявные: пользователь редко ставит оценку, зато честно голосует временем просмотра, досмотрами, лайками и переходами к следующему видео.

Отсюда и специфика роли. DS в Rutube занимается рекомендательными системами, обучает эмбеддинги контента (чтобы близкие по смыслу ролики лежали рядом в векторном пространстве), прогнозирует watch time, строит sequence-модели для подсказки следующего видео и решает задачу холодного старта — как рекомендовать свежезалитый ролик или новый канал, о которых ещё нет статистики. Всё это оценивается через A/B-эксперименты, поэтому продуктовое мышление ценится не меньше, чем знание архитектур. Подробнее о вакансиях — на странице карьеры Rutube.

Информация в статье основана на публичных источниках и опыте кандидатов. Формат может отличаться по командам и грейдам. Уточняйте у рекрутера.

Этапы собеседования

Точное число этапов и их порядок зависят от команды и грейда, но в среднем процесс выглядит так.

1. Скрининг с рекрутером (30–45 минут)

Знакомство: опыт, мотивация, ожидания по грейду и деньгам. Отдельно уточнят, работали ли вы с рекомендательными системами и большими объёмами поведенческих данных — для видео-домена это ключевой сигнал.

2. SQL и Python (60 минут)

Живое кодирование. SQL нужен на уверенном middle-уровне: оконные функции, агрегации по сессиям, подсчёт метрик вовлечённости. Python — pandas и базовая работа с ML-фреймворком (numpy, sklearn, чаще всего PyTorch для эмбеддингов).

3. ML-теория (60–90 минут)

Ядро собеса. Спросят про подходы к рекомендациям (коллаборативная фильтрация, контентные модели, two-tower), про эмбеддинги, про то, как работать с неявной обратной связью, и про метрики ранжирования. Готовьтесь объяснять, почему для рекомендаций не подходит обычный AUC и чем его заменить.

4. ML system design (60 минут)

Разбор кейса вроде «спроектируй рекомендации видео на главной» или «модель для подсказки следующего ролика». Оценивают, как вы декомпозируете задачу: сбор фичей, генерация кандидатов, ранжирование, метрики, A/B-проверка, обработка холодного старта.

5. Поведенческое интервью + финал

STAR-истории про проекты, работу в команде и принятые решения, плюс обсуждение культурного соответствия. Иногда совмещается с финальной встречей с руководителем.

Что Rutube ценит в DS

  • Глубокие рекомендательные системы. Основная часть задач — это recsys, поэтому нужно уверенно ориентироваться в коллаборативной фильтрации, контентных моделях и two-tower-архитектурах.
  • Sequence-модели. Просмотры — это последовательность, и умение моделировать её (от сессионных подходов до трансформеров для next-item) сильно повышает ваши шансы.
  • Эмбеддинги. Векторные представления видео и пользователей — базовый инструмент для генерации кандидатов и решения холодного старта.
  • Работа с неявной обратной связью. Досмотры, время просмотра и клики — это шумный сигнал, и важно понимать, как превращать его в целевую переменную без утечек.
  • A/B-мышление. Любое улучшение модели должно доказываться экспериментом, поэтому от DS ждут понимания дизайна тестов и продуктовых метрик.

Типичные задачи и кейсы

  • «Спроектируй рекомендации видео для главной страницы» — от генерации кандидатов до ранжирования и метрик.
  • «Sequence-модель для подсказки следующего ролика» — как учесть порядок и контекст сессии.
  • «Прогноз watch time для нового видео» — какую целевую переменную выбрать и как избежать смещения.
  • «Классификация контента» — определение тематики или качества ролика по метаданным и сигналам.
  • «Холодный старт новых каналов» — как рекомендовать контент, по которому ещё нет статистики.
Готовься к собесу аналитика как в Duolingo
10 минут в день — SQL, Python, A/B, метрики. 1700+ вопросов в Telegram
Открыть Карьерник в Telegram

Как готовиться: план

  1. Рекомендательные системы вглубь. Коллаборативная фильтрация, контентные модели, two-tower, генерация кандидатов и ранжирование.
  2. Sequence-модели. Как моделировать последовательность просмотров — от сессионных подходов до трансформеров.
  3. Эмбеддинги. Эмбеддинги на собесе DS: как обучать, как использовать для похожести и холодного старта.
  4. A/B-эксперименты. Дизайн тестов, продуктовые метрики, статистическая значимость.
  5. SQL. Доведите до уверенного middle: оконные функции, сессионные агрегации, метрики вовлечённости.

Частые ошибки

  • Мерить рекомендации через AUC. Для ранжирования нужны NDCG, MRR, Recall@k — классификационные метрики здесь мало что говорят о качестве ленты.
  • Игнорировать неявную обратную связь. Кандидаты часто рассуждают так, будто есть явные оценки, хотя в видео почти всё держится на досмотрах и времени просмотра.
  • Слабый SQL. Даже сильный по ML кандидат проваливается, если не может быстро посчитать метрики по сырым событиям.

Связанные темы

FAQ

Сколько этапов на собесе DS в Rutube?

Обычно около 5: скрининг, техническая секция по SQL и Python, ML-теория, system design и поведенческое интервью. Точное количество зависит от команды и грейда.

Нужен ли опыт с видео или рекомендациями?

Желателен. Прямой опыт с recsys или ранжированием — сильное преимущество, но релевантным считается и опыт с любыми поведенческими данными и неявной обратной связью (лента, поиск, e-com).

Какой уровень SQL ожидают?

Уверенный middle: оконные функции, агрегации по сессиям, подсчёт метрик вовлечённости по сырым событиям.

Какие метрики спрашивают для рекомендаций?

Метрики ранжирования и вовлечённости: NDCG, MRR, Recall@k, а также продуктовые — watch time, глубина просмотра, retention. Будьте готовы объяснить, почему AUC здесь недостаточно.

Это официальная информация?

Нет. Этапы основаны на публичных источниках и опыте кандидатов и могут отличаться по командам и грейдам. Точный процесс уточняйте у рекрутера.