Собеседование на Data Engineer в МегаФон

Почему МегаФон — особенный работодатель для DE

МегаФон — крупный российский телеком с ~75 млн абонентов. DE работает с массивными CDR (call detail records), биллингом, локационными данными, активностью в реальном времени. Стэк: Hadoop / Spark для batch, ClickHouse для аналитики, Kafka + Spark Streaming для real-time, Airflow для оркестрации.

Особенность: телеком данные приходят непрерывно потоком, объём в TB ежедневно. DE отвечает за надёжность pipelines, качество данных, retention-policy, compliance (закон о связи, 152-ФЗ, СОРМ). Подробнее — на странице карьеры МегаФона.

Этапы собеседования

1. Скрининг с рекрутером (30 минут)

Опыт, мотивация. Специфика:

• Был ли опыт с big data / streaming
• Знание SQL deep + Python
• Готовность к телеком-объёмам данных

2. SQL и Python (60 минут)

SQL deep — оконки, EXPLAIN. Python — pandas, pyspark.

3. Big Data + Streaming (60-90 минут)

Spark deep + Kafka + Spark Streaming.

4. ClickHouse (45-60 минут)

Партиционирование, materialized views, типы engines (MergeTree, ReplicatedMergeTree).

5. Архитектура (60 минут)

«Pipeline для real-time CDR», «витрина churn-prediction с SLA 1 час», «retention данных 5 лет».

6. Поведенческое + финал

STAR + стратегический разговор.

Что МегаФон ценит в DE

• Streaming. Kafka + Spark Streaming для CDR.
• ClickHouse. Партиционирование, MV, engines.
• Big data. Spark на десятки TB.
• Compliance. 152-ФЗ, закон о связи, СОРМ.
• Performance. Real-time pipelines в SLA.

Типичные задачи и кейсы

• «Pipeline для real-time CDR: Kafka → Spark → ClickHouse»
• «Spark job на 3 TB локаций. SLA — 30 минут»
• «ClickHouse partitioning для CDR: по дням или часам»
• «Retention CDR на 5 лет: где хранить, как стоимость»
• «Skewed key (топ-1% абонентов — 30% событий). Решение»

Как готовиться: план

1. Spark deep. RDD, DataFrame, optimizer, shuffle, skew.
2. Streaming. Kafka, Spark Streaming, exactly-once, checkpointing.
3. ClickHouse. Engines, partitioning, MV.
4. DWH. Star schema, SCD.
5. Compliance. 152-ФЗ, закон о связи, СОРМ.

Частые ошибки

• Streaming поверхностно. Без понимания Kafka / Streaming — нерелевантный кандидат.
• ClickHouse поверхностно. Engines, partitioning — обязательно.
• Слабая SQL. Senior-уровень.
• Игнорировать compliance. Локации абонентов — privacy.

Связанные темы

• Собеседование на DE в МТС
• Собеседование на DE в Яндекс
• Spark на собесе DE
• ClickHouse и OLAP
• Собеседование на DS в МегаФон

FAQ

Сколько этапов в собеседовании на DE в МегаФоне?

Обычно 5-6: рекрутер → SQL/Python → Spark → ClickHouse/streaming → архитектура → поведенческое + финал. Срок 4-6 недель.

Нужен ли телеком-опыт?

Желателен. Релевантным считается опыт с большими streaming данными.

Какие инструменты главные?

Spark + Hadoop + Kafka + ClickHouse + Airflow.

Спрашивают ли real-time?

Да, для команд CDR / биллинга.

Это официальная информация?

Этапы основаны на публичных источниках и опыте кандидатов. Уточняйте у рекрутера.