Собеседование на Data Engineer в Касперском

Почему Касперский — особенный работодатель для DE

Лаборатория Касперского — международная security-компания. DE работает с уникальным доменом: события телеметрии с миллионов устройств (Windows, Android, macOS, Linux), классификация malware, threat intelligence feeds, NLP-pipelines для анализа угроз.

Особенность: огромные потоки security событий в реальном времени (миллиарды событий в день), требования низкой задержки для антивирусных решений, специфический ML стек. Подробнее — на странице карьеры Касперского.

Этапы собеседования

1. Скрининг с рекрутером (30 минут)

Опыт, мотивация. Специфика:

• Был ли опыт с big data / streaming / security
• Знание SQL deep + Python
• Готовность работать с миллиардами событий в день

2. SQL и Python (60 минут)

SQL — middle-senior. Python — pandas, базовый pyspark.

3. Big Data + Streaming (60-90 минут)

Spark + Kafka + Spark Streaming. Особый фокус — exactly-once, ordering, idempotency.

4. ClickHouse / OLAP (45-60 минут)

ClickHouse для security аналитики, partitioning, materialized views.

5. Архитектура (60 минут)

«Pipeline для real-time threat detection», «классификация malware в проде», «retention security events на 1 год».

6. Поведенческое + финал

STAR + стратегический разговор.

Что Касперский ценит в DE

• Streaming. Kafka + Spark Streaming, exactly-once, ordering.
• Big data. Spark глубоко.
• ClickHouse. Для аналитики security событий.
• CS basics. Алгоритмы, структуры данных.
• Domain learning. Security — специфический домен.

Типичные задачи и кейсы

• «Pipeline для real-time threat detection: миллиарды событий в день»
• «Классификация malware: pipeline от raw телеметрии до результата»
• «Retention security events на 1 год: где хранить, как стоимость»
• «Exactly-once в Kafka + Spark Streaming: реализация»
• «Skewed key в Spark: топ-1% устройств — 20% событий»

Как готовиться: план

1. Spark deep. RDD, DataFrame, optimizer, shuffle, skew.
2. Streaming. Kafka, Spark Streaming, exactly-once, ordering.
3. ClickHouse. Engines, partitioning, MV.
4. CS basics. Алгоритмы для коддинг-этапа.
5. Security-domain. Базовое понимание malware, telemetry.

Частые ошибки

• Streaming поверхностно. Без exactly-once / ordering — нерелевантный кандидат.
• Слабые CS-основы. В Касперском CS-знания спрашивают глубоко.
• Spark поверхностно. Shuffle, skew, broadcast — must.
• Игнорировать security domain. Без понимания telemetry — слабо.

Связанные темы

• Собеседование на DE в Яндекс
• Собеседование на DE в Т-Банке
• Spark на собесе DE
• Kafka streaming
• Собеседование на DS в Касперском

FAQ

Сколько этапов в собеседовании на DE в Касперском?

Обычно 5-6: рекрутер → SQL/Python → coding → Spark/streaming → ClickHouse → архитектура → поведенческое + финал. Срок 4-6 недель.

Нужен ли security-опыт?

Желателен. Релевантным считается опыт с anomaly detection, fraud.

Какие инструменты главные?

Spark + Kafka + ClickHouse + Hadoop + Airflow.

Сложный ли собес?

Один из самых технически насыщенных в РФ. CS-основы спрашивают глубоко.

Это официальная информация?

Этапы основаны на публичных источниках и опыте кандидатов. Уточняйте у рекрутера.