Snowpipe на собеседовании Data Engineer

Что такое Snowpipe

Snowpipe — сервис непрерывной загрузки данных в Snowflake. Как только файл появляется в облачном хранилище (S3, GCS, Azure Blob), Snowpipe подхватывает его и грузит в таблицу автоматически, обычно в пределах минуты после прибытия файла.

Главное отличие от обычного COPY INTO — режим работы. Классический COPY вы запускаете вручную или по расписанию (раз в час, раз в 15 минут), и данные появляются в таблице с задержкой в размер интервала. Snowpipe работает по событию прибытия файла, поэтому свежесть данных измеряется минутами, а не часами, и вам не нужно держать warehouse включённым ради загрузки — сервис serverless и сам управляет вычислениями.

На собесе про Snowpipe спрашивают, когда в вакансии есть Snowflake и слова «near-real-time», «continuous loading» или «event-driven ingestion». Типичный вопрос-развилка: «Чем Snowpipe отличается от COPY и когда что выбрать?» Короткий правильный ответ — COPY для батчей по расписанию, Snowpipe для микробатчей по мере поступления файлов.

Auto-ingest

Основной режим Snowpipe — автоматический. Схема простая: облачное хранилище при появлении нового файла отправляет событие (в случае S3 — уведомление в SQS), Snowpipe его получает и запускает COPY под капотом.

CREATE PIPE my_pipe AUTO_INGEST=TRUE AS
COPY INTO my_table
FROM @my_stage
FILE_FORMAT = (TYPE = PARQUET);

Чтобы это заработало, нужно связать хранилище со Snowpipe: Snowflake выдаёт ARN своей SQS-очереди (виден в SHOW PIPES), а вы настраиваете event notification в бакете S3 на эту очередь. После этого каждый PutObject в бакете приводит к автоматической загрузке файла. На интервью полезно проговорить именно эту цепочку — «S3 event → SQS → Snowpipe → COPY», потому что кандидаты часто знают, что «оно загружается само», но не могут объяснить, за счёт чего.

Загрузка через REST

Второй режим — уведомлять Snowpipe о файлах через REST API (метод insertFiles), без опоры на события хранилища.

client = SnowpipeClient(...)
client.insert_files(['file1.parquet', 'file2.parquet'])

Этот вариант выбирают, когда загрузкой управляет приложение и хочется явно контролировать, какие файлы и когда попадут в таблицу, — например, когда настроить event notifications в хранилище нельзя или когда пайплайн сам знает список готовых файлов. Здесь Snowflake не гарантирует немедленную загрузку по факту записи файла в бакет: загрузка стартует после вашего вызова API.

Snowpipe Streaming

Snowpipe Streaming (стал общедоступным в 2023) — это загрузка на уровне отдельных строк, вообще без промежуточных файлов.

SnowflakeStreamingIngestClient.insert_rows([row1, row2, ...])

Клиент пишет строки напрямую в таблицу через SDK, задержка падает до секунд. Это заметно дешевле и быстрее классической связки «Kafka → S3 → Snowpipe», где события сначала складывались в файлы, а потом файлы загружались. Именно поэтому Snowflake-коннектор для Kafka умеет работать в режиме Snowpipe Streaming — данные из топиков попадают в таблицу почти сразу, минуя стадию файлов в S3. На собесе это хороший ответ на вопрос «как сделать near-real-time загрузку из Kafka в Snowflake без лишней файловой прослойки».

Стоимость

Snowpipe — serverless, тарифицируется в кредитах Snowflake за фактически потреблённые вычисления. Ключевой нюанс, который проверяют на интервью: помимо compute есть накладная плата за каждый обработанный файл.

Из-за этой платы много мелких файлов обходятся дорого: сотни тысяч крошечных файлов дадут ощутимый счёт именно за оверхед на файл, а не за объём данных. Отсюда стандартные рекомендации по оптимизации:

• Агрегируйте файлы до разумного размера. Ориентир из документации Snowflake — порядка 100–250 МБ в сжатом виде на файл. Это снижает и оверхед на файл, и общее время загрузки.
• Сжимайте данные. Меньше байт на загрузку — меньше compute-кредитов; Parquet и gzip тут стандартный выбор.

Частые ошибки

Путать Snowpipe с COPY по расписанию. Snowpipe реагирует на событие прибытия файла, а не запускается по крону. Если ответить «Snowpipe — это COPY, который вызывается каждые N минут», интервьюер сразу поймёт, что механику вы не знаете.

Грузить много мелких файлов. Из-за платы за каждый файл поток из тысяч мелких объектов дорогой и медленный. Правильно — собирать данные в файлы порядка сотни мегабайт до загрузки.

Забыть про настройку S3-событий в auto-ingest. AUTO_INGEST=TRUE сам по себе ничего не загрузит, пока в бакете не настроено уведомление на SQS-очередь Snowflake. Это самая частая причина «пайп создан, а данные не едут».

Считать, что Snowpipe даёт строгий порядок и exactly-once. Snowpipe грузит файлы по мере готовности и гарантирует, что файл не загрузится дважды (дедуп по имени файла в пределах окна), но не гарантирует порядок между файлами. Для строгих гарантий порядка нужна другая архитектура.

Связанные темы

• Snowflake vs BigQuery для DE
• S3 и object storage для DE
• CDC vs batch loading для DE
• Streaming SQL для DE
• Подготовка к собесу Data Engineer

FAQ

Чем Snowpipe отличается от обычного COPY?

COPY INTO — команда пакетной загрузки, которую запускают вручную или по расписанию, и она держит warehouse включённым. Snowpipe — serverless-сервис, который грузит файлы по событию их появления в хранилище, обеспечивает свежесть данных в пределах минут и сам управляет вычислениями. COPY выбирают для крупных батчей, Snowpipe — для непрерывного потока файлов.

Как работает auto-ingest под капотом?

Облачное хранилище при записи нового файла отправляет уведомление в очередь (для S3 — в SQS-очередь, ARN которой выдаёт Snowflake). Snowpipe читает эти события и для каждого нового файла выполняет COPY из стейджа в таблицу. Без настроенных уведомлений в бакете auto-ingest работать не будет.

Когда использовать Snowpipe Streaming вместо файлового Snowpipe?

Когда нужна задержка в секунды и данные приходят построчно (например, из Kafka). Streaming пишет строки напрямую через SDK, минуя стадию файлов в S3, поэтому он быстрее и дешевле связки «Kafka → S3 → Snowpipe». Файловый Snowpipe остаётся удобнее, когда источник уже отдаёт данные файлами.

Почему много мелких файлов — это дорого?

У Snowpipe есть накладная плата за каждый обработанный файл поверх платы за вычисления. Поток из тысяч крошечных файлов накапливает этот оверхед и обходится дороже, чем те же данные в нескольких крупных файлах. Поэтому файлы агрегируют до размера порядка 100–250 МБ в сжатом виде.

Гарантирует ли Snowpipe exactly-once и порядок загрузки?

Snowpipe не загрузит один и тот же файл дважды (дедупликация идёт по имени файла в пределах окна хранения метаданных), то есть даёт защиту от дублей на уровне файлов. Но строгий порядок между файлами он не гарантирует: файлы обрабатываются по мере готовности. Если порядок критичен, его нужно обеспечивать на уровне схемы данных или обработки.

Тренируйте Data Engineering — откройте тренажёр с 1500+ вопросами для собесов.