Senior Data Engineer: Customer Data Platform Pipelines

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Intellias ищет дата-инженера в команду, работающего с пакетной и потоковой обработкой данных на Scala и Spark. Вы будете создавать и поддерживать ETL/ELT пайплайны, настраивать Airflow DAGs, работать с Kafka и Flink, проектировать модели данных и обеспечивать качество, мониторинг и надежность систем.

Требуется 5+ лет опыта, сильные знания Scala, Spark, Airflow, Kafka, а также умение работать автономно и владеть end-to-end системами.

Qualifications

• 5+ лет опыта дата-инженерии.
• Сильные навыки Scala и Apache Spark.
• Опыт построения и владения продукционными ETL/ELT пайплайнами.
• Опыт потоковой обработки с Kafka, Kafka Streams, Flink или аналогами.
• Опыт с Apache Airflow.
• Уверенная работа с Java, Scala, Python и конфигурационно-ориентированным кодом.
• Сильное моделирование данных, проектирование схем и мэппинг источников и целей.
• Опыт качества данных, валидации и устранения неполадок в продакшн.
• Сильные принципы инженерии ПО, включая тестирование, CI/CD и версионирование.
• Умение рецензировать код, сгенерированный AI.
• Плюс: опыт Flink, NoSQL (Cassandra, DynamoDB, ScyllaDB), CDP/identity/loyalty и наблюдаемость.

Responsibilities

• Проектирование, сборка и оптимизация пакетных и стриминговых пайплайнов на Scala и Spark.
• Разработка и поддержка стриминговых решений на Kafka/Flink.
• Постоянное создание Airflow DAGs, backfills и продакшн-воркфлоу.
• Проектирование моделей данных, схем и мэппинг source-to-target.
• Обеспечение качества данных, валидации и мониторинга.
• Устранение инцидентов продакшна и обеспечение надежности платформы.
• Ревью кода, созданного AI, и поддержка инженерного качества.
• Ответственность за системы end-to-end: производительность, стоимость, масштабируемость, надежность.

Skills

Scala

Apache Spark

ETL/ELT pipelines

Kafka

Flink

Airflow

Java

Python

Data modeling

CI/CD

Testing

AI-generated code review

Tools

Airflow

Kafka

Flink

Cassandra

DynamoDB

ScyllaDB

GitHub Copilot

Claude

Cursor

Job description

Intellias ищет дата-инженера в команду, работающего с пакетной и потоковой обработкой данных на Scala и Spark. Вы будете создавать и поддерживать ETL/ELT пайплайны, настраивать Airflow DAGs, работать с Kafka и Flink, проектировать модели данных и обеспечивать качество, мониторинг и надежность систем.

Требуется 5+ лет опыта, сильные знания Scala, Spark, Airflow, Kafka, а также умение работать автономно и владеть end-to-end системами.