data engineer for customer data platforms

HireHi; United States; Remote; USD 120,000 - 180,000; Full time

Job summary

Intellias ищет дата-инженера в команду, работающего с пакетной и потоковой обработкой данных на Scala и Spark. Вы будете создавать и поддерживать ETL/ELT пайплайны, настраивать Airflow DAGs, работать с Kafka и Flink, проектировать модели данных и обеспечивать качество, мониторинг и надежность систем.

Требуется 5+ лет опыта, сильные знания Scala, Spark, Airflow, Kafka, а также умение работать автономно и владеть end-to-end системами.

Qualifications

• 5+ лет опыта дата-инженерии.
• Сильные навыки Scala и Apache Spark.
• Опыт построения и владения продукционными ETL/ELT пайплайнами.
• Опыт потоковой обработки с Kafka, Kafka Streams, Flink или аналогами.
• Опыт с Apache Airflow.
• Уверенная работа с Java, Scala, Python и конфигурационно-ориентированным кодом.
• Сильное моделирование данных, проектирование схем и мэппинг источников и целей.
• Опыт качества данных, валидации и устранения неполадок в продакшн.
• Сильные принципы инженерии ПО, включая тестирование, CI/CD и версионирование.
• Умение рецензировать код, сгенерированный AI.
• Плюс: опыт Flink, NoSQL (Cassandra, DynamoDB, ScyllaDB), CDP/identity/loyalty и наблюдаемость.

Responsibilities

• Проектирование, сборка и оптимизация пакетных и стриминговых пайплайнов на Scala и Spark.
• Разработка и поддержка стриминговых решений на Kafka/Flink.
• Постоянное создание Airflow DAGs, backfills и продакшн-воркфлоу.
• Проектирование моделей данных, схем и мэппинг source-to-target.
• Обеспечение качества данных, валидации и мониторинга.
• Устранение инцидентов продакшна и обеспечение надежности платформы.
• Ревью кода, созданного AI, и поддержка инженерного качества.
• Ответственность за системы end-to-end: производительность, стоимость, масштабируемость, надежность.

Skills

Scala

Apache Spark

ETL/ELT pipelines

Kafka

Flink

Airflow

Java

Python

Data modeling

CI/CD

Testing

AI-generated code review

Tools

Airflow

Kafka

Flink

Cassandra

DynamoDB

ScyllaDB

GitHub Copilot

Claude

Cursor

Job description

Описание:

Intellias provides technology engineering services and develops customer data platforms supporting customer data, identity resolution, bookings, loyalty programs, and AI-powered customer insights. Its platforms process large-scale batch and real-time data for Expedia Group.

Задачи:

Design, build, and optimize batch and streaming data pipelines using Scala and Spark; Develop and support Kafka/Flink-based streaming solutions; Build and maintain Airflow DAGs, backfills, and production workflows; Design data models, schemas, and source-to-target mappings; Implement data quality controls, validation, and monitoring; Troubleshoot production issues and ensure platform reliability; Review and validate AI-generated code and maintain engineering quality standards; Own systems end-to-end, including performance, cost, scalability, and reliability.

Требования:

5+ Years of Data Engineering experience; Strong Scala and Apache Spark skills; Experience building and owning production ETL/ELT pipelines; Streaming experience with Kafka, Kafka Streams, Flink, or similar; Experience with Apache Airflow; Comfortable with Java, Scala, Python, and configuration-heavy code; Strong data modeling, schema design, and source-to-target mapping skills; Experience with data quality, validation, and production troubleshooting; Strong software engineering practices, including testing, CI/CD, and versioning; Ability to review AI-generated code; Highly autonomous approach and end-to-end ownership of systems, datasets, reliability, cost, and quality; Nice to have: Flink expertise, ScyllaDB, Cassandra, DynamoDB, or other NoSQL platforms, Customer Data Platform (CDP), identity resolution, loyalty, clickstream, or booking data experience, SLAs, SLOs, observability, and monitoring, GitHub Copilot, Claude, Cursor, or similar AI-assisted development tools, awareness of spec-led development, spec-kit, and agent-skills.

Условия:

Work locations include Argentina, Brazil, Colombia, India, Mexico, Peru, Poland, and Ukraine; Equal opportunity employer with a commitment to equity, diversity, and inclusion.