data engineer for large-scale data platforms

HireHi; United States; Remote; USD 110,000 - 180,000; Full time

Job summary

Intellias ищет инженера по данным с опытом разработки пакетных и потоковых пайплайнов на Scala и Spark. Участвует в создании и поддержке Kafka‑решений, Airflow‑DAGs и схем данных; обеспечивает мониторинг и поддержку продакшна.

Кандидат должен владеть SQL/ETL, тестированием и CI/CD, демонстрировать ответственность и умение работать в команде с инженерами и потребителями данных. Удаленная работа доступна для ряда стран.

Qualifications

• 3+ года опыта в Data Engineering.
• Работа с Scala и Apache Spark.
• Опыт пакетной обработки и распределённых систем.
• Опыт Kafka/Kafka Streams, Flink или аналогичных технологий.
• Опыт Apache Airflow.
• Знание моделирования данных, SQL и ETL/ELT.
• Опыт тестирования, ревью кода, систем контроля версий и CI/CD.
• Сильные навыки устранения неполадок и поддержки в продакшн.
• Хорошие коммуникационные навыки и ответственность.
• Желательно: Flink, NoSQL (Cassandra, DynamoDB, ScyllaDB) и данные о клиентах/клик‑потоках/AI-инструменты.

Responsibilities

• Разработка и сопровождение пакетных и потоковых пайплайнов.
• Поддержка решений на Kafka.
• Создание и поддержка DAG в Airflow.
• Моделирование данных, сопоставление схем и валидация.
• Мониторинг работ пайплайнов и устранение production issues.
• Рецензирование AI‑сгенерированного кода.
• Сотрудничество с командами инженеров и data consumers.

Skills

Data engineering

Batch processing

Distributed systems

Troubleshooting

Communication

Ownership mindset

Tools

Scala

Apache Spark

Kafka

Kafka Streams

Flink

Airflow

Cassandra

DynamoDB

ScyllaDB

Job description

Описание

Intellias is a technology company delivering data engineering and software development solutions. Its projects include large-scale data platforms, customer data systems, compliance-related data engineering, data source integration, and platform modernization.

Задачи

• Develop and maintain batch and streaming data pipelines using Scala and Spark
• Build and support Kafka-based data processing solutions
• Create and maintain Airflow DAGs and workflows
• Implement data models, schema mappings, and validation checks
• Monitor pipeline health, troubleshoot production issues, and support deployments
• Review and validate AI-generated code and proposed implementations
• Collaborate with senior engineers, product teams, and data consumers.

Требования

• 3+ Years of Data Engineering experience
• Hands‑on experience with Scala and Apache Spark
• Experience with batch processing and distributed data systems
• Experience with Kafka, Kafka Streams, Flink, or similar streaming technologies
• Experience with Apache Airflow
• Knowledge of data modeling, SQL, and ETL/ELT development
• Experience with testing, code reviews, version control, and CI/CD
• Strong troubleshooting and production support skills
• Good communication skills and an ownership mindset
• Nice to have: Flink experience, Cassandra, DynamoDB, ScyllaDB, or other NoSQL databases, customer data, clickstream, loyalty, booking, or transactional data experience, Copilot, Claude, Cursor, or other AI-assisted development tools, understanding of data quality monitoring and observability.

Условия

Remote work is available from Colombia, India, Mexico, Peru, Poland, and Ukraine; No conditions specified.