Data Engineer: Streaming, Data Lakes & Observability

Nexters; United States; Remote; USD 120,000 - 180,000; Full time

Benefits offered by this job

Medical care program

Paid vacation and sick leave

Relocation package

Online English courses

Job summary

Nexters — международная компания по разработке игр, ищет инженера данных для проектирования и разработки пакетных и потоковых пайплайнов. Важна сильная экспертиза SQL и Python, опыт работы с Spark/PySpark и Kafka, а также владение инструментами Airflow. Условия включают развитие data lake/warehouse и обеспечение качества данных.

Кандидат будет взаимодействовать с аналитиками, маркетингом, платформой и бэкендом, работать над улучшением производственных пайплайнов и наблюдаемостью данных.

Qualifications

• Сильные навыки SQL и Python.
• Опыт создания ETL/ELT конвейеров.
• Практический опыт Spark/PySpark, особенно в потоковой обработке.
• Понимание распределённых систем обработки и хранения.
• Опыт с архитектурами data lake и data warehouse.
• Опыт с Delta-таблицами, Parquet и S3.
• Опыт с инструментами оркестрации типа Airflow.
• Опыт работы с Kafka и потоковыми конвейерами.
• Опыт поддержки и улучшения production-пайплайнов.
• Опыт мониторинга и обеспечения качества данных.

Responsibilities

• Проектирование и разработка пакетных и потоковых конвейеров данных.
• Построение и поддержка ввода данных из внутренних и внешних источников.
• Разработка и развитие моделей data lake и data warehouse.
• Оптимизация Spark‑задач обработки данных.
• Разработка и сопровождение моделей dbt и контрактов данных.
• Внедрение и поддержка мониторинга, observability и проверок качества.
• Работа с потоковыми конвейерами на базе Kafka.
• Сотрудничество с аналитикой, маркетингом, платформой и бэкендом.

Skills

SQL

Python

ETL/ELT

Spark/PySpark

Distributed data processing

Data lake/Data warehouse

Delta tables/Parquet/S3

Airflow

Kafka

Observability/Quality data

Tools

Airflow

Kafka

Delta Lake

Parquet

S3

Spark

PySpark

Job description

Nexters — международная компания по разработке игр, ищет инженера данных для проектирования и разработки пакетных и потоковых пайплайнов. Важна сильная экспертиза SQL и Python, опыт работы с Spark/PySpark и Kafka, а также владение инструментами Airflow. Условия включают развитие data lake/warehouse и обеспечение качества данных.

Кандидат будет взаимодействовать с аналитиками, маркетингом, платформой и бэкендом, работать над улучшением производственных пайплайнов и наблюдаемостью данных.