Data Engineer — Remote (BigQuery, Airflow, Spark)

MMDSmart Ltd; United States; Hybrid; USD 100.000 - 140.000; Vollzeit

Benefits dieser Stelle

Медицинская страховка

Спортивная карта

Обучение и курсы

Гибкий формат работы

Zusammenfassung

MMDSmart Ltd ищет инженера по данным для построения и поддержки масштабируемых дата-пайплайнов и хранилищ данных. Ваша задача — работать с крупными данными, проектировать эффективные обработки и обеспечивать надёжность и производительность платформы данных.

Ключевые требования включают 4+ года опыта, опыт работы с SQL и BigQuery, Airflow и Spark, а также владение русским и английским языками. Возможна гибридная/удаленная работа с конкурентным вознаграждением.

Qualifikationen

• 4+ года опыта Data Engineer
• Опыт работы с SQL и Google BigQuery
• Опыт построения ETL-процессов и обработки больших наборов данных
• Навыки Python для обработки данных
• Практический опыт Airflow
• Опыт работы с Kafka или потоковыми пайплайнами
• Знание рус. и англ. языков

Aufgaben

• Проектирование и поддержка потоковых и пакетных пайплайнов данных
• Разработка ETL на Python и SQL
• Настройка и поддержка DAG Airflow
• Оптимизация запросов в BigQuery и моделей данных
• Мониторинг пайплайнов и обеспечение их надёжности
• Сотрудничество с аналитиками и инженерами данных

Kenntnisse

SQL

Python

Data modeling

Data warehousing concepts

Russian & English (B2+)

Tools

Google BigQuery

Apache Airflow

Apache Spark (PySpark)

Kafka / streaming pipelines

Jobbeschreibung

MMDSmart Ltd ищет инженера по данным для построения и поддержки масштабируемых дата-пайплайнов и хранилищ данных. Ваша задача — работать с крупными данными, проектировать эффективные обработки и обеспечивать надёжность и производительность платформы данных.

Ключевые требования включают 4+ года опыта, опыт работы с SQL и BigQuery, Airflow и Spark, а также владение русским и английским языками. Возможна гибридная/удаленная работа с конкурентным вознаграждением.