Senior Data Engineer - Spark & Data Lake (Remote)

Nextera; United States; Remote; USD 110,000 - 150,000; Full time

Job summary

Некстера в США ищет опытного Data Engineer для разработки и поддержки масштабируемых конвейеров данных. Основная область охватывает Bronze и Silver слои платформы данных.

Обязанности включают проектирование пакетной и потоковой обработки, сбор данных, развитие моделей data lake/warehouse, работу с Spark, Delta, Parquet, S3 и Kafka, а также внедрение мониторинга и контроля качества данных. Команда сотрудничает с аналитиками и backend.

Qualifications

• Сильные навыки SQL и Python.
• Опыт создания ETL/ELT пайплайнов в продакшн.
• Практический опыт Spark/PySpark, особенно в потоковой обработке.
• Опыт работы с Delta/Parquet и S3.
• Опыт с инструментами оркестрации, такими как Airflow.
• Опыт работы с Kafka и потоковыми пайплайнами.
• Опыт поддержки и улучшения продакшн-конвейеров данных.

Responsibilities

• Design and develop batch and streaming data pipelines
• Build and maintain data ingestion from internal and external sources
• Develop and evolve data lake / data warehouse models
• Optimize performance of Spark-based data processing jobs
• Develop and maintain dbt models and data contracts
• Implement and support monitoring, observability, and data quality checks
• Work with Kafka-based streaming pipelines
• Collaborate with analytics, marketing, platform, and backend teams

Skills

SQL

Python

ETL/ELT pipelines

Spark/PySpark

Delta tables

Parquet

S3

Kafka

Data warehousing

Observability

Data quality

Tools

Airflow

Job description

Некстера в США ищет опытного Data Engineer для разработки и поддержки масштабируемых конвейеров данных. Основная область охватывает Bronze и Silver слои платформы данных.

Обязанности включают проектирование пакетной и потоковой обработки, сбор данных, развитие моделей data lake/warehouse, работу с Spark, Delta, Parquet, S3 и Kafka, а также внедрение мониторинга и контроля качества данных. Команда сотрудничает с аналитиками и backend.