data engineer for Data Platform

Enfint; Deutschland; Remote; EUR 90.000 - 130.000; Vollzeit

Zusammenfassung

Enfint приглашает опытного инженера данных для разработки и оптимизации Data Platform и процессов обработки данных. Ваша работа будет включать проектирование сложных интеграций и ETL/ELT-процессов, а также формирование стандартов разработки DAGs, логирования и качества данных.

Вы будете работать над производительностью и архитектурой DWH, участвовать в архитектурных решениях и наставлять команду, влиять на будущее структурирования платформы. Требуется глубокий опыт в SQL, Python и Airflow.

Qualifikationen

• Экспертные знания SQL
• Продвинутый уровень Python
• Глубокий опыт Apache Airflow
• Опыт работы с Greenplum или другими MPP-базами данных
• Сильное понимание Data Platform, DWH, Data Quality и Data Governance
• Желателен опыт ClickHouse, S3, OpenMetadata, CI/CD и DevOps практик

Aufgaben

• Разрабатывать иoptimизировать Data Platform и рабочие процессы обработки данных
• Проектировать сложные интеграции и ETL/ELT-процессы
• Устанавливать стандарты разработки DAGs, логирования, качества и документации
• Работа над производительностью и архитектурой DWH
• Участвовать в архитектурных решениях и наставлять команду
• Влиять на будущую структуру платформы

Tools

Apache Airflow

Greenplum

MPP databases

SQL

Python

Data Platform

DWH

Data Quality

Data Governance

ClickHouse

S3

OpenMetadata

CI/CD

DevOps practices

Jobbeschreibung

Описание:

No description

Задачи:

• Develop and optimize the Data Platform and data processing workflows
• Design complex integrations and ETL/ELT processes
• Establish development standards for DAGs, logging, quality, and documentation
• Work on DWH performance and architecture
• Participate in architectural decisions and mentor the team
• Influence how the platform will be structured in the future

Требования:

• Expert-level SQL
• Advanced Python
• Deep experience with Apache Airflow
• Experience with Greenplum or other MPP databases
• Strong understanding of Data Platform, DWH, Data Quality, and Data Governance
• Nice to have: experience with ClickHouse, S3, OpenMetadata, CI/CD, and DevOps practices

Условия:

No conditions specified