Data Engineer: End-to-End Pipelines & Databricks Expert

Sijo; Paris; On-site; EUR 60,000 - 90,000; Full time

Job summary

Free-Work recherche un ingénieur data pour concevoir et implémenter des pipelines d'ingestion et de transformation, en batch et en temps réel, robustes et scalables à Paris.

Vous développerez les flux ETL Talend alimentant le datalake et les systèmes consommateurs, ainsi que des traitements Python/PySpark sur Databricks et les modèles de données cibles, tout en appliquant les meilleures pratiques de CI/CD et de qualité des données. Vous participerez aussi aux tests et à la mise en production.

Qualifications

• Expérience en conception et maintenance de pipelines de données.
• Maîtrise d'ETL Talend et des workflows batch/temps réel.
• Bonnes compétences en Python/PySpark et Databricks.

Responsibilities

• Concevoir et implémenter des pipelines ingestion/Transformation robustes et scalables.
• Développer des flux ETL Talend alimentant le datalake et les systèmes consommateurs.
• Réaliser les traitements Python/PySpark sur Databricks et modéliser les données cibles.
• Mettre en œuvre dbt, QA, monitoring et CI/CD pour les pipelines.

Skills

Pipelines ingestion

ETL Talend

Python

PySpark

CI/CD

Tools

Databricks

dbt

Job description

Free-Work recherche un ingénieur data pour concevoir et implémenter des pipelines d'ingestion et de transformation, en batch et en temps réel, robustes et scalables à Paris.

Vous développerez les flux ETL Talend alimentant le datalake et les systèmes consommateurs, ainsi que des traitements Python/PySpark sur Databricks et les modèles de données cibles, tout en appliquant les meilleures pratiques de CI/CD et de qualité des données. Vous participerez aussi aux tests et à la mise en production.