Data Engineer

Sijo; Paris; On-site; EUR 60,000 - 90,000; Full time

Job summary

Free-Work recherche un ingénieur data pour concevoir et implémenter des pipelines d'ingestion et de transformation, en batch et en temps réel, robustes et scalables à Paris.

Vous développerez les flux ETL Talend alimentant le datalake et les systèmes consommateurs, ainsi que des traitements Python/PySpark sur Databricks et les modèles de données cibles, tout en appliquant les meilleures pratiques de CI/CD et de qualité des données. Vous participerez aussi aux tests et à la mise en production.

Qualifications

• Expérience en conception et maintenance de pipelines de données.
• Maîtrise d'ETL Talend et des workflows batch/temps réel.
• Bonnes compétences en Python/PySpark et Databricks.

Responsibilities

• Concevoir et implémenter des pipelines ingestion/Transformation robustes et scalables.
• Développer des flux ETL Talend alimentant le datalake et les systèmes consommateurs.
• Réaliser les traitements Python/PySpark sur Databricks et modéliser les données cibles.
• Mettre en œuvre dbt, QA, monitoring et CI/CD pour les pipelines.

Skills

Pipelines ingestion

ETL Talend

Python

PySpark

CI/CD

Tools

Databricks

dbt

Job description

• Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables.
• Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs.
• Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles.
• Automatiser les transformations, la documentation et les tests de données avec dbt.
• Configurer les pipelines d'acheminement des données, y compris les flux CDC.
• Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging.
• Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets.
• Réaliser les développements et les tests associés, et accompagner les mises en production.