Data Engineer (H/F)

Onyx-Conseil; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer pour intervenir sur une plateforme Data à fort volume dans un environnement international orienté produit. Vous rejoindrez une équipe technique chargée de construire, industrialiser et faire évoluer des solutions collectant, transformant et exposant la donnée.

Vous travaillerez sur une Modern Data Stack avec Lakehouse, Databricks et S3, en privilégier l’évolutivité, l’automatisation et la qualité des données, tout en respectant les pratiques Agile et

Qualifications

• Expérience en conception et maintien de pipelines de données robustes.
• Maîtrise des langages Python/Spark/SQL et des outils DevOps pour l’ingénierie data.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données scalables.
• Collecter et transformer des données variées, les rendre accessibles aux équipes Data et métiers.
• Développer des traitements avec Python/PySpark/SQL et orchestrer via Airflow.
• Participer à la modélisation et à la structuration des données.
• Mettre en place des contrôles qualité et optimiser les coûts et performances.

Connaissances

Python

PySpark

SQL

Outils

Airflow

dbt

Databricks

GitHub

CI/CD

Description du poste

Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e)Data Engineerpour intervenir sur une plateforme Data à fort volume, au sein d'un environnement international et orienté produit.

Vous rejoindrez une équipe technique en charge de construire, industrialiser et faire évoluer des solutions permettant de collecter, transformer, fiabiliser et exposer la donnée à destination des équipes Data et métiers.

L'environnement repose sur uneModern Data Stack, avec une architecture de typeLakehouse, et de forts enjeux autour de la scalabilité, de l'automatisation et de la qualité des données.

Vos missions

• Concevoir, développer et maintenir des pipelines de données robustes et scalables.

• Collecter, transformer et mettre à disposition des données provenant de différentes sources.

• Développer des traitements enPython / PySpark / SQL.

• Orchestrer les pipelines de données et les workflows avecAirflow.

• Participer à la modélisation et à la structuration des données.

• Développer et maintenir les transformations avecdbt.

• Mettre en place des contrôles permettant de garantir la qualité et la fiabilité des données.

• Optimiser les performances et les coûts des traitements.

• Participer à l'amélioration continue de la plateforme Data.

• Contribuer aux sujets deData Governance, Data Lineage et Data Contracts.

• Appliquer les bonnes pratiques de Software Engineering : Git, GitHub, CI/CD, tests et documentation.

• Travailler en étroite collaboration avec les Data Engineers, Analytics Engineers, Data Analysts et Data Scientists.

Environnement technique

• Cloud :AWS / GCP

• Data Platform :Databricks, S3

• Processing :Spark / PySpark

• Langages :Python, SQL, idéalement Scala

• Orchestration :Airflow

• Transformation :dbt

• Data Quality :Great Expectations

• Versioning / Delivery :Git, GitHub, CI/CD

• Data :Lakehouse, Data Lineage, Data Governance, Data Contracts

• Méthodologies :Agile / Scrum / Kanban