Data Engineer Confirmé – Python / PySpark / Databricks (H/F)

Hillstone; Lyon; Vor Ort; EUR 60.000 - 90.000; Vollzeit

Zusammenfassung

Hillstone recrute un Data Engineer confirmé pour renforcer son équipe Data. Vous interviendrez sur des projets Big Data avec Python et PySpark, en particulier sur le traitement de masses de données et la migration/industrialisation vers Databricks.

Vous aurez à concevoir et optimiser des pipelines, assurer leur fonctionnement en production et soutenir les équipes Data Science dans leurs traitements, tout en veillant à la qualité et à la traçabilité des données.

Qualifikationen

• 5 années d'expérience en Data Engineering.
• Expertise significative en PySpark.
• Expérience de développement et d'optimisation de pipelines Spark avec gros volumes.
• Maîtrise Hadoop et/ou Databricks en production.
• Solide RUN, monitoring et supervision des traitements Data.
• Maîtrise de SQL, orchestration et CI/CD.

Aufgaben

• Concevoir, développer et optimiser des pipelines de données en Python/PySpark traitant des volumes importants.
• Maintenir et faire évoluer les traitements existants en production.
• Garantir performance, robustesse et qualité des pipelines en production.
• Mettre en place et améliorer la supervision et le monitoring des données.
• Participer à l'industrialisation et à la migration vers Databricks.
• Accompagner les équipes Data Science dans la mise en production des traitements.
• Contribuer aux bonnes pratiques de développement (tests, revue de code, CI/CD).

Kenntnisse

PySpark

Python

Data engineering

SQL

CI/CD

Monitoring

Hadoop

Databricks

Tools

Databricks

Airflow

GeoPandas

Sedona

Jobbeschreibung

Dans le cadre du renforcement d'une équipe Data chez l'un de nos clients grands comptes, acteur majeur du secteur de l'énergie, nous recherchons un Data Engineer confirmé disposant d'une solide expertise en Python/PySpark et dans le traitement de données massives.

Vous interviendrez sur des projets Data à forts enjeux, dans un environnement Big Data en constante évolution, avec notamment des travaux d'industrialisation et de migration vers Databricks.

• Concevoir, développer et optimiser des pipelines de données en Python/PySpark traitant des volumes importants.
• Assurer la maintenance évolutive et corrective des traitements existants.
• Garantir la performance, la robustesse et la qualité des pipelines en production.
• Mettre en place et améliorer les dispositifs de supervision, de monitoring et de contrôle qualité des données.
• Participer à la gestion des incidents et au maintien en conditions opérationnelles des traitements.
• Contribuer aux réflexions d'architecture et à l'industrialisation des solutions Data.
• Accompagner les équipes Data Science dans la mise en production de leurs traitements.
• Participer à la préparation et à la migration des pipelines vers Databricks.
• Contribuer aux bonnes pratiques de développement : tests, revue de code, CI/CD et documentation.

Environnement technique

• Base de données : PostgreSQL

Profil recherché

• Vous justifiez d'au moins 5 années d'expérience en Data Engineering, avec une expertise significative en PySpark.
• Vous avez une expérience concrète du développement et de l'optimisation de pipelines Spark traitant de gros volumes de données.
• Vous maîtrisez l'environnement Hadoop et/ou Databricks en production.
• Vous avez une solide expérience du RUN, du monitoring et de la supervision de traitements Data.
• Vous êtes à l'aise avec SQL, les outils d'orchestration et les pratiques d'intégration continue.
• Vous êtes autonome, rigoureux(se), proactif(ve) et capable de proposer des solutions techniques adaptées.
• Vous appréciez le travail en équipe et savez communiquer avec des interlocuteurs techniques et métiers.

Une expérience sur des données géospatiales (GeoPandas, Sedona) serait un plus.

Vous souhaitez intervenir sur des projets Big Data à forte volumétrie et contribuer à l'évolution d'une plateforme Data ?