Data Engineer

Insight Conseils et Portage; Lille; Sur place; EUR 55 000 - 85 000; Plein temps

Résumé du poste

Insight Conseils et Portage recrute un Data Engineer pour des projets Data Product chez l’un de nos clients à Lille. Vous garantissez l’accessibilité, la fiabilité et la qualité des données de pricing et jouerez un rôle pivot dans l’évolution des pipelines Data et des outils Orion.

La mission peut être CDI ou portage salarial, localisée dans la métropole lilloise, avec une stack Databricks, SQL, DBT, Python/PySpark et Astro/Airflow pour assurer la fiabilité des chaînes de production Data et la

Qualifications

• Expérience significative en data engineering dans un cadre agile (Scrum).
• Bonne maîtrise de Databricks, SQL, DBT et PySpark.
• Connaissance d’Astro et d’Airflow pour fiabiliser les chaînes de production Data.
• Expérience sur AWS et Spark Scala serait un plus.
• Pratique du CI/CD avec Git/GitLab/GitHub et anglais écrit nécessaire.

Responsabilités

• Concevoir, construire et maintenir des pipelines et infrastructures Data robustes et performants.
• Garantir une architecture et une modélisation des flux optimisés et évolutifs.
• Assurer la qualité du code et promouvoir les meilleures pratiques.
• Rédiger une documentation claire et pérenne des développements.
• Apporter une expertise technique et guider l’équipe dans les choix.
• Transformer la stack legacy vers les nouveaux standards de la Data Platform.
• Assurer le RUN et les SLA du data pipeline avec la philosophie "You run it".
• Veiller à la qualité, fiabilité et gouvernance des données de pricing.

Connaissances

Data Bricks

SQL

DBT

Python / PySpark

Astro / Airflow

Git/GitLab/GitHub

Anglais (écrit)

Outils

AWS

Description du poste

Insight Conseils et Portage est une société de portage salarial spécialisée dans l’accompagnement des consultants indépendants et des entreprises du secteur IT.

Nous recrutons un Data Engineer dans le cadre de projets Data Product pour une mission chez l’un de nos clients. Cette mission a un impact majeur sur le business car vous garantissez l'accessibilité, la fiabilité et la qualité des données au service des différentes équipes qui ont des besoins relatifs aux données de pricing. Vous jouez un rôle pivot dans le succès des nouveaux projets d'intégration d'outils et l'évolution de ses systèmes.

Opportunité possible en CDI ou en portage salarial.

Localisation : Métropole Lilloise

Stack technique :

Databricks (gestion des clusters, optimisation des performances des workload Big Data, mise en place d'une gouvernance solide)

SQL (Modélisation, Optimisation des traitements)

DBT (industrialisation, documentation et testing des modèles de données)

Python / PySpark (transformation et traitement des données)

Astro/ Airflow pour garantir la fiabilité des chaines de production Data

• Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes
• Garantir une architecture et une modélisation des flux optimisés et évolutives.
• Garantir la qualité du code et promouvoir les meilleures pratiques.
• Garantir la clarté et la pérennité des développements par une documentation rigoureuse.
• Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques.
• Transformer la stack legacy vers les nouveaux standards de la Data Platform.
• Garantir un RUN de qualité (SLA) selon le principe "You build it, you run it".
• Assurer la qualité, la fiabilité et la gouvernance des données de pricing

Votre profil :

• Vous avez une expérience significative en tant que data engineer acquise en environnement agile (Scrum) aussi bien sur des sujets techniques et fonctionnels, avec un intérêt pour le RUN (support et exploitation) ainsi qu’une aisance relationnelle pour interagir avec plusieurs acteurs.
• Vous savez développé une approche simple sans over engineering.
• Concernant le stack technique, vous avez une expérience significative sur Data Bricks, SQL, DBT, Python / Pyspark ainsi que sur Astro / Airflow
• Une expérience sur AWS et Spark Scala seraient un plus.
• Vous participez au code review et êtes attachés aux principes de CI/CD via des outils tels que Git/GitLab/GitHub.
• La pratique de l’Anglais est nécessaire, a minima à l'écrit, pour interagir au quotidien avec des acteurs internationaux non francophones.