Lead Data Engineer Senior

PROPULSE IT; Paris; Sur place; EUR 50 000 - 90 000; Plein temps

Résumé du poste

Une entreprise en pleine croissance recherche un Lead Data Ingénieur passionné par l'innovation et la technologie. Vous serez au cœur de l'équipe digitale, responsable de l'infrastructure data et de la transformation des données pour un client prestigieux. Ce rôle vous permettra de piloter une équipe dynamique tout en garantissant la qualité et la sécurité des données dans le respect des normes GDPR. Si vous êtes un expert en Cloud Computing, avec une forte expérience en Data Engineering et une sensibilité aux enjeux e-commerce, cette opportunité est faite pour vous. Rejoignez un environnement stimulant où votre expertise fera la différence.

Qualifications

• 7+ ans d'expérience en Data Engineering avec une maîtrise de Python et SQL.
• Expérience sur GCP et AWS, avec des compétences en ETL et conformité RGPD.

Responsabilités

• Industrialisation de la Data Platform sous GCP et automatisation des déploiements.
• Maintenance des pipelines de données et mise en place de solutions d'observabilité.

Connaissances

Data Engineering

Python

SQL

Cloud Computing

GCP

AWS

ETL

Data Quality

GDPR Compliance

e-Commerce

Formation

Bac +5 en ingénierie ou Master Big Data

Outils

Google Cloud Platform (GCP)

BigQuery

DataForm

Cloud DataFlow

Cloud PubSub

LookerStudio

PowerBI

Terraform

Apache Beam

Kafka

Description du poste

PROPULSE IT accompagne ses clients grands comptes et PME dans la mise en œuvre des projets IT et digitaux. PROPULSE IT est un réseau de consultants à forte valeur ajoutée, complètement associé à notre démarche qualité de suivi des besoins et projets de nos clients. À ce jour, le réseau de freelance PROPULSE IT comporte plus de 30 000 consultants sur toute la France et couvre l'ensemble des besoins IT et digitaux. En constituant ce réseau par cooptation de clients ou de consultants, nous avons privilégié la constance dans le savoir-faire technique et le savoir-être, pour devenir un véritable partenaire privilégié de nos clients. Parallèlement, nous avons développé un réseau de partenaires sélectionnés pour leur expertise technique et l'adhésion aux valeurs de notre entreprise. Aujourd'hui, PROPULSE IT est une société en pleine croissance organique, Champion de la Croissance du journal Les Echos 5 années consécutives. Ce développement s'appuie sur la qualité et la pérennité des missions réalisées. La satisfaction client est ainsi liée à l'épanouissement des consultants ! Alors, n'hésitez pas à postuler !

Description du poste :

PROPULSE IT recherche un Lead Data Ingénieur ayant près de 10 ans d'expérience pour un de ses clients. En tant que Lead Data Engineer, vous travaillerez au sein de l'équipe digitale « data et performance », en charge principalement de l'infrastructure data, et du traitement, de l'intégration et de la transformation de la donnée digitale d'Hermès (hermes.com). Vous serez aussi garant de sa qualité et sa sécurité et du respect de la vie privée liée à cette donnée. Vous serez rattaché au Data Manager et vous animerez et piloterez une équipe de 2 Data Engineers au quotidien. Vous travaillerez principalement sur le Cloud de Google (GCP), mais aussi en partie sur le Cloud Amazon (AWS). Le respect de la vie privée étant au cœur de votre travail, vous devrez être conscient des problématiques liées à la GDPR. Des connaissances sur les problématiques liées à l'e-Commerce sont un plus.

• Principales Activités :

1. Industrialisation de l'infrastructure de la Data Platform sous GCP : Vous avez pour principale mission d'accompagner l'équipe Data et Performance dans l'industrialisation de sa plateforme data via :

• Mise en place d'environnements dédiés et cloisonnés (Dev / Preprod / Production)
• L'automatisation du déploiement et la maintenance des environnements via des outils d'infrastructure as code (Terraform) sous GCP
• Mise en place de solutions d'observabilité (monitoring, alerting) au sein de GCP

Manipulation / Transformation de données (en batch et stream) : Vous accompagnerez aussi l'équipe Data dans ses activités de transformation de données via :

• Maintenance de pipelines de données en Python (batch et stream)
• Pipelines de transformation en SQL / SQLX dans l'outil DataForm (similaire à DBT)
• Mise en place et maintenance d'un outil de data quality (ex : great expectations en Python)
• Aider au développement des workers dans le Cloud AWS pour récupérer la donnée depuis Kafka et l'envoyer vers PubSub dans GCP
• La connaissance de l'outil DataFlow (Apache Beam) est un plus.

Collaboration avec les équipes du pôle, centrée sur la donnée de qualité :

• Standardisation de la base de code de l'équipe (linting, CI / CD, divers tests)
• Maintien et réalisation de schémas d'architectures et documentation des processus internes
• Collaboration avec les autres équipes du pôle Data : data analysts, SEO / SEA et emailing
• Aider à la mise en place de bonnes pratiques :
• Anonymisation et archivage de la donnée dans le respect du RGPD et de la politique interne du traitement de données
• Sécurité de l'infrastructure, de la data et du code

Profil recherché :

• Une expérience de 7 ans minimum sur des missions de Data Engineering.
• Formation Bac +5 : École d'ingénieur ou Master Big Data, Mathématiques ou équivalent.
• Vous possédez une sensibilité aux problématiques digitales e-commerce.
• Organisé, rigoureux, curieux, autonome, bonne expression écrite et aisance relationnelle.
• Un bon niveau d'anglais est important pour échanger avec différents interlocuteurs internationaux par oral ainsi que par écrit.
• De bonnes capacités d'auto-formation sur les aspects techniques sont fortement appréciées.

Compétences Comportementales :

• Vous êtes bon(ne) (vous savez présenter, à l'oral comme à l'écrit, de manière synthétique et pédagogique des thématiques techniques pointues) et avez un bon sens relationnel, vous savez faire preuve d'empathie.
• Vous êtes rigoureux(se) et réactif(ve).

Environnement technique :

• Stack technique : Google Cloud Platform (GCP), BigQuery, DataForm, Cloud DataFlow, Cloud PubSub, Notebooks Python, LookerStudio, PowerBI.
• Une bonne maîtrise des langages Python et SQL est indispensable.
• De l'expérience en développement de code collaboratif (DevOps) est souhaitée.
• Une connaissance minimum des technologies de streaming (Apache Beam, DataFlow, Kafka, PubSub, SNS / SQS) est nécessaire.
• De l'expérience spécifique sur BigQuery est fortement recommandée.
• Une connaissance des outils de GCP (ou cloud équivalent) est fortement recommandée.
• De l'expérience sur des ETL (transformation de données) est fortement recommandée.
• De l'expérience dans l'utilisation d'outils de transformation de données comme des ETLs (Cloud DataPrep, DataIku, Alteryx ou autre) est un plus.
• Des connaissances en machine learning sont un plus.