Data Engineer

Invivoo Sas; Île-de-France; À distance; EUR 80 000 - 110 000; Plein temps

Résumé du poste

Invivoo Sas recherche un Data Engineer senior pour faire évoluer une plateforme Big Data européenne au sein de l'équipe cœur, en lien étroit avec les métiers, les architectes et les équipes de déploiement locales.

Vous contribuerez à l'ingestion, au traitement et à la distribution des données, optimiserez les traitements distribués, et participerez au framework commun (monitoring, CI/CD, tests), tout en rédigeant une documentation technique en anglais.

Qualifications

• Expérience d'au moins 6 ans en Data Engineering, dont Big Data.
• Maîtrise de Python et PySpark, culture software engineering (design, tests).
• Expérience sur Databricks et/ou Spark sur AWS.
• Bonne connaissance de l'écosystème AWS et SQL.
• Maîtrise CI/CD et Infrastructure as Code.
• Capacité à encadrer techniquement des développeurs et à porter la qualité.
• Français et anglais courants.

Responsabilités

• Recueillir, challenger et affiner les besoins métiers.
• Concevoir des solutions conformes aux standards d'architecture du groupe.
• Développer et maintenir les pipelines d'ingestion, traitement et distribution des données.
• Optimiser les traitements distribués (partitionnement, cache, mémoire).
• Contribuer au framework commun: monitoring, alerting, tests, CI/CD, résilience.
• Accompagner les développeurs sur les bonnes pratiques et la qualité de livraison.
• Rédiger et maintenir la documentation technique en anglais.

Connaissances

Python

PySpark

Data engineering

Databricks

Spark

AWS

SQL

CI/CD

Infrastructure as Code

Leadership technique

Outils

Databricks

Airflow

Terraform

Spark

Description du poste

Au sein d'un grand groupe international, dans un contexte de transformation data à l'échelle européenne, l'objectif est de faire évoluer une plateforme Big Data stratégique visant à centraliser et fiabiliser des indicateurs clés pour plusieurs entités du groupe. Déjà opérationnelle sur un premier périmètre, la plateforme doit désormais être étendue à de nouveaux pays. Le consultant interviendra en tant que Data Engineer senior au sein de l'équipe cœur, en lien étroit avec les équipes métiers, les architectes et les équipes de déploiement locales. Il participera à la construction du socle commun (ingestion, traitement, normalisation et exposition des données) ainsi qu'à l'industrialisation de la plateforme : monitoring, CI/CD, tests, performance et qualité de code.

Environnement technique :

• Architecture : architecture en couches, solutions de stockage et d'exposition des données

Missions principales :

• Recueillir, challenger et affiner les besoins métiers
• Concevoir des solutions en cohérence avec les standards d'architecture du groupe
• Développer et maintenir les pipelines d'ingestion, de traitement et de distribution des données
• Optimiser les traitements distribués (partitionnement, bucketing, cache, optimisation mémoire et requêtes)
• Contribuer au framework commun : monitoring, alerting, tests, CI/CD, résilience
• Accompagner les développeurs de l'équipe sur la qualité et les bonnes pratiques
• Rédiger et maintenir la documentation technique en anglais

Profil recherché :

• Expérience d'au moins 6 ans en tant que Data Engineer, dont une partie sur des environnements Big Data
• Solide maîtrise de Python et PySpark, avec une vraie culture du software engineering (design, réutilisabilité, tests)
• Expérience sur Databricks et/ou Spark sur AWS
• Bonne connaissance de l'écosystème AWS
• Maîtrise de la modélisation de données et de SQL
• Pratique des chaînes CI/CD et de l'Infrastructure as Code
• Capacité à encadrer techniquement des développeurs et à porter la qualité de livraison
• Proactivité, esprit d'équipe et capacité à mener plusieurs sujets en parallèle
• Français et anglais courants
• Mission basée en Île-de-France, avec des déplacements ponctuels en France et en Europe

Processus de recrutement :

• Une préqualification téléphonique
• Un entretien RH avec un(e) chargé(e) de recrutement
• Un entretien technique avec un(e) consultant(e) senior ou un responsable Data