Lead Data Engineer

Groupe Kanbios; Paris; Sur place; EUR 90 000 - 130 000; Plein temps

Résumé du poste

Groupe Kanbios est à la recherche d’un.e Lead Data Engineer pour concevoir et mettre en œuvre des architectures de données robustes et évolutives. Vous dirigerez une équipe technique et collaborerez avec les équipes produit, technique et business pour répondre à des enjeux complexes.

Vous accompagnerez les clients dans la mise en place de pipelines et plateformes, choisirez les technologies adaptées et garantirez la qualité des données, tout en promouvant les bonnes pratiques de gouvernance et

Qualifications

• Master en ingénierie ou informatique, ≥5 ans d’expérience en data ou dev, dont ≥2 ans sur des projets Cloud.
• Expérience sur création de plateformes de données pour grandes organisations tech.
• Maîtrise DevOps et IaC (Terraform), Docker et Kubernetes.

Responsabilités

• Accompagner et conseiller les clients dans pipelines et plateformes de données.
• Choisir les technologies adaptées selon performance, coûts et intégration.
• Assurer la qualité des données via nettoyage et transformation.
• Évangéliser les bonnes pratiques en pipeline, gouvernance et sécurité.
• Travailler avec les équipes produit/tech/business pour des solutions adaptées.
• Communiquer avec les parties prenantes pour aligner les initiatives.

Connaissances

Leadership

Data architecture

Cloud platforms

DevOps CI/CD

Terraform

Docker

Kubernetes

Monitoring

ELK stack

Data governance

MLOps

Snowflake

BigQuery

GCP

Formation

Master en ingénierie ou informatique

Outils

Tekton

GitHub Actions

Argo

Jenkins

Terraform

CloudFormation

Prometheus

Grafana

Description du poste

En forte croissance, nous recherchons un.e Lead Data Engineer pour concevoir et mettre en œuvre des architectures de données robustes et évolutives.

Vous dirigerez notre équipe technique, optimiserez les systèmes de données et collaborerez étroitement avec les équipes produit, technique et business pour répondre aux besoins complexes de gestion et d’analyse des données.

Vos missions:

Chez le client :

• Accompagner et conseiller les clients dans la mise en place de pipelines, de plateformes de données et de transformations de données pour soutenir la création de produits data (tableaux de bord, assets média, etc.)

• Orienter les clients dans le choix de la meilleure technologie pour répondre à leurs problématiques, ceci en tenant compte de la performance, des coûts, de la fiabilité et de l’intégration à l’existant.

• S’assurer de la qualité des données en mettant en place des processus de nettoyage, de transformation et d’intégration des données.

• Évangéliser les bonnes pratiques en matière de développement de pipelines de données, de gouvernance et de sécurité.

• Travailler en étroite collaboration avec les équipes produit, technique et business pour comprendre les besoins en données et fournir des solutions adaptées.

• Communiquer efficacement avec les parties prenantes pour aligner les initiatives de données sur les objectifs stratégiques de l’entreprise.

En interne :

• Participer à la production de contenus afin de favoriser le partage d’expertises, la formation continue de l’équipe et développer une culture Data en interne.

• Participer à la construction de proposition commerciale et de présentations stratégiques.

• Développer des templates de code afin d’accélérer les projets et implémenter les meilleures pratiques.

• Effectuer une veille technique régulière pour rester à jour sur les dernières avancées et innovations dans le domaine de l’ingénierie des données.

• Mentorer les membres juniors de l’équipe pour les aider à développer leurs compétences et à atteindre leurs objectifs professionnels.

• Contribuer sur des actions de développement RH et de recrutement.

Nous recherchons un(e) candidat(e) titulaire d’un Master en ingénierie ou informatique (type Epita, Epitech ou équivalent) avec 5 ans d’expérience en tant qu’ingénieur data ou développeur, dont au moins 2 ans sur des projets Cloud et la création de plateformes de données pour de grandes organisations ou entreprises tech. Les soft skills essentielles :Écoute active : Comprendre les besoins et les préoccupations des parties prenantes pour mieux y répondreLeadership : Diriger et motiver une équipe technique.Communication : Expliquer des concepts complexes aux parties prenantes non techniques de manière claire.Adaptabilité : S’ajuster aux environnements de travail changeants.Esprit critique : Évaluer les situations de manière critique et prendre des décisions basées sur des données.Curiosité : Rechercher constamment de nouvelles connaissances et innovations dans le domaine des données. Les hard skills fondamentaux :DevOps :CI/CD (exemple: Tekton, github action, Argo, jenkins…), IaC (Terraform), Docker, K8S> >Data plateformes :ArchitecturePerformancesMonitoringCloud:Maîtrise de la gestion des ressources avec Terraform (Connaissance dʼoutils comme CloudFormation est un plus.)Compétences en monitoring (Prometheus, Grafana), gestion des logs (ELK stack), gestion des droits (IAM dans AWS, Azure AD).Scaling des ressources : expérience avec des auto-scaling groups, Kubernetes autoscaler.Solutions serverless: AWS Lambda, Google Cloud Functions, Azure Functions.Stockage/Compute: S3, Google Cloud Storage, Azure Blob Storage, EC2, Google Compute Engine.Big data:Bdd type Cassandra, HBase, MongoDBTechnologies de stockage et traitement massif de données comme Redshift, BigQuery, SnowflakeDocumentationCréation de schémas d’architectureRéalisation de documentations techniquesHard skills complémentaires à maîtriser:FinOps : Optimisation de requêtes, dry runs, monitoring des coûtsSecOps : Bonnes pratiques, gestion des rôles, principe du least privilege, zero trustMLOps : MlFlow, KubeFlow, AirFlowGouvernance : Matrice des responsabilités, datacataloging (exemples : Colibra, DataGalaxy)