Lead Data Engineer

Groupe Kanbios; Paris; Sur place; EUR 90 000 - 120 000; Plein temps

Résumé du poste

Groupe Kanbios recherche un Lead Data Engineer pour concevoir et déployer des architectures de données robustes et évolutives. Vous dirigerez l'équipe technique et collaborerez étroitement avec les équipes produit, technique et business.

Vos missions incluent l'accompagnement client, le choix technologique, la qualité des données, la gouvernance et la sécurité, avec une forte culture DevOps et dataOps.

Qualifications

• Master en ingénierie ou informatique avec 5 ans d’expérience en data engineering
• Expérience minimum 2 ans sur projets Cloud et plateformes de données

Responsabilités

• Concevoir et mettre en œuvre des architectures de données robustes et évolutives

Connaissances

Leadership

Communication

Empathie/écoute active

Formation

Master en ingénierie ou informatique

Formation EPITA/Epitech ou équivalent

Outils

Tekton

GitHub Actions

Argo

Jenkins

Terraform

Docker

Kubernetes (K8s)

Prometheus

Grafana

ELK Stack

IAM AWS/Azure AD

Serverless (AWS Lambda, Cloud Functions)

Big data stores (BigQuery, Snowflake, Redshift)

Description du poste

En forte croissance, nous recherchons un.e Lead Data Engineer pour concevoir et mettre en œuvre des architectures de données robustes et évolutives.

Vous dirigerez notre équipe technique, optimiserez les systèmes de données et collaborerez étroitement avec les équipes produit, technique et business pour répondre aux besoins complexes de gestion et d’analyse des données.

Vos missions:

Chez le client :

• Accompagner et conseiller les clients dans la mise en place de pipelines, de plateformes de données et de transformations de données pour soutenir la création de produits data (tableaux de bord, assets média, etc.)

• Orienter les clients dans le choix de la meilleure technologie pour répondre à leurs problématiques, ceci en tenant compte de la performance, des coûts, de la fiabilité et de l’intégration à l’existant.

• S’assurer de la qualité des données en mettant en place des processus de nettoyage, de transformation et d’intégration des données.

• Évangéliser les bonnes pratiques en matière de développement de pipelines de données, de gouvernance et de sécurité.

• Travailler en étroite collaboration avec les équipes produit, technique et business pour comprendre les besoins en données et fournir des solutions adaptées.

• Communiquer efficacement avec les parties prenantes pour aligner les initiatives de données sur les objectifs stratégiques de l’entreprise.

En interne :

• Participer à la production de contenus afin de favoriser le partage d’expertises, la formation continue de l’équipe et développer une culture Data en interne.

• Participer à la construction de proposition commerciale et de présentations stratégiques.

• Développer des templates de code afin d’accélérer les projets et implémenter les meilleures pratiques.

• Effectuer une veille technique régulière pour rester à jour sur les dernières avancées et innovations dans le domaine de l’ingénierie des données.

• Mentorer les membres juniors de l’équipe pour les aider à développer leurs compétences et à atteindre leurs objectifs professionnels.

• Contribuer sur des actions de développement RH et de recrutement.

Nous recherchons un(e) candidat(e) titulaire d’un Master en ingénierie ou informatique (type Epita, Epitech ou équivalent) avec 5 ans d’expérience en tant qu’ingénieur data ou développeur, dont au moins 2 ans sur des projets Cloud et la création de plateformes de données pour de grandes organisations ou entreprises tech. Les soft skills essentielles : Écoute active : Comprendre les besoins et les préoccupations des parties prenantes pour mieux y répondre Leadership : Diriger et motiver une équipe technique. Communication : Expliquer des concepts complexes aux parties prenantes non techniques de manière claire. Adaptabilité : S’ajuster aux environnements de travail changeants. Esprit critique : Évaluer les situations de manière critique et prendre des décisions basées sur des données. Curiosité : Rechercher constamment de nouvelles connaissances et innovations dans le domaine des données. Les hard skills fondamentaux : DevOps :CI/CD (exemple: Tekton, github action, Argo, jenkins…), IaC (Terraform), Docker, K8S> >Data plateformes :ArchitecturePerformancesMonitoringCloud: Maîtrise de la gestion des ressources avec Terraform (Connaissance dʼoutils comme CloudFormation est un plus.) Compétences en monitoring (Prometheus, Grafana), gestion des logs (ELK stack), gestion des droits (IAM dans AWS, Azure AD). Scaling des ressources : expérience avec des auto-scaling groups, Kubernetes autoscaler. Solutions serverless: AWS Lambda, Google Cloud Functions, Azure Functions. Stockage/Compute: S3, Google Cloud Storage, Azure Blob Storage, EC2, Google Compute Engine. Big data: Bdd type Cassandra, HBase, MongoDB Technologies de stockage et traitement massif de données comme Redshift, BigQuery, Snowflake Documentation Création de schémas d’architecture Réalisation de documentations techniques Hard skills complémentaires à maîtriser: FinOps : Optimisation de requêtes, dry runs, monitoring des coûts SecOps : Bonnes pratiques, gestion des rôles, principe du least privilege, zero trust MLOps : MlFlow, KubeFlow, AirFlow Gouvernance : Matrice des responsabilités, datacataloging (exemples : Colibra, DataGalaxy)