Lead Data Engineer

Groupe Kanbios; Paris (TX); On-site; USD 115,000 - 161,000; Full time

Job summary

Groupe Kanbios recherche un Lead Data Engineer pour concevoir et mettre en œuvre des architectures de données robustes et évolutives, et diriger l'équipe technique afin d’optimiser les pipelines et les plateformes.

Vous collaborerez avec les équipes produit, technique et business pour répondre aux besoins en données, assurer la qualité et la gouvernance, et proposer des solutions innovantes, tout en mentorant les ingénieurs juniors.

Qualifications

• Master en ingénierie ou informatique, expérience en data engineering ou développement.
• 5 ans d’expérience, dont au moins 2 ans sur projets Cloud et plateformes de données.
• Connaissance des pipelines, gouvernance et sécurité des données.

Responsibilities

• Concevoir et mettre en œuvre des pipelines et plateformes de données.
• Conseiller les clients sur les technologies adaptées selon performance et coûts.
• Assurer la qualité des données et leur intégration.
• Évangéliser les bonnes pratiques et superviser l’équipe technique.
• Collaborer avec produit, technique et business et mentor junior.

Skills

Écoute active

Leadership

Communication

Adaptabilité

Esprit critique

Curiosité

Education

Master en ingénierie ou informatique

Tools

Terraform

Docker

Kubernetes

Tekton

GitHub Actions

Argo

Jenkins

Prometheus

Grafana

ELK stack

IAM AWS/Azure AD

S3/Cloud Storage

BigQuery/Snowflake/Redshift

Job description

En forte croissance, nous recherchons un.e Lead Data Engineer pour concevoir et mettre en œuvre des architectures de données robustes et évolutives.

Vous dirigerez notre équipe technique, optimiserez les systèmes de données et collaborerez étroitement avec les équipes produit, technique et business pour répondre aux besoins complexes de gestion et d’analyse des données.

Vos missions:

Chez le client :

• Accompagner et conseiller les clients dans la mise en place de pipelines, de plateformes de données et de transformations de données pour soutenir la création de produits data (tableaux de bord, assets média, etc.)

• Orienter les clients dans le choix de la meilleure technologie pour répondre à leurs problématiques, ceci en tenant compte de la performance, des coûts, de la fiabilité et de l’intégration à l’existant.

• S’assurer de la qualité des données en mettant en place des processus de nettoyage, de transformation et d’intégration des données.

• Évangéliser les bonnes pratiques en matière de développement de pipelines de données, de gouvernance et de sécurité.

• Travailler en étroite collaboration avec les équipes produit, technique et business pour comprendre les besoins en données et fournir des solutions adaptées.

• Communiquer efficacement avec les parties prenantes pour aligner les initiatives de données sur les objectifs stratégiques de l’entreprise.

En interne :

• Participer à la production de contenus afin de favoriser le partage d’expertises, la formation continue de l’équipe et développer une culture Data en interne.

• Participer à la construction de proposition commerciale et de présentations stratégiques.

• Développer des templates de code afin d’accélérer les projets et implémenter les meilleures pratiques.

• Effectuer une veille technique régulière pour rester à jour sur les dernières avancées et innovations dans le domaine de l’ingénierie des données.

• Mentorer les membres juniors de l’équipe pour les aider à développer leurs compétences et à atteindre leurs objectifs professionnels.

• Contribuer sur des actions de développement RH et de recrutement.

Nous recherchons un(e) candidat(e) titulaire d’un Master en ingénierie ou informatique (type Epita, Epitech ou équivalent) avec 5 ans d’expérience en tant qu’ingénieur data ou développeur, dont au moins 2 ans sur des projets Cloud et la création de plateformes de données pour de grandes organisations ou entreprises tech. Les soft skills essentielles :Écoute active : Comprendre les besoins et les préoccupations des parties prenantes pour mieux y répondreLeadership : Diriger et motiver une équipe technique.Communication : Expliquer des concepts complexes aux parties prenantes non techniques de manière claire.Adaptabilité : S’ajuster aux environnements de travail changeants.Esprit critique : Évaluer les situations de manière critique et prendre des décisions basées sur des données.Curiosité : Rechercher constamment de nouvelles connaissances et innovations dans le domaine des données. Les hard skills fondamentaux :DevOps :CI/CD (exemple: Tekton, github action, Argo, jenkins…), IaC (Terraform), Docker, K8S> >Data plateformes :ArchitecturePerformancesMonitoringCloud:Maîtrise de la gestion des ressources avec Terraform (Connaissance dʼoutils comme CloudFormation est un plus.)Compétences en monitoring (Prometheus, Grafana), gestion des logs (ELK stack), gestion des droits (IAM dans AWS, Azure AD).Scaling des ressources : expérience avec des auto-scaling groups, Kubernetes autoscaler.Solutions serverless: AWS Lambda, Google Cloud Functions, Azure Functions.Stockage/Compute: S3, Google Cloud Storage, Azure Blob Storage, EC2, Google Compute Engine.Big data:Bdd type Cassandra, HBase, MongoDBTechnologies de stockage et traitement massif de données comme Redshift, BigQuery, SnowflakeDocumentationCréation de schémas d’architectureRéalisation de documentations techniquesHard skills complémentaires à maîtriser:FinOps : Optimisation de requêtes, dry runs, monitoring des coûtsSecOps : Bonnes pratiques, gestion des rôles, principe du least privilege, zero trustMLOps : MlFlow, KubeFlow, AirFlowGouvernance : Matrice des responsabilités, datacataloging (exemples : Colibra, DataGalaxy)