Tech Lead Data Engineering (Apache Flink & Kafka) - >10 ans - 2066 (IT) / Freelance

iSupplier; Courbevoie; On-site; EUR 110,000 - 150,000; Full time

Job summary

iSupplier recherche un Tech Lead Data Engineering spécialisé dans les architectures temps réel pour piloter la conception, le développement et l’exploitation de produits de données en streaming. Vous interviendrez au sein de l’équipe Group Data Delivery et assurerez l’ingénierie de pipelines temps réel, l’exposition via des API et la fiabilisation des solutions en production.

Vous apporterez une expertise sur Flink, Kafka et les architectures événementielles, avec une forte orientation

Qualifications

• Expérience min 10 ans en Data Engineering et leadership technique.

Responsibilities

• Concevoir et développer des produits de données temps réel avec Flink et Kafka.
• Construire et maintenir des pipelines de données en streaming et en batch.
• Concevoir et développer des API REST et des interfaces OpenAPI.
• Déployer sur AWS (MSK, Kinesis, Managed Flink, Lambda, API Gateway, ECS, EKS, S3, IAM).
• Mettre en place la gouvernance des schémas et la qualité/valide des données.
• Industrialiser CI/CD (GitLab CI, GitHub Actions).
• Assurer l’observabilité (CloudWatch, OpenTelemetry, Prometheus, Grafana).
• Maintenir les services en conditions opérationnelles et assurer les SLA et la sécurité.
• Rédiger documentation et standards d’ingénierie et coacher les équipes.

Skills

Flink

PyFlink

Kafka

Event-driven

Microservices

API REST

OpenAPI

Java

Python

Scala

SQL

AWS

Schema Registry

Tools

MSK

Kinesis

Managed Flink

Lambda

API Gateway

S3

ECS

EKS

IAM

CloudWatch

OpenTelemetry

Prometheus

Grafana

GitLab CI

GitHub Actions

Job description

Contexte : Dans le cadre du développement et de l'évolution de la Group Data Platform, nous recherchons un Tech Lead Data Engineering spécialisé dans les architectures temps réel, disposant d'au moins 10 ans d'expérience.

Le consultant interviendra au sein de l'équipe Group Data Delivery afin de concevoir, développer et opérer des produits de données temps réel, depuis l'ingestion et le traitement des flux jusqu'à leur exposition via des API à destination de consommateurs internes et externes.

Il devra apporter une expertise technique avancée sur Apache Flink, Apache Kafka, les architectures événementielles, les microservices et les technologies AWS, tout en assurant le leadership technique, la qualité des développements et la fiabilité des solutions mises en production.

Missions principales

• Concevoir et développer des produits de données temps réel de bout en bout à l'aide d'Apache Flink, Apache Kafka et des architectures événementielles.
• Construire et maintenir des pipelines de données résilients pour l'ingestion, le traitement, la transformation et la distribution des données en temps réel et en batch.
• Concevoir et développer des API REST, des interfaces OpenAPI, des microservices et des interfaces de streaming.
• Déployer et exploiter des solutions sur AWS, notamment avec MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS, EKS, S3 et IAM.
• Mettre en place des contrôles de qualité des données, des modèles de données, des mécanismes de validation et une gouvernance des schémas.
• Définir et industrialiser les pipelines CI/CD avec GitLab CI, GitHub Actions ou des outils équivalents.
• Garantir l'observabilité des solutions grâce à CloudWatch, OpenTelemetry, Prometheus, Grafana, aux logs structurés, aux métriques et au tracing.
• Assurer le maintien en conditions opérationnelles des services : supervision, gestion des incidents, analyse des causes racines et optimisation des performances.
• Veiller au respect des SLA et à la disponibilité, la sécurité et la fiabilité des services en production.

Appliquer les bonnes pratiques de sécurité : OAuth2/OIDC, chiffrement des données, gestion des secrets, contrôle réseau et principe du moindre privilège.

Rédiger la documentation technique : dossiers d'architecture, spécifications API, procédures d'exploitation et documentation de déploiement.

Piloter les choix techniques, animer les échanges d'architecture et réaliser les revues de code et de conception.

Définir et promouvoir les standards d'ingénierie, accompagner les développeurs moins expérimentés et assurer le transfert de connaissances.

Garantir la livraison de produits de données robustes, évolutifs, sécurisés et prêts pour la production.

Expertise technique :

• Apache Flink et PyFlink.
• Apache Kafka et Amazon MSK.
• Architectures événementielles (Event-Driven Architecture).
• Data Engineering et systèmes temps réel.
• Architecture microservices.
• Conception et développement d'API REST et OpenAPI.
• Java, Python, Scala et SQL.
• Modélisation des données et gestion des schémas (Avro, Schema Registry).
• Amazon Web Services (AWS) : Lambda, Kinesis, Managed Flink, ECS, EKS, S3, API Gateway et IAM.

DevOps, qualité et exploitation :

• Mise en place de pipelines CI/CD (GitLab CI, GitHub Actions).
• Tests automatisés et contrôle de la qualité des développements.
• Observabilité : CloudWatch, OpenTelemetry, Prometheus et Grafana.
• Gestion des SLA et support de production.
• Sécurisation des applications et des flux de données : OAuth2/OIDC, chiffrement et gestion des accès selon le principe du moindre privilège.

Leadership et compétences transverses :

• Leadership technique et conception d'architectures.
• Revues de code et définition des standards d'ingénierie.
• Capacité à résoudre des problématiques techniques complexes.
• Mentorat et accompagnement des équipes.
• Communication avec les parties prenantes techniques et métiers.
• Excellente maîtrise de l'anglais, niveau bilingue.