Expert Kafka - Confluent Platform H/F

Socadek Solutions; Gradignan; On-site; EUR 70,000 - 110,000; Full time

Job summary

Socadek Solutions recherche un expert Kafka / Confluent Platform pour concevoir et industrialiser une plateforme d'échange de données destinée à un organisme de protection sociale. Vous piloterez les clusters Kafka en production et déployerez des connecteurs Kafka Connect (JDBC, Debezium, HDFS, Datastage).

Vous participerez à la migration vers le temps réel, renforcerez la sécurité des flux et assurerez la supervision avec Prometheus/Grafana, tout en documentant l'architecture et en formant les

Qualifications

• Expert Kafka / Confluent Platform chargé d'accompagner une plateforme d'échange et d'intégration de données.
• Conception, construction et industrialisation de la plateforme, migration des flux CDC et batch vers du temps réel.

Responsibilities

• Concevoir et faire évoluer l'architecture Kafka / Confluent, du socle pilote vers une plateforme cible.
• Installer, configurer et administrer les clusters Kafka en production : brokers KRaft, Schema Registry et Kafka Connect.
• Déployer et industrialiser des connecteurs Kafka Connect (JDBC, Debezium, HDFS, Datastage).
• Accompagner la migration de flux CDC et batch vers des échanges temps réel.
• Sécuriser les flux et gérer les habilitations du SI.
• Analyser les incidents et optimiser les performances.
• Automatiser les déploiements et opérations avec Ansible, Shell et Python et pipelines CI/CD.
• Contribuer à la supervision avec Prometheus et Grafana.
• Rédiger la documentation d'architecture et d'exploitation et former les équipes.

Skills

Kafka

Confluent Platform

Debezium

CI/CD

Python

Ansible

Prometheus

Grafana

Sécurité des flux

Tools

KRaft

Schema Registry

Kafka Connect

Debezium

HDFS

Datastage

Ansible

Shell

Python

CI/CD

Prometheus

Grafana

Job description

Dans le cadre de la construction d'un socle d'échange de données, nous recherchons un expert Kafka / Confluent Platform pour accompagner notre client, un organisme de protection sociale.Cette plateforme doit répondre aux besoins d'échange, de réplication et d'intégration de données du système d'information. Elle contribuera également au remplacement progressif de flux CDC, de traitements batch et d'un socle WebMethods.Vous interviendrez sur la conception, la construction et l'industrialisation de la plateforme.

Vos responsabilités

• Concevoir et faire évoluer l'architecture Kafka / Confluent, du socle pilote vers une plateforme cible.
• Installer, configurer et administrer les clusters Kafka en production : brokers en mode KRaft, Schema Registry et workers Kafka Connect.
• Déployer et industrialiser des connecteurs Kafka Connect, notamment JDBC, Debezium, HDFS et Datastage.
• Accompagner la migration de flux CDC et batch vers des échanges temps réel.
• Sécuriser les flux et intégrer la gestion des habilitations au système d'information.
• Analyser les incidents complexes et optimiser les performances.
• Automatiser les déploiements et opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD.
• Contribuer à la supervision de la plateforme avec Prometheus et Grafana.
• Rédiger la documentation d'architecture et d'exploitation, et transmettre vos connaissances aux équipes.