Expert Kafka / Confluent - Socle d’échange de données (IT) / Freelance

Cherry-Pick; Gradignan; Presencial; EUR 70.000 - 95.000; Jornada completa

Descripción de la vacante

Cherry-Pick recherche un expert Architecte Kafka/Confluent pour concevoir, construire et industrialiser le socle d’intégration des données. Vous piloterez l’installation et l’exploitation des clusters Kafka (KRaft, Confluent) et des connecteurs, tout en assurant la sécurité et la performance sur des environnements RedHat et Kubernetes.

Vous participerez à la migration des flux CDC et batch vers du temps réel et à la mise en place de la réplication PostgreSQL via Kafka, avec automatisation via

Formación

• Expertise en architecture Kafka/Confluent et conception de plateformes de données.
• Installation et administration de clusters Kafka (KRaft), Schema Registry et Kafka Connect.
• Mise en œuvre de flux temps réel et réplication PostgreSQL via Kafka.
• Automatisation avec Ansible, Shell et Python; pipelines CI/CD.
• Sécurité des échanges et gestion des habilitations.
• Expérience RedHat et Kubernetes.
• Rédaction de dossiers d’architecture et transfert de compétences.
• Mobilité et disponibilité sur site Gradignan (Paris/Lyon mobilité possible).

Responsabilidades

• Concevoir et faire évoluer l’architecture Kafka/Confluent.
• Installer/configurer les clusters et les connecteurs.
• Industrialiser les flux CDC et batch en temps réel.
• Mettre en place supervision Prometheus/Grafana.
• Automatiser les déploiements et les opérations.
• Rédiger documentation et procédures.
• Former les équipes et assurer le transfert de compétences.

Conocimientos

Architecting Kafka/Confluent platform

Real-time data replication

Data integration

Automation with Ansible Shell Python

CI/CD pipelines

Kubernetes administration

Security and access control

On-site collaboration

French language communication

Herramientas

Kafka

Confluent

Kafka Connect

Schema Registry

KRaft

PostgreSQL

HDFS

Datastage

Teradata

RedHat

Kubernetes

Prometheus

Grafana

Ansible

Python

Shell

CI/CD

Descripción del empleo

Notre client, un organisme de protection sociale (retraite complémentaire), construit son socle Kafka d’entreprise sur la distribution Confluent. Ce socle portera les échanges, la réplication et l’intégration de données de tout le SI. Il doit aussi remplacer progressivement IBM CDC, les extractions batch et le socle WebMethods. Vous rejoignez l’équipe projet pour concevoir, construire et industrialiser ce socle.

La mission est basée à Gradignan, près de Bordeaux. Un profil basé à Paris ou à Lyon est envisageable s’il est très autonome et peut se déplacer régulièrement sur site.

Missions

• Concevoir l’architecture Kafka / Confluent et la faire évoluer d’un socle pilote vers une plateforme cible capacitive et multi-cas d’usage

• Installer, configurer et administrer les clusters Kafka : brokers en mode KRaft, Schema Registry, workers Kafka Connect, sur RedHat et Kubernetes (Confluent / Strimzi)

• Mettre en œuvre et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS, Datastage, Teradata. Cela couvre la déclaration des producteurs et consommateurs, la gestion des configurations et des souscriptions, l’initialisation des données et l’évolution des schémas

• Remplacer les flux CDC et batch existants par des flux temps réel, et mettre en place la réplication PostgreSQL via Kafka

• Sécuriser les échanges et intégrer la gestion des habilitations à l’écosystème SI existant

• Tuner et optimiser les performances de la plateforme

• Automatiser le déploiement et les opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD

• Mettre en place l’exploitation du socle : supervision Prometheus / Grafana, tableaux de bord, procédures d’arrêt et de relance, traitement des incidents, demandes et changements

• Rédiger les dossiers d’architecture, d’administration et d’exploitation, ainsi que les normes et bonnes pratiques

• Former les équipes et assurer le transfert de compétences