Expert KAFKA/Confluent

Kéoni Consulting; Gradignan; On-site; EUR 60,000 - 90,000; Full time

Benefits offered by this job

Produced

Job summary

Kéoni Consulting recherche un expert Kafka / Confluent pour renforcer une équipe projet sur la mise en place d'un socle d'échange de données basé sur Kafka Confluent et Strimzi. Le candidat interviendra dès les phases d'architecture, d'installation et d'exploitation.

Vous serez en charge de l'installation et de la configuration du cluster, de la sécurisation des échanges, de l'industrialisation des connecteurs et de la supervision des performances, avec transfert de compétences auprès des

Qualifications

• Expert Kafka / Confluent capable de participer à toutes les phases du projet.
• Maîtrise installation et administration de plateformes Kafka.
• Connaissance des connecteurs Kafka Connect et des workflows CI/CD.

Responsibilities

• Conception et industrialisation du socle Kafka Confluent.
• Installation et configuration du cluster Kafka et des connecteurs.
• Sécurisation des échanges et gestion des habilitations.
• Supervision, monitoring et tableaux de bord.
• Rédaction de documents d'architecture et d'exploitation.

Skills

Kafka architecture

Confluent platform

Kafka administration

Performance tuning

Connectors

Deployment automation

Monitoring

Team training

Tools

Kubernetes

Ansible

Linux (Red Hat)

PostgreSQL

Hadoop

Strimzi

Kafka Connect

Job description

Contexte
Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet.

MISSIONS
Pour renforcer l'équipe projet, nous recherchons une expertise technique Kafka dans le cadre de la mise en oeuvre d'un nouveau socle Kafka Confluent.
L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données.
Les missions porteront sur les différentes phases du projet qui ont été identifiées :
Phase 1 - Mise en oeuvre du socle pilote :
Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata.
Parmis les travaux identifiés à réaliser :
- Installation et configuration du cluster Kafka / Confluent.
- Définition et mise en œuvre des normes et standards d'exploitation.
- Mise en place de l'outillage d'administration et d'exploitation;
- Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI ;
- Optimisation des performances de la plateforme.
- Construction et industrialisation des processus de fabrication et d'intégration des livrables.
- Mise en œuvre des workflows d'intégration et de déploiement.
- Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment :
- Déclaration des nouveaux producteurs et consommateurs,
- Gestion des configurations,
- Initialisation et rafrachissement des données consommateurs ,
- Déploiement automatisé des souscriptions,
- Prise en compte évolutions schémas de données par les Topics Kafka,
- Automatisation des opérations récurrentes,
Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle :
- Procédures d'arrêt et de relance ;
- Gestion des servitudes techniques ;
- Supervision et monitoring ;
- Mise en place des tableaux de bord ;
- Documentation d'exploitation.
- Connecteurs à mettre en œuvre

Phase 2 : Extension du socle :
Après la validation et la livraison du socle pilote, le projet entrée dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.
Les principaux cas d'usage envisagés sont :
- Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data.
- Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka.
- Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka.
- Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka.
- Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.
Profil recherché :
Nous recherchons un expert Kafka / Confluent capable de participer à l'ensemble des phases du projet et d'accompagner l'équipe sur les sujets suivants :
- Architecture Kafka et Confluent ;
- Installation et administration de plateformes Kafka ;
- Sécurisation des échanges ;
- Performance et tuning ;
- Mise en œuvre de connecteurs Kafka Connect ;
- Industrialisation et automatisation des déploiements ;
- Supervision et exploitation ;
- Accompagnement des équipes projet et transfert de compétences.
- Rédaction de dossiers d'architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...;
L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise.

Environnement technique - technologique
Environnement Socle Kafka :
- Distribution Kafka Confluent et Strimzy
- Langages de scripting et de developpement : Shell, Python, Json,
- Systeme d'exploitation : Linux Redhat
Autres environnements techniques:
- Base de données : PostgreSQL
- Hadoop : Cloudera
- Data Streaming : IBM Infosphere CdC
- Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware
- Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana,
Competences Techniques
Distribution "Kafka Confluent / IBM" : composant du cluster kafka (Broker, Kraft, Cwork) , Scema registry, Connecteurs (JDBC, Debezium PgSQL, HDFS, ...)
Distribution Autres : "Kafka Strimzi", connecteurs propriétaires (exemple : "Datastage") ou outillage complémentaire
Langages de scripting et de developpement : Shell, Python, Json
Infrastructure et Système d'exploitation : Linux, Kubernetes, Ansible
Outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming, Hadoop
Savoir Faire et savoir-être
Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu
Communication et Capacités relationnelles(sens de l'écoute et du dialogue, conduite de réunion, négociation)
Autonomie
Capacité à travailler en équipe
Esprit d'analyse et de synthèse