Expert Technique Kafka (IT) / Freelance

Lehibou; Bordeaux; Hybrid; EUR 70,000 - 110,000; Full time

Job summary

Lehibou recherche un Expert Technique Kafka H/F pour renforcer son équipe autour d'un socle Kafka Confluent destiné à supporter des cas d'usage d'échange et d'intégration de données. Le candidat pilotera le pilote et conduira l'extension du socle, avec une forte orientation sécurité et automatisation.

La mission se déroule à Bordeaux avec du télétravail partiel (2 jours/semaine) et une calendarisation des livrables en mode agile.

Qualifications

• Expert Kafka avec expérience Confluent et déploiement de socles data.
• Expérience dans l'intégration et l'orchestration de flux en temps réel.
• Connaissance des normes d'exploitation et de sécurité.

Responsibilities

• Mettre en place et piloter le socle pilote Kafka Confluent.
• Déployer les connecteurs PostgreSQL, Hadoop, Datastage et Teradata.
• Assurer la sécurité, les habilitations et le monitoring.
• Industrialiser les processus d'intégration et de déploiement.
• Rédiger et faire évoluer les procédures d'exploitation.
• Automatiser les opérations récurrentes et les souscriptions.

Skills

Kafka

Confluent

Data integration

PostgreSQL

Hadoop

Datastage

Teradata

Security management

Automation

CI/CD

Tools

Kafka Connect

Confluent Platform

Monitoring tools

CI/CD pipelines

Datastage

PostgreSQL

Hadoop

Teradata

Job description

Notre client dans le secteur Assurance recherche un/une Expert Technique Kafka H/F

Description de la mission :

Contexte du besoin

Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet.

L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données.

Objet de la prestation

Pour renforcer l'équipe projet, le présent marché spécifique a pour objet la recherche d'une prestation d'expertise technique Kafka dans le cadre de la mise en œuvre d'un nouveau socle Kafka Confluent.

Les missions porteront sur les différentes phases du projet qui ont été identifiées :

Phase 1 - Mise en œuvre du socle pilote :

Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI Agir-Arrco, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata.

Parmi les travaux identifiés à réaliser :

• Installation et configuration du cluster Kafka / Confluent.
• Définition et mise en œuvre des normes et standards d'exploitation.
• Mise en place de l'outillage d'administration et d'exploitation;
• Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI Agirc-Arrco;
• Optimisation des performances de la plateforme.
• Construction et industrialisation des processus de fabrication et d'intégration des livrables.
• Mise en œuvre des workflows d'intégration et de déploiement.
• Installation et configuration des connecteurs producteurs et consommateurs Kafka \"standard\" et \"spécifiques Confluent\" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote..
• Initialisation et rafrachissement des données consommateurs ,
• Déploiement automatisé des souscriptions,
• Prise en compte évolutions schémas de données par les Topics Kafka,
• Automatisation des opérations récurrentes,

Une attention particulière sera portée à l'industrialisation des connecteurs, notamment:

• Déclaration des nouveaux producteurs et consommateurs,
• Gestion des configurations,
• Initialisation et rafrachissement des données consommateurs ,
• Déploiement automatisé des souscriptions,
• Prise en compte évolutions schémas de données par les Topics Kafka,
• Automatisation des opérations récurrentes,

Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle :

• Procédures d'arrêt et de relance ;
• Gestion des servitudes techniques ;
• Supervision et monitoring ;
• Mise en place des tableaux de bord ;
• Documentation d'exploitation.

Connecteurs à mettre en œuvre

Phase 2 : Extension du socle :

Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.

Les principaux cas d'usage envisagés sont :

• Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data.
• Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka.
• Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka.
• Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka.
• Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.

Informations concernant le télétravail :

Oui — 2 jours/semaine

Bureaux à Bordeaux