Expert Kafka H/F (IT) / Freelance

Insitoo Freelances; Bordeaux; On-site; EUR 101,000 - 148,000; Full time

Job summary

Insitoo Freelances, spécialiste du placement IT, recherche à Bordeaux un Expert Kafka H/F pour conduire les phases de mise en oeuvre et d’extension du socle pilote.

Vous installerez et configurerez le cluster Kafka/Confluent, définirez les normes d’exploitation, sécuriserez les accès et industrialiserez les connecteurs.

Vous piloterez les workflows d’intégration et de déploiement, assurerez la supervision, le monitoring et la documentation technique.

Responsibilities

• Installer et configurer le cluster Kafka/Confluent et établir les standards d’exploitation.
• Mettre en place l’outillage d’administration et de supervision et les mécanismes de sécurité.
• Industrialiser les connecteurs Kafka (PostgreSQL, Hadoop, Datastage, Teradata, etc.).
• Automatiser les déploiements des souscriptions et la gestion des schémas.
• Définir les procédures d’exploitation, monitoring et tableaux de bord.
• Documenter les procédures et assurer une gestion opérationnelle continue.

Job description

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Expert Kafka H/F à Bordeaux, France.

Les missions porteront sur les différentes phases du projet qui ont été identifiées :

Phase 1 - Mise en oeuvre du socle pilote :

• Installation et configuration du cluster Kafka / Confluent.
• Définition et mise en œuvre des normes et standards d'exploitation.
• Mise en place de l'outillage d'administration et d'exploitation;
• Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI Agirc-Arrco;
• Optimisation des performances de la plateforme.
• Construction et industrialisation des processus de fabrication et d'intégration des livrables.
• Mise en œuvre des workflows d'intégration et de déploiement.
• Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote..

Une attention particulière sera portée à l'industrialisation des connecteurs, notamment :

• Déclaration des nouveaux producteurs et consommateurs,
• Gestion des configurations,
• Initialisation et rafrachissement des données consommateurs ,
• Déploiement automatisé des souscriptions,
• Prise en compte évolutions schémas de données par les Topics Kafka,
• Automatisation des opérations récurrentes,

Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle :

• Procédures d'arrêt et de relance ;
• Gestion des servitudes techniques ;
• Supervision et monitoring ;
• Mise en place des tableaux de bord ;
• Documentation d'exploitation.

• Connecteurs à mettre en œuvre

Phase 2 : Extension du socle :

Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.