Expert Kafka / Confluent – Socle Data Streaming (H/F) (IT) / Freelance

Octopus Group; Gradignan; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

Octopus Group recherche un Expert Kafka pour renforcer une équipe projet, afin de concevoir, déployer et industrialiser une plateforme de Data Streaming basées sur Apache Kafka et Confluent. Vous intervenez de l’architecture à la production, en passant par l’administration et l’optimisation, tout en garantissant la sécurité du socle technique.

Vous participerez à l’administration, au diagnostic d’incidents et à l’amélioration continue, tout en développant des scripts Python, Shell et JSON pour

Qualifications

• Maîtrise de l'architecture Kafka et Confluent.
• Expérience en déploiement et configuration de clusters Kafka.
• Capacité à diagnostiquer incidents et optimiser les performances.
• Rédaction de documentation technique et reporting.

Responsabilités

• Concevoir et mettre en œuvre le socle Kafka Confluent.
• Déployer et configurer les composants du cluster Kafka.
• Mettre en place les connecteurs et assurer l’intégration.
• Diagnostiquer incidents et optimiser les clusters.
• Rédiger la documentation et assurer les transferts de compétences.

Connaissances

Architecture Kafka

Administration Kafka

Automatisation

Python

Shell

JSON

Outils

Kafka

Confluent

Python

Shell

JSON

Description du poste

Contexte de la mission :

Dans le cadre de la mise en œuvre d’un nouveau socle d’échange de données d’entreprise basé sur Apache Kafka et la distribution Confluent, nous recherchons un Expert Kafka pour renforcer une équipe projet.

L’objectif est de concevoir, déployer et industrialiser une plateforme de Data Streaming capable de répondre à différents besoins d’échange, de réplication et d’intégration de données.

Vous interviendrez sur les différentes phases du projet, de la conception de l’architecture à la mise en production, en passant par l’administration, l’optimisation et la sécurisation du socle technique.

Missions principales :

1. Conception et mise en œuvre du socle Kafka

• Participer à la conception et à la mise en œuvre de l’architecture Kafka Confluent.

• Contribuer au déploiement et à la configuration des composants du cluster Kafka.

• Mettre en place et configurer les connecteurs nécessaires aux échanges de données.

• Participer à l’intégration de Kafka dans l’écosystème technique existant.

2. Administration et expertise technique

• Assurer l’administration et le maintien en conditions opérationnelles du socle Kafka.

• Diagnostiquer et résoudre les incidents complexes.

• Analyser les performances et optimiser le fonctionnement des clusters.

• Contribuer à l'amélioration continue de la plateforme et à sa fiabilité.

3. Scripting et automatisation

• Développer des scripts pour automatiser les opérations d’administration et d’exploitation.

• Utiliser Python, Shell et JSON pour répondre aux besoins du projet.

• Participer à l’automatisation des déploiements et des opérations techniques.

4. Documentation et accompagnement

• Rédiger la documentation technique : architecture, administration, exploitation et procédures opérationnelles.

• Produire un reporting régulier et assurer le suivi des activités.

• Participer aux réunions techniques et collaborer avec les équipes projet.

• Organiser des transferts de compétences auprès des équipes.