Expert Kafka / Confluent – Socle Data Streaming (H/F) (IT) / Freelance

Octopus Group; Paris; On-site; EUR 90,000 - 120,000; Full time

Job summary

Octopus Group recherche un Expert Kafka pour concevoir, déployer et industrialiser une plateforme de Data Streaming basée sur Apache Kafka et Confluent. Vous participerez à l’architecture, au déploiement, à l’administration et à l’optimisation des flux, avec une forte dimension scripting et automation.

Vous interviendrez dès les phases de conception jusqu’à la mise en production, en assurant la sécurité et la performance des clusters, et en produisant une documentation opérationnelle ainsi que

Qualifications

• Expérience sur Kafka et Confluent.
• Bonnes compétences en scripting et en automatisation.
• Capacité à concevoir, déployer et industrialiser une plateforme de Data Streaming.

Responsibilities

• Concevoir et déployer le socle Kafka Confluent.
• Administrer et optimiser les clusters Kafka et les connecteurs.
• Développer des scripts d’automatisation (Python, Shell) et documenter les procédures.
• Rédiger la documentation technique et former les équipes opérationnelles.

Skills

Kafka

Confluent

Automation

Scripting

Python

Tools

JSON

Shell

Job description

Contexte de la mission

Dans le cadre de la mise en œuvre d’un nouveau socle d’échange de données d’entreprise basé sur Apache Kafka et la distribution Confluent, nous recherchons un Expert Kafka pour renforcer une équipe projet.

L’objectif est de concevoir, déployer et industrialiser une plateforme de Data Streaming capable de répondre à différents besoins d’échange, de réplication et d’intégration de données.

Vous interviendrez sur les différentes phases du projet, de la conception de l’architecture à la mise en production, en passant par l’administration, l’optimisation et la sécurisation du socle technique.

Missions principales

1. Conception et mise en œuvre du socle Kafka

• Participer à la conception et à la mise en œuvre de l’architecture Kafka Confluent.

• Contribuer au déploiement et à la configuration des composants du cluster Kafka.

• Mettre en place et configurer les connecteurs nécessaires aux échanges de données.

• Participer à l’intégration de Kafka dans l’écosystème technique existant.

2. Administration et expertise technique

• Assurer l’administration et le maintien en conditions opérationnelles du socle Kafka.

• Diagnostiquer et résoudre les incidents complexes.

• Analyser les performances et optimiser le fonctionnement des clusters.

• Contribuer à l'amélioration continue de la plateforme et à sa fiabilité.

3. Scripting et automatisation

• Développer des scripts pour automatiser les opérations d’administration et d’exploitation.

• Utiliser Python, Shell et JSON pour répondre aux besoins du projet.

• Participer à l’automatisation des déploiements et des opérations techniques.

4. Documentation et accompagnement

• Rédiger la documentation technique : architecture, administration, exploitation et procédures opérationnelles.

• Produire un reporting régulier et assurer le suivi des activités.

• Participer aux réunions techniques et collaborer avec les équipes projet.

• Organiser des transferts de compétences auprès des équipes.