Ingénieur Big Data Système Xaas - Run & Admin Avancée H / F

Ascalium; Toulouse; Sur place; EUR 45 000 - 60 000; Plein temps

Résumé du poste

Une entreprise spécialisée en Big Data recherche un ingénieur plateforme à Toulouse. Vous serez responsable de l'administration avancée des environnements Big Data incluant Hadoop et Kafka, tout en garantissant leur performance et sécurité. Le candidat idéal possède au moins 6 ans d'expérience, maîtrise Linux RedHat et intervient en support technique. Ce poste nécessite une grande rigueur et des compétences en collaboration avec les équipes de développement.

Qualifications

• 6 ans en administration Big Data ou ingénierie système Data.
• Maitrise Linux RedHat (niveau admin avancé).
• RUN impératif.

Responsabilités

• Maintenir les plateformes Hadoop, Kafka, Elastic, NiFi.
• Assurer le support N2 / N3 et participer aux astreintes.
• Gérer les incidents majeurs, le troubleshooting, les actions correctives.
• Intervenir en HNO en cas de besoin (24 / 7 en rotation).
• Optimiser les configurations cluster, gérer la scalabilité.

Connaissances

Hadoop

Kafka

Elasticsearch

Linux RedHat

Outils

ELK

NiFi

Description du poste

VOTRE RÔLE :

Vous rejoignez l'équipe en charge des plateformes Big Data du SI (clusters Hadoop, Kafka, Elastic, NiFi, etc.).

Votre rôle est celui d'un ingénieur plateforme / ingénieur système Big Data, responsable de la stabilité, de la performance, de la sécurité et du RUN avancé des environnements Big Data.

Ce n'est PAS un poste Data Engineer (pas de dev Spark)

C'est un rôle SRE / administration avancée Big Data

Vous êtes le garant de la disponibilité du cluster, du troubleshooting profond, et de la bonne utilisation par les équipes de développement.

VOS RESPONSABLES PRINCIPALES :

RUN & Administration avancée

• Maintenir les plateformes Hadoop, Kafka, Elastic, NiFi
• Assurer le support N2 / N3 et participer aux astreintes.
• Gérer les incidents majeurs, le troubleshooting, les actions correctives.
• Intervenir en HNO en cas de besoin (24 / 7 en rotation).

Performance & optimisation

• Diagnostiquer les lenteurs (HDFS, YARN, Kafka brokers, Elasticsearch).
• Optimiser les configurations cluster, gérer la scalabilité.
• Ajuster les paramètres système pour améliorer le throughput / latence.

Sécurité

• Gérer Kerberos, Knox, Ranger pour les accès et la gouvernance.
• Garantir la conformité, les politiques d'accès et la sécurité des données.

Monitoring et logs

• Exploiter ELK : Elasticsearch, Logstash, Kibana.
• Superviser l'état du cluster via scripts, dashboards, alerting.
• Bonus : Dynatrace.

Collaboration avec les équipes Dev

• Expliquer comment consommer les services Big Data.
• Accompagner les projets dans l'intégration des données / flux.
• Contribuer à l'industrialisation de l'écosystème Big Data.

Automatisation & intégration

• Scripts Bash / Python.
• Gestion de flux NiFi (si existant).
• Suivi du multitraitement et orchestrations (Oozie en bonus).

EXPERIENCE :

• 6 ans en administration Big Data ou ingénierie système Data.
• RUN impératif.
• Maitrise Linux RedHat (niveau admin avancé).

COMPETENCES TECHNIQUES :

• Hadoop (HDFS, YARN)
• Kafka
• Elasticsearch
• Logstash
• Kibana

APPRECIE :

• NiFi
• Hive
• HBase
• Oozie
• Ranger
• Knox
• Phoenix

SOFT SKILLS

• Communication claire
• Rigueur
• Sang-froid
• Esprit d'équipe
• Prise d'initiative
• Autonomie