Ingénieur Data Senior – Migration et Administration Clusters (HDP/CDP, Cloud, Kubernetes, Spark[...]

Ingénieur Data Senior – Migration et Administration Clusters (HDP/CDP, Cloud, Kubernetes, Spark, Airflow, Starburst)

Basé à Paris avec une présence de deux jours par semaine sur site, ce poste implique l’accompagnement et le maintien en conditions opérationnelles (MCO) des infrastructures HDP et CDP , dans un contexte de migration vers des services Data sur le Cloud. Le rôle intègre l’administration et l’optimisation de clusters, la gestion des mises à jour et des correctifs de sécurité, ainsi que la supervision des performances et l’optimisation des ressources.

• Administration et optimisation des clusters HDP/CDP : installation, configuration, maintenance.
• Gestion des mises à jour système et patchs de sécurité.
• Supervision et optimisation des ressources et performances .
• Gestion de clusters Kubernetes : administration, sécurisation et monitoring d’environnements conteneurisés (IKS, Openshift…).
• Automatisation des déploiements grâce aux Operators.
• Orchestration de workflows avec Apache Airflow : développement et optimisation des DAGs , gestion des dépendances et optimisation des temps d’exécution, intégration dans l’écosystème Data.
• Traitement et analyse des données avec Apache Spark : développement et tuning de jobs en batch ou streaming, intégration avec des systèmes distribués.
• Optimisation des requêtes et accès aux données distribuées avec Starburst (Trino) : configuration et administration, optimisation des requêtes SQL, gestion des accès sécurisés.

Le poste contribue directement à la transformation Data de l’entreprise, en facilitant la migration, la sécurisation et la performance des écosystèmes Big Data sur Cloud.

Profile description

Nous recherchons des personnes passionnées par l’ingénierie des données, capables d’aborder des environnements techniques complexes et en constante évolution. Les candidats idéaux démontrent une grande rigueur dans l’administration d’infrastructures Big Data, ainsi qu’une solide curiosité pour les nouvelles technologies et l’automatisation.

• Expérience avérée dans l’administration de clusters HDP/CDP, avec une capacité à optimiser la performance de systèmes data avancés.
• Sens prononcé de la fiabilité et de la sécurité, pour gérer des environnements critiques et veiller à leur conformité, tout en anticipant les besoins de monitoring.
• Orientation solutions et esprit analytique permettant d’automatiser, d’optimiser les déploiements et d’orchestrer les workflows complexes grâce à des outils variés (Kubernetes, Airflow, Spark, Starburst).
• Appréciation de l’innovation et capacité à rester à la pointe des pratiques de migration et d’optimisation data dans des contextes cloud hybrides.
• Ouverture d’esprit et habitude de collaborer efficacement avec des équipes pluridisciplinaires, notamment lors de projets de transformation ou de migration technologique.
• Maîtrise du français à l’oral comme à l’écrit, pour communiquer aisément avec toutes les parties prenantes et documenter de manière claire les démarches engagées.
• Une expérience réussie sur des projets d’envergure en data engineering, et un réel engagement à apprendre en continu pour affiner son expertise technique et fonctionnelle.

Nous apprécions particulièrement les consultants à la fois autonomes et investis, capables d’anticiper les évolutions technologiques, tout en procurant un accompagnement fiable sur site et à distance.