Data Engineer - Hadoop Cloudera & Big Data Automation

Onyx-Conseil; Fontenay-sous-Bois; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data.

Vous assurerez l'administration des clusters Hadoop Cloudera CDP, participerez aux montées de version, résoudrez les incidents et automatiserez les déploiements avec Ansible et Terraform/Terragrunt.

Qualifications

• Expérience en administration et maintenance de clusters Hadoop Cloudera CDP.
• Maîtrise des montées de version des composants Hadoop.
• Capacité à résoudre des incidents techniques complexes et à intervenir en task force.
• Automatisation des déploiements et exploitation avec Ansible et Terraform/Terragrunt.
• Garantir disponibilité, performance et sécurité de la plateforme.
• Rédaction de documentation technique et collaboration avec Cloudera et les équipes internes.

Responsabilités

• Administrer et maintenir les clusters Hadoop Cloudera CDP.
• Participer aux montées de version des composants Hadoop.
• Résoudre les incidents techniques complexes et intervenir en task force.
• Automatiser les déploiements, le patching et l'exploitation avec Ansible et Terraform/Terragrunt.
• Garantir la disponibilité, la performance et la sécurité de la plateforme.
• Gérer les changements (tests, rollback, mise en production).
• Collaborer avec Cloudera et les équipes internes.
• Rédiger la documentation technique.

Connaissances

Hadoop

Cloudera CDP

Spark

Kafka

Apache NiFi

Ansible

Terraform

Terragrunt

AWX

Shell

Git

GitHub

Outils

Hadoop

Cloudera CDP

Spark

Kafka

Apache NiFi

Ansible

Terraform

Terragrunt

AWX

Shell

Git

GitHub

Description du poste

Société Générale recherche un Data Engineer / Expert Hadoop pour assurer l'administration, la maintenance et l'évolution de sa plateforme Big Data Cloudera CDP. La mission porte sur la fiabilité, la performance, les montées de version et l'automatisation de l'infrastructure Big Data.

Vous assurerez l'administration des clusters Hadoop Cloudera CDP, participerez aux montées de version, résoudrez les incidents et automatiserez les déploiements avec Ansible et Terraform/Terragrunt.