Data Engineer / Big Data Engineer Hadoop Cloudera CDP (h/f) (IT) / Freelance

Onyx-Conseil; Paris; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer pour développer et maintenir une infrastructure Big Data, avec une expertise Hadoop, afin d’assurer la gestion, l’optimisation et la disponibilité de la plateforme.

Vous participerez à l’ingestion avec Kafka et NiFi, gérerez les montées de versions Hadoop et contribuerez à la documentation technique et à la collaboration avec les éditeurs (Cloudera) et équipes internes.

Qualifications

• Expertise en Ansible.
• Expérience avec Apache NiFi.
• Compétence en Hadoop (Big Data).
• Maîtrise de Kafka.
• Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA).
• Compétence en Spark.

Responsabilités

• Participer aux task forces pour résoudre des problématiques techniques complexes.
• Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée.
• Gérer les montées de versions majeures des composants Hadoop.
• Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs.
• Gérer la collaboration avec l’éditeur Cloudera et les entités internes.
• Suivre le planning global de production.

Connaissances

Scripting

Kafka

Spark

Outils

Ansible

Apache NiFi

Hadoop

GitHub

AWX

Shell

VBA

CDP

Terraform

Terragrunt

Description du poste

Résumé

Le poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop.

Responsabilités

• Participer aux task forces pour résoudre des problématiques techniques complexes.

• Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée.

• Gérer les montées de versions majeures des composants Hadoop.

• Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs.

• Gérer la collaboration avec l’éditeur Cloudera et les entités internes.

• Suivre le planning global de production.

Must Haves

• Expertise en Ansible.

• Expérience avec Apache NiFi.

• Compétence en Hadoop (Big Data).

• Maîtrise de Kafka.

• Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA).

• Compétence en Spark.

Nice to Have

• Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional).

• Connaissances en Terraform et Terragrunt.

Autres Détails

• Catégorie: Environnement technique.

• Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible.

• Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme.

• Type de prestation : Data Engineering Level 8.4.