Big Data Engineer - Cloud Pipelines & Insights

Clay Group; France; Hybride; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Clay Group cherche un ingénieur Data pour concevoir et maintenir des pipelines de données scalables, en utilisant Spark, Hadoop, Kafka et autres technologies Big Data. Vous collaborerez étroitement avec les équipes Data Scientist et contribuerez à l’architecture de systèmes distribués.

Le candidat idéal possède une formation d’ingénieur et une expérience en Data Engineering, avec de bonnes connaissances des clouds et des outils DevOps.

Qualifications

• Ingénieur.e de formation ou équivalent dans le domaine de la Data et une première expérience professionnelle significative en Data Engineering.
• Bonnes connaissances des clouds (AWS, Azure et/ou GCP) et architectures de données.
• Maîtrise des environnements Big Data (Python, PySpark, Spark, Scala, Java, SQL) et des outils DevOps.
• Capacité à documenter, rédiger des doc techniques et communiquer en anglais professionnel.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données scalables pour ingestion, traitement et stockage.
• Exploiter les technologies Big Data (Spark, Hadoop, Kafka, Cassandra, MongoDB, etc.).
• Travailler avec les Data Scientists pour répondre à leurs besoins et proposer des solutions adaptées.
• Participer à l’architecture et à la conception de systèmes Big Data distribués.
• Développer des algorithmes et modèles de données pour extraire des informations à partir de gros ensembles de données.
• Assurer qualité, intégrité et sécurité des données tout au long du traitement.
• Participer aux chiffrages des solutions et à la priorisation des backlogs.
• Former et conseiller les utilisateurs et réaliser des présentations (meetups).
• Veiller en continu sur les évolutions technologiques.

Connaissances

Python

PySpark

Spark

Scala

Java

SQL

DevOps

Data visualisation

Anglais pro

Formation

Ingénieur.e Data/équivalant

Outils

Kafka

Cassandra

MongoDB

Hadoop

AWS

Azure

GCP

Description du poste

Clay Group cherche un ingénieur Data pour concevoir et maintenir des pipelines de données scalables, en utilisant Spark, Hadoop, Kafka et autres technologies Big Data. Vous collaborerez étroitement avec les équipes Data Scientist et contribuerez à l’architecture de systèmes distribués.

Le candidat idéal possède une formation d’ingénieur et une expérience en Data Engineering, avec de bonnes connaissances des clouds et des outils DevOps.