Data Engineer

Clay Group; France; Hybride; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Clay Group cherche un ingénieur Data pour concevoir et maintenir des pipelines de données scalables, en utilisant Spark, Hadoop, Kafka et autres technologies Big Data. Vous collaborerez étroitement avec les équipes Data Scientist et contribuerez à l’architecture de systèmes distribués.

Le candidat idéal possède une formation d’ingénieur et une expérience en Data Engineering, avec de bonnes connaissances des clouds et des outils DevOps.

Qualifications

• Ingénieur.e de formation ou équivalent dans le domaine de la Data et une première expérience professionnelle significative en Data Engineering.
• Bonnes connaissances des clouds (AWS, Azure et/ou GCP) et architectures de données.
• Maîtrise des environnements Big Data (Python, PySpark, Spark, Scala, Java, SQL) et des outils DevOps.
• Capacité à documenter, rédiger des doc techniques et communiquer en anglais professionnel.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données scalables pour ingestion, traitement et stockage.
• Exploiter les technologies Big Data (Spark, Hadoop, Kafka, Cassandra, MongoDB, etc.).
• Travailler avec les Data Scientists pour répondre à leurs besoins et proposer des solutions adaptées.
• Participer à l’architecture et à la conception de systèmes Big Data distribués.
• Développer des algorithmes et modèles de données pour extraire des informations à partir de gros ensembles de données.
• Assurer qualité, intégrité et sécurité des données tout au long du traitement.
• Participer aux chiffrages des solutions et à la priorisation des backlogs.
• Former et conseiller les utilisateurs et réaliser des présentations (meetups).
• Veiller en continu sur les évolutions technologiques.

Connaissances

Python

PySpark

Spark

Scala

Java

SQL

DevOps

Data visualisation

Anglais pro

Formation

Ingénieur.e Data/équivalant

Outils

Kafka

Cassandra

MongoDB

Hadoop

AWS

Azure

GCP

Description du poste

Clay Group est engagé en faveur de la diversité, du handicap et de l’égalité professionnelle entre les femmes et les hommes. Chez nous, tous les talents sont reconnus !

Descriptif du poste

Dans le cadre de projets Big Data menés pour nos clients dans des secteurs variés (Energie, Luxe, Télécoms, Finance,…), vous aurez l’occasion de travailler aussi bien sur des plateformes existantes qu’en cours de construction.

Vos responsabilités principales seront de :

• Concevoir, développer et maintenir des pipelines de données scalables pour l’ingestion, le traitement et le stockage de grosses volumétries de données ;
• Exploiter les technologies Big Data (Spark, Hadoop, Kafka, Cassandra, MongoDB, etc.), afin de gérer efficacement les flux de données ;
• Travailler en étroite collaboration avec les équipes Data Scientist pour comprendre les besoins et mettre en place des solutions adaptées ;
• Participer à l’architecture et à la conception de systèmes Big Data distribués pour traiter des données structurées et non structurées provenant de différentes sources ;
• Développer des algorithmes et des modèles de données pour extraire des informations significatives à partir des ensembles de données volumineux ;
• Assurer la qualité, l’intégrité et la sécurité des données tout au long du processus de traitement ;
• Participer aux chiffrages des solutions (poker planning) et priorisations (backlogs) ;
• Apporter votre support et vos conseils aux utilisateurs ;
• Réaliser des formations et présentations (organisation de meetups par exemple) ;
• Assurer une veille technologique permanente.

Votre profil :

Ingénieur.e de formation ou équivalent dans le domaine de la Data, vous disposez d’une première expérience professionnelle significative en Data Engineering.

Vous avez déjà eu l’occasion de travailler sur un ou plusieurs Cloud Providers (AWS, Azure et/ou GCP) et disposez de bonnes connaissances sur les architectures de données et le cloud.

Techniquement, vous disposez d’expériences, voire d’expertise sur une partie des environnements suivants :

• Python, PySpark, Spark, Scala, Java, Python et SQL ;
• Principes et outils DevOps ;

Vous êtes également à l’aise dans la rédaction de documentations techniques et l’anglais professionnel à l’écrit comme à l’oral.

Les plus :

Vous avez eu l’occasion de pratiquer les technologies suivantes :

• Data visualisation ;

Vous disposez d’une ou plusieurs certifications notamment dispensées par les Cloud Providers.

Vous avez déjà eu l’occasion de travailler en mode agile

Savoir-être :

Passionné.e par les nouvelles technologies et les problématiques métier, vous êtes en perpétuelle formation et remise en question.

Vous avez l’envie de partager vos connaissances et de faire progresser les autres dans un esprit d’équipe.

Orienté client, vous faites preuve de pédagogie auprès de vos clients et collègues.

Vous êtes capable de travailler de manière collaborative au sein d’équipes pluridisciplinaire comme de faire preuve d’autonomie lorsque cela est nécessaire.

Rigoureux et pragmatique, vous savez faire aboutir un projet.

Les champs suivis d'un astérisque sont obligatoires.