Data Engineer

Mp Data; Boulogne-Billancourt; On-site; EUR 55,000 - 75,000; Full time

Job summary

Mp Data recherche un Data Engineer pour rejoindre son équipe afin de concevoir et déployer des solutions data robustes destinées à de gros volumes.

Vous travaillerez sur Spark/PySpark, pipelines ETL, et l’orchestration avec Airflow ou Dagster, en environnement Cloud (AWS / GCP / Azure) et avec Snowflake ou Databricks.

Qualifications

• Ingénieur(e) diplômé(e), grande école, et solide appétence pour résolution de problèmes métiers.
• Connaissance avancée des architectures data et des bonnes pratiques (Data Mesh, Gouvernance, Cloud First).
• Expérience en développement et déploiement de solutions data en production.

Responsibilities

• Concevoir et développer des solutions Data pour collecte, organisation, stockage et modélisation des données.
• Développer des solutions Spark industrialisables en production.
• Déployer et optimiser les services data sur le cloud chez les clients.
• Assurer l’accès fiable, sécurisé et qualité des données et mettre en place des contrôles de qualité.

Skills

Python

C/C++

Java

Spark / PySpark

Backend development (Django / Flask)

Kafka / event-driven

CI/CD pipelines

DBT

Data governance concepts

Education

Diplôme d'ingénieur(e) d’une grande école

Tools

Snowflake

Databricks

Airflow

Dagster

AWS

GCP

Azure

Job description

Dans le cadre de l’accélération de nos clients dans des contextes de gros volume de données à exploiter, nous recherchons un(e)Data Engineerpour rejoindre notre équipe.

Votre rôle sera notamment de :

• Concevoir et développer des solutions Data pour la collecte, l’organisation, le stockage et la modélisation des données,
• Développer des solutions Spark qui soit industrialisable dans un contexte de production
• Déployer, exploiter et optimiser l’utilisation des services dans un contexte big data déployé sur les clouds providers de nos clients,
• Assurer l’accès fiable, efficace et sécurisé aux différentes sources de données métier et processus, tout en mettant en place des outils et méthodes de contrôle et de validation de la qualité des données
• Optimiser les processus de collecte, transfert et stockage des données (ETL), en assurant l’adéquation avec les contraintes techniques et opérationnelles
• Maintenir les outils, technologies et processus à jour, en assurant une veille technique assidue et une supervision permanente de l’environnement
• Garantir la qualité des développements

Diplômé(e) ingénieur(e) d’une grande école (Centrale, Mines, Supaero, Supelec, …), vous avez une appétence pour la résolution de problèmes métiers.Vous êtes reconnu(e) pour votre rigueur, votre excellent relationnel et votre capacité à être force de proposition.Vous êtes intéressé(e) par l’idée de vous dépasser en Data Engineering et vous disposez d’une première expérience réussi qui vous a permis de valider vos compétences dans la majorité des éléments suivants :Python, C/C++ ou JavaDéveloppement backend (Django / Flask)Spark / PySparkKafka ou autre outil event-driven.la mise en place et l’exploitation de services Cloud : AWS / GCP / AzureData Platform : Snowflake ou Databricksl’orchestration avec Dagster ou Airflow, les pipelines de CICD ou encore la transformation avec DBTTu connais les architectures data et les bonnes pratiques associés (Data Mesh, Gouvernance, Cloud First…)