Data Engineer - Clermont Ferrand

Mp Data; Boulogne-Billancourt; Remote; EUR 65,000 - 100,000; Full time

Job summary

Mp Data recherche un Data Engineer pour renforcer son équipe et concevoir des solutions Data pour la collecte, l’organisation, le stockage et la modélisation des données. Vous développerez des pipelines Spark et des services cloud pour des environnements big data chez les clients.

Vous assurez l’accès fiable et sécurisé aux sources métiers, optimiserez les ETL et veillerez à la qualité des développements, tout en restant curieux des architectures Data Mesh et des bonnes pratiques de gouvernance.

Qualifications

• Ingénieur(e) diplômé(e) d'une grande école (Centrale, Mines, Supaéro, Supelec...).
• Rigueur, sens relationnel et esprit proactif pour résoudre des problématiques métier.
• Première expérience en Data Engineering et maîtrise des technologies listées.

Responsibilities

• Concevoir et développer des solutions Data pour collecte, organisation, stockage et modélisation.
• Développer des solutions Spark industrialisables en production.
• Déployer et optimiser les services Data sur les clouds clients.
• Assurer un accès fiable et sécurisé aux sources de données métier.
• Optimiser les processus ETL et assurer la qualité des données.
• Maintenir les outils et veiller à une veille technique continue.
• Garantir la qualité des développements.

Skills

Python

C/C++

Java

Django/Flask

Spark

PySpark

Kafka

AWS

GCP

Azure

Snowflake

Databricks

Dagster

Airflow

CI/CD

Data Mesh

Gouvernance

Education

Diplômé ingénieur grande école

Tools

Snowflake

Databricks

Dagster

Airflow

Django/Flask

Spark

PySpark

Kafka

AWS

GCP

Azure

Job description

Dans le cadre de l’accélération de nos clients dans des contextes de gros volume de données à exploiter, nous recherchons un(e)Data Engineerpour rejoindre notre équipe.

Votre rôle sera notamment de :

• Concevoir et développer des solutions Data pour la collecte, l’organisation, le stockage et la modélisation des données,
• Développer des solutions Spark qui soit industrialisable dans un contexte de production
• Déployer, exploiter et optimiser l’utilisation des services dans un contexte big data déployé sur les clouds providers de nos clients,
• Assurer l’accès fiable, efficace et sécurisé aux différentes sources de données métier et processus, tout en mettant en place des outils et méthodes de contrôle et de validation de la qualité des données
• Optimiser les processus de collecte, transfert et stockage des données (ETL), en assurant l’adéquation avec les contraintes techniques et opérationnelles
• Maintenir les outils, technologies et processus à jour, en assurant une veille technique assidue et une supervision permanente de l’environnement
• Garantir la qualité des développements

Diplômé(e) ingénieur(e) d’une grande école (Centrale, Mines, Supaero, Supelec, …), vous avez une appétence pour la résolution de problèmes métiers.Vous êtes reconnu(e) pour votre rigueur, votre excellent relationnel et votre capacité à être force de proposition.Vous êtes intéressé(e) par l’idée de vous dépasser en Data Engineering et vous disposez d’une première expérience réussi qui vous a permis de valider vos compétences dans la majorité des éléments suivants :Python, C/C++ ou JavaDéveloppement backend (Django / Flask)Spark / PySparkKafka ou autre outil event-driven.la mise en place et l’exploitation de services Cloud : AWS / GCP / AzureData Platform : Snowflake ou Databricksl’orchestration avec Dagster ou Airflow, les pipelines de CICD ou encore la transformation avec DBTTu connais les architectures data et les bonnes pratiques associés (Data Mesh, Gouvernance, Cloud First…)