Cloud Data Engineer - Spark & Data Platform Expert

Mp Data; Paris; A distancia; EUR 65.000 - 90.000; Jornada completa

Descripción de la vacante

Mp Data recherche un Data Engineer pour accompagner des clients dans des contextes de gros volumes de données. Vous concevrez et développerez des solutions Data pour la collecte, l’organisation et le stockage des données, et déploierez des pipelines Spark industrialisables.

Vous déployerez, exploiterez et optimiserez les services sur les clouds de nos clients, garantissant un accès fiable et sécurisé aux sources de données métiers et leur qualité.

Formación

• Diplômé(e) ingénieur(e) d’une grande école.
• Vous avez une appétence pour la résolution de problèmes métiers.
• Vous disposez d’une première expérience réussie dans les domaines cités.

Responsabilidades

• Concevoir et développer des solutions Data pour la collecte, l’organisation, le stockage et la modélisation des données.
• Développer des solutions Spark qui soit industrialisables en production.
• Déployer, exploiter et optimiser l’utilisation des services dans un contexte big data sur les clouds des clients.
• Assurer un accès fiable, efficace et sécurisé aux sources de données métier tout en validant la qualité des données.
• Optimiser les processus ETL de collecte, transfert et stockage des données.
• Maintenir les outils et technologies à jour et assurer une veille technique.
• Garantir la qualité des développements et l’observabilité de l’environnement

Conocimientos

Python

C/C++/Java

Django/Flask

Spark/PySpark

Kafka

Dagster/Airflow

Snowflake/Databricks

Cloud Platforms

Data governance

Educación

Ingénieur grande école

Herramientas

Dagster

Airflow

Snowflake

Databricks

Descripción del empleo

Mp Data recherche un Data Engineer pour accompagner des clients dans des contextes de gros volumes de données. Vous concevrez et développerez des solutions Data pour la collecte, l’organisation et le stockage des données, et déploierez des pipelines Spark industrialisables.

Vous déployerez, exploiterez et optimiserez les services sur les clouds de nos clients, garantissant un accès fiable et sécurisé aux sources de données métiers et leur qualité.