Data Engineer, GTLake Big Data Platform

MERITIS; Paris; Sur place; EUR 80 000 - 110 000; Plein temps

Avantages offerts par ce poste

Accompagnement personnalisé

Parcours professionnels sur mesure

Réseau de clients varié

Événements festifs et techniques

Mobilités géographiques internes

Résumé du poste

Meritis recherche un Data Engineer Big Data confirmé pour intervenir au sein de l’IT Data Management & BI, dans l’équipe Big Data & API, au sein de la Squad Global Trade. L’équipe développe et assure la gestion d’un Data Lake dédié aux activités de Global Trade : GTLake.

En tant que Data Engineer GTLake, vous interviendrez sur les enjeux de production, d’évolution de la plateforme et de développement liés aux projets métiers.

Qualifications

• 6 à 9 ans d'expérience en Data Engineering / Big Data dans des environnements de production complexes.
• Maîtrise de Spark / PySpark et traitement de données à grande échelle.
• Expérience avec Hadoop On-Premise et Data Lake.
• Connaissance avancée de SQL/Hive/Starburst, CI/CD et déploiement.

Responsabilités

• Assurer la production et la maintenance du GTLake.
• Participer à la réduction de la dette technique.
• Analyser l’architecture du Data Lake et proposer des évolutions.
• Concevoir et développer les évolutions du GTLake.
• Participer aux projets CASH et Trade.
• Industrialiser et automatiser les traitements et les déploiements.

Connaissances

Spark / PySpark

Hadoop On-Premise

SQL / Hive / Starburst

CI / CD

Bash

Git / Bitbucket

Production incident diagnosis

Description du poste

Meritis recherche un Data Engineer Big Data confirmé pour intervenir au sein de l’IT Data Management & BI, dans l’équipe Big Data & API, au sein de la Squad Global Trade. L’équipe développe et assure la gestion d’un Data Lake dédié aux activités de Global Trade : GTLake.

En tant que Data Engineer GTLake, vous interviendrez sur les enjeux de production, d’évolution de la plateforme et de développement liés aux projets métiers.