Expert Data Engineer

DGTL Performance; Magny-les-Hameaux; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une société de services Data recherche un expert en gestion de données pour travailler avec des technologies avancées sur la plateforme AWS. Vous serez responsable de la cartographie des sources de données, de l'intégration des flux de données et de l'automatisation des chaînes de traitement. Ce poste est basé à Magny-les-Hameaux et offre un environnement stimulant dans le domaine de la Data.

Qualifications

• Expertise en services Data sur la Plateforme AWS requise.
• Compétences en intégration de données essentielles.
• Connaissances en Big Data et MLOps attendues.

Responsabilités

• Cartographier et documenter les sources de données.
• Veiller à l'intégration et à la qualité des données.
• Automatiser les chaînes de traitement de données.

Connaissances

Expertise en services Data sur la Plateforme AWS

Expertise en solutions Big Data/Analytics

Expertise en technologies d'intégration de données de type ETL/EAI

Connaissance de MLOps et CI/CD

Outils

Amazon EMR

MongoDB

Apache NiFi

Mulesoft

Description du poste

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA. Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc. Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants. https : / / www.dgtl-performance.com

Description du poste

• Infrastructure de données : cartographie et documente les sources de données; contribue à assurer la maintenance du produit déployé en production et des infrastructures; conçoit les solutions permettant le traitement de volumes importants de flux de données en toute sécurité; structure les bases de données (sémantique, format, etc.); contribue à la gestion des référentiels de données.
• Intégration des données : capte et stocke, en toute sécurité, les données (structurées ou non) venant de l'extérieur de l'entreprise; assure la supervision et l'intégration des données de diverses natures provenant de sources multiples; vérifie la qualité des données entrantes et assure leur sécurité; nettoie la donnée (élimination des doublons…) et la valide pour une utilisation en aval en coordination avec les Data Analysts et Data Scientists opérant sur le produit.
• Automatisation des chaînes de traitement de données / Déploiement d'algorithme : met en œuvre l'automatisation de chaîne de traitement de données et de déploiement d'algorithme ML.
• Pour assurer la meilleure coordination possible entre le prestataire et le client, participation active aux rituels du projet attendue. Ces rituels permettent : garantir la compréhension du besoin; agréer les conditions de réalisation (coût, délai); identifier les points de blocage potentiels.
• Livrables attendus : dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données; services de gestion de données (API, algorithmes industrialisés); cartographie des données; éléments garantissant la qualité de la donnée (traitement des données).
• Planning du projet : la prestation démarrera courant septembre et prendra fin au 31/12/2025.
• Pilotage de la Prestation : pilotage dans le cadre des rituels SCRUM en place, lors des réunions de sprint planning et des rétrospectives, et lors d'un point quotidien pour identifier les points durs.

Profil recherché

• Environnement technique de la Prestation : les produits s'appuient sur les technologies suivantes – NiFi pour l'ingestion de données; Amazon EMR pour les traitements de données; Amazon EKS et MongoDB pour la mise à disposition des données. Les développements seront réalisés sur les environnements de développement, de pré-production et de production mis en place par le client.
• Expertises techniques attendues : expertise en services Data sur la Plateforme AWS (certifications AWS : Data Analytics, Big Data…) : S3, HDFS, RDS, Redshift, EMR, Airflow…; expertise en solutions Big Data / Analytics : Spark, NoSQL…; expertise en technologies d'intégration de données de type ETL / EAI : Mulesoft; expertise en chaîne d\'automation MLOps et CI / CD; Spark -> EMR on EKS -> MWAA -> MongoDB Enterprise -> OpenSearch -> NiFi -> NiFi Registry.
• Lieu : Magny les Hameaux