Data Engineer H/F

Savane Consulting; Île-de-France; Sur place; EUR 50 000 - 80 000; Plein temps

Résumé du poste

Une entreprise innovante recherche un expert en gestion de données pour travailler sur une plateforme AWS, spécialisée dans le Big Data. Vous serez en charge de l’intégration, de l’automatisation et de la sécurité des données, tout en contribuant à des solutions analytiques avancées. Ce poste requiert une solide expertise technique et une connaissance approfondie des outils modernes de gestion de données.

Qualifications

• Expertise en services Data sur la plateforme AWS.
• Expertise en solutions Big Data/Analytics comme Spark et NoSQL.
• Compétence en intégration de données et chaînes d’automatisation.

Responsabilités

• Cartographie des sources de données et maintenance du produit.
• Intégration et supervision des données de diverses natures.
• Automatisation de chaînes de traitement de données et déploiement d’algorithmes.

Connaissances

Expertise AWS

Big Data

MLOps

ETL/EAI

Automatisation

Outils

Spark

MongoDB

Nifi

Amazon EMR

Description du poste

Infrastructure de données:
• Cartographie et documente les sources de données.
• Contribue à assurer la maintenance du produit déployé en production et des infrastructures.
• Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité
• Structure les bases de données (sémantique, format, etc.).
• Contribue à la gestion des référentiels de données

Intégration des données:
• Capte et stocke, en toute sécurité, les données (structurées ou non) venant de l’extérieur de l’entreprise.
• Assure la supervision et l’intégration des données de diverses natures qui proviennent de sources multiples.
• Vérifie la qualité des données qui entrent dans le produit et s’assure de leur sécurité.
• Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation en aval en coordination avec les Data Analysts et Data Scientists opérant sur le produit.

Automatisation des Chaînes de Traitement de données / Déploiement d’Algorithme :
• Met en œuvre l’automatisation de chaîne de traitement de données et de déploiement d’Algorithme ML

Le produit DHA s’appuie sur les technologies suivantes :
– Nifi pour l’ingestion de données ;
– Amazon EMR pour les traitements de données ;
– Amazon EKS et Mongo dB pour la mise à disposition des données.

Les développements seront réalisés sur les environnements de développement, de pré-production et de production mis en place par Safran pour le produit Datahub Aéro.

2.2 Expertises techniques attendues
Pour réaliser leurs missions dans de bonnes conditions, les intervenants du prestataire devront mettre en œuvre une expertise technique dans les domaines suivants :
• Expertise en services Data sur la Plateforme AWS (Certifications AWS : Data Analytics, Big Data…) : S3, HDFS, RDS, Redshift, EMR, Airflow…
• Expertise en solutions Big Data/Analytics : Spark, NoSQL…
• Expertise en technologies d’intégration de données de type ETL/EAI : Mulesoft..
• Expertise en chaîne d’automatisation MLOps et CI/CD

Software Version
Spark 2.x
EMR on EKS 5.32.0
MWAA 2.4.3 (latest)
MongoDB enterprise 6.06
Opensearch 1.2
NIFI 1.16.3
NiFi Registry 0.8.0

.fusion-button.button-1 {border-radius:3px;}Postulez ici !