Data Engineer H / F

Savane Consulting; Île-de-France; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise leader dans le domaine des données recherche un expert en intégration de données et services Data sur AWS. Vous serez responsable de l'automatisation des chaînes de traitement de données et de la supervision des données provenant de diverses sources. Ce rôle exige une expertise technique en ETL, MLOps et des outils comme Mulesoft et Amazon EMR. Rejoignez une équipe dynamique pour contribuer à des projets innovants dans un environnement stimulant.

Qualifications

• Expertise en services Data sur la Plateforme AWS requise.
• Compétences en intégration de données et MLOps nécessaires.

Responsabilités

• Cartographie et documente les sources de données.
• Contribue à la maintenance du produit déployé en production.
• Met en œuvre l’automatisation de chaîne de traitement de données.

Connaissances

Expertise en services Data sur la Plateforme AWS

Expertise en technologies d’intégration de données

Automatisation MLOps

Outils

Mulesoft

Nifi

Amazon EMR

Amazon EKS

Mongo dB

Description du poste

• Cartographie et documente les sources de données.
• Contribue à assurer la maintenance du produit déployé en production et des infrastructures.
• Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité
• Structure les bases de données (sémantique, format, etc.).
• Contribue à la gestion des référentiels de données

Intégration des données :

• Capte et stocke, en toute sécurité, les données (structurées ou non) venant de l’extérieur de l’entreprise.
• Assure la supervision et l’intégration des données de diverses natures qui proviennent de sources multiples.
• Vérifie la qualité des données qui entrent dans le produit et s’assure de leur sécurité.
• Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation en aval en coordination avec les Data Analysts et Data Scientists opérant sur le produit.

Automatisation des Chaînes de Traitement de données / Déploiement d’Algorithme :

• Met en œuvre l’automatisation de chaîne de traitement de données et de déploiement d’Algorithme ML

Le produit DHA s’appuie sur les technologies suivantes :

• Nifi pour l’ingestion de données ;
• Amazon EMR pour les traitements de données ;

Amazon EKS et Mongo dB pour la mise à disposition des données.

Les développements seront réalisés sur les environnements de développement, de pré-production et de production mis en place par Safran pour le produit Datahub Aéro.

2.2 Expertises techniques attendues

Pour réaliser leurs missions dans de bonnes conditions, les intervenants du prestataire devront mettre en œuvre une expertise technique dans les domaines suivants :

• Expertise en services Data sur la Plateforme AWS (Certifications AWS : Data Analytics, Big Data…) : S3, HDFS, RDS, Redshift, EMR, Airflow…
• Expertise en technologies d’intégration de données de type ETL / EAI : Mulesoft..
• Expertise en chaîne d’automatisation MLOps et CI / CD

Créer une alerte emploi pour cette recherche