Data Engineer GCP (IT) / Freelance

VISIAN; Paris; On-site; EUR 55,000 - 75,000; Full time

Job summary

VISIAN recherche un Data Engineer pour concevoir, développer et exploiter des chaînes de traitement de données dans un environnement Cloud GCP.

Vous collectez et intégrez des données issues de sources externes, stockez et traitez-les dans un datalake, et automatisez des agrégats journaliers, hebdomadaires et mensuels tout en veillant à la qualité. Le poste implique le développement et l’industrialisation des solutions et la mise en œuvre de la CI/CD.

Responsibilities

• Récupérer et intégrer des données provenant de différentes sources externes.
• Exploiter les capacités d’un Datalake pour le stockage et le traitement des données.
• Mettre en œuvre des traitements permettant de produire automatiquement des agrégats journaliers, hebdomadaires et mensuels.
• Concevoir et maintenir les chaînes : d’ingestion des données ; de validation et de contrôle de la qualité des données ; de croisement et d’enrichissement des données ; de déversement des données enrichies dans le Datalake.
• Développer les solutions dans le respect des règles et principes d’architecture définis.
• Concevoir et documenter les user stories en collaboration avec le Product Owner et les chefs de projet.
• Développer les scripts nécessaires au déploiement des solutions.
• Participer à la mise en œuvre et à l’amélioration de la chaîne de Continuous Delivery.
• Automatiser les tests fonctionnels afin de garantir la qualité et la fiabilité des traitements.
• Assurer la maintenance corrective et évolutive des développements.
• Analyser et prioriser les corrections d’anomalies.
• Assurer le suivi des incidents liés aux traitements de données.
• Accompagner et assister les équipes d’exploitation.
• Contribuer à l'amélioration continue des processus, outils et pratiques de développement.
• Assurer une veille sur les évolutions technologiques liées aux environnements et frameworks utilisés.

Job description

Dans le cadre du développement et de l’industrialisation des plateformes de données, le Data Engineer intervient sur la conception, le développement et l’exploitation de chaînes de traitement de données dans un environnement Cloud GCP.

Ses principales missions sont les suivantes :

Collecte et traitement des données

• Récupérer et intégrer des données provenant de différentes sources externes.

• Exploiter les capacités d’un Datalake pour le stockage et le traitement des données.

• Mettre en œuvre des traitements permettant de produire automatiquement des agrégats journaliers, hebdomadaires et mensuels.

• Concevoir et maintenir les chaînes :

  • d’ingestion des données ;

  • de validation et de contrôle de la qualité des données ;

  • de croisement et d’enrichissement des données ;

  • de déversement des données enrichies dans le Datalake.

Développement et industrialisation

• Développer les solutions dans le respect des règles et principes d’architecture définis.

• Concevoir et documenter les user stories en collaboration avec le Product Owner et les chefs de projet.

• Développer les scripts nécessaires au déploiement des solutions.

• Participer à la mise en œuvre et à l’amélioration de la chaîne de Continuous Delivery.

• Automatiser les tests fonctionnels afin de garantir la qualité et la fiabilité des traitements.

• Assurer la maintenance corrective et évolutive des développements.

Support et amélioration continue

• Analyser et prioriser les corrections d’anomalies.

• Assurer le suivi des incidents liés aux traitements de données.

• Accompagner et assister les équipes d’exploitation.

• Contribuer à l'amélioration continue des processus, outils et pratiques de développement.

• Assurer une veille sur les évolutions technologiques liées aux environnements et frameworks utilisés.