Data Engineer (AWS, Snowflake & Terraform) (IT) / Freelance

Trait d'Union Consulting; Paris; Hybride; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une société de conseil en data recherche un Data Engineer pour rejoindre son équipe à Paris. Vous serez responsable de l'implémentation de flux de données sur AWS avec Python et Airflow, ainsi que de la maintenance de ces flux. L'expérience avec des outils tels que Terraform et Snowflake est essentielle. Ce poste offre une flexibilité de 1 à 2 jours de télétravail par semaine.

Qualifications

• Expérience avec AWS et Terraform pour l'implémentation des flux de données.
• Connaissances en ingestion dans Datawarehouse Snowflake.
• Compétences en Python et Airflow pour gérer les flux de données.

Responsabilités

• Implémentation de flux de données sur AWS et Terraform.
• Réalisation de tests unitaires et d'intégration.
• Mise à jour de la documentation sous Confluence.

Connaissances

AWS

Terraform

Python

Airflow

Nifi

Snowflake

Gitlab

CI/CD

Description du poste

Overview

Notre client souhaite renforcer son équipe DataPlatform.

Vous rejoindrez une équipe composée de 3 Data Engineer, 1 DB Admin, 1 Responsable BI, 1 Product Owner appuyé par des DevOps mettant à disposition les infrastructures de gestion de la donnée.

Responsabilités

• Implémentation de nouveaux flux de données sur AWS & Terraform avec Python / Airflow (COLD et STREAMING)
• Implémentation des flux de données de l’extraction à l’exposition des données via Python / Airflow managé ou avec Nifi pour les données « cold » et « streaming »
• Pour chacun des projets :
• Code Review entre les data engineers
• Réalisation des tests unitaires, de non-régression et d’intégration
• Mise à jour de la documentation sous Confluence
• Réaliser les tests unitaires et d’intégration
• Respecter les bonnes pratiques de développements
• Maintenance corrective des flux de données

1 à 2 jours de remote

Localisé Paris 12e

Profil candidat

En terme d’environnement :

• AWS, Terraform, ingestion dans Datawarehouse Snowflake.
• Nifi pour l’ingestion sur du Kafka / API et AWS Lambda sous Python et Airflow.
• SQS / SNS / Snowpipe (Snowflake)
• Gitlab et CI / CD.