Azure Data Engineer F / H

Devoteam M Cloud France; Nantes; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise de premier plan dans le secteur du cloud recherche un Data Engineer pour optimiser son infrastructure de données sur Microsoft Azure. Dans ce rôle, vous développerez des pipelines de données fiables et collaborerez avec les équipes de Data Science pour fournir des datasets valables. Vous contribuerez également à la mise en œuvre de pratiques de sécurité des données et d'automatisation CI/CD.

Qualifications

• Expérience en développement de pipelines de données.
• Connaissance de Microsoft Azure et des outils associés.
• Compréhension des pratiques CI/CD.

Responsabilités

• Développer et maintenir des pipelines de données performants.
• Optimiser l'infrastructure cloud sur Azure.
• Collaborer avec les équipes Data Science et BI.

Connaissances

Databricks

Spark

Python

Optimisation des infrastructures cloud

Sécurité des données

Outils

Azure Data Lake

Azure SQL

Azure Data Factory

Description du poste

En tant que Data Engineer, vous contribuerez à la gestion et à l'optimisation de notre infrastructure de données basée sur l’écosystème Microsoft Azure. Vos principales missions seront :

• Développer et maintenir des pipelines de données performants et fiables en utilisant Databricks, Spark et Python pour transformer et orchestrer les données.
• Optimiser l’infrastructure cloud sur Azure (Azure Data Lake, Azure SQL, Azure Data Factory, etc.) pour le stockage, le traitement et l’analyse de grandes volumétries de données.
• Mettre en place des workflows automatisés avec les bonnes pratiques CI/CD pour garantir la robustesse et la reproductibilité des processus.
• Collaborer avec les équipes Data Science et BI pour livrer des datasets prêts à l’emploi, et accompagner l’intégration des modèles analytiques dans des pipelines de production.
• Assurer la sécurité et la gouvernance des données, en respectant les standards de confidentialité et de conformité.