Data Engineer Azure (IT) / Freelance

Atlanse; Châtillon; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise de solutions data recherche un Data Engineer Azure pour développer des pipelines de données et optimiser des plateformes Big Data. Le poste exige une forte expertise en Spark et PySpark, ainsi que des compétences en DevOps. Les candidats doivent être proactifs et avoir de bonnes capacités relationnelles.

Qualifications

• Forte expertise sur Spark / Scala ou PySpark.
• Maîtrise des environnements Big Data.
• Solides connaissances en modélisation décisionnelle.

Responsabilités

• Implémenter des solutions d’ingestion de données.
• Concevoir et mettre en œuvre des pipelines de données.
• Déployer des pipelines de données dans une approche CI / CD.

Connaissances

Expertise sur Spark / Scala ou PySpark

Maîtrise des environnements Big Data

Modélisation décisionnelle

Compétences en Framework Spark

Connaissance de SQL et Azure Databricks

Outils CI / CD et pratiques DevOps

Description du poste

Overview

En tant que Data Engineer Azure, vous contribuez à la mise en place de solutions data modernes et performantes, au service des enjeux métiers et de la stratégie data-driven.

Votre rôle

Ingestion & Traitement des données

• Implémenter des solutions d’ingestion de données répondant aux différents cas d’usage métiers
• Concevoir et mettre en œuvre des pipelines de données (batch et streaming) robustes et scalables
• Assurer la reprise d’historique et réaliser des tests de non-régression pour garantir la qualité des données

Construction & Optimisation des plateformes Data

• Participer à la mise en place et l’évolution des environnements Data Lake / Data Warehouse / Big Data
• Réaliser la modélisation et la consolidation de gros volumes de données en respectant les standards et bonnes pratiques
• Optimiser les traitements existants, améliorer les performances des flux et diffuser les bonnes pratiques d’usage au sein des équipes

Intégration DevOps & Industrialisation

• Déployer des pipelines de données dans une approche CI / CD et dans un contexte DevOps
• Gérer l’évolution des solutions proposées et assurer le support / TMA si nécessaire
• Mettre en place l’automatisation des tests, du monitoring et des déploiements pour fiabiliser les solutions

Gouvernance & Documentation

• Rédiger et maintenir à jour la documentation projets (DATe, DEX, ?)
• Contribuer à la qualité des données et à leur bonne gouvernance (catalogue, lineage, sécurité, conformité)

Profil candidat

Compétences techniques

• Forte expertise sur Spark / Scala ou PySpark
• Maîtrise des environnements Big Data
• Solides connaissances en modélisation décisionnelle (schéma en étoile, Datawarehouse, Datamart)
• Compétences techniques avérées sur Framework Spark, Langages Scala et / ou PySpark, Base de données SQL, Azure Databricks, outils CI / CD, GitHub et pratiques DevOps

Qualités personnelles

• Force de proposition et capacité à partager votre savoir avec les autres membres de l’équipe
• et reconnu.e pour votre bon relationnel et votre aisance rédactionnelle.