Tech lead Data Engineer Azure (IT) / Freelance

Atlanse; Châtillon; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise innovante dans le domaine des données recherche un Data Engineer Azure pour développer des solutions modernes et performantes. Vous serez responsable de l'ingestion et du traitement des données, de la construction de plateformes Data, et de l'intégration DevOps. La maîtrise de Spark, Scala ou PySpark et des environnements Big Data est requise. Rejoignez une équipe dynamique où votre expertise en gouvernance et documentation des données fera la différence.

Qualifications

• Forte expertise sur Spark / Scala ou PySpark.
• Maîtrise des environnements Big Data.
• Solides connaissances en modélisation décisionnelle.
• Compétences avérées sur Azure Databricks et outils CI/CD.

Responsabilités

• Implémenter des solutions d’ingestion de données.
• Concevoir et mettre en œuvre des pipelines de données.
• Déployer des pipelines de données en CI/CD.
• Rédiger et maintenir à jour la documentation projets.

Connaissances

Spark / Scala ou PySpark

Environnements Big Data

Modélisation décisionnelle

Base de données SQL

Azure Databricks

Outils CI / CD

GitHub

Pratiques DevOps

Description du poste

Overview

En tant que Data Engineer Azure, vous contribuez à la mise en place de solutions data modernes et performantes, au service des enjeux métiers et de la stratégie data-driven.

Votre rôle

Ingestion & Traitement des données

• Implémenter des solutions d’ingestion de données répondant aux différents cas d’usage métiers
• Concevoir et mettre en œuvre des pipelines de données (batch et streaming) robustes et scalables
• Assurer la reprise d’historique et réaliser des tests de non-régression pour garantir la qualité des données

Construction & Optimisation des plateformes Data

• Participer à la mise en place et l’évolution des environnements Data Lake / Data Warehouse / Big Data
• Réaliser la modélisation et la consolidation de gros volumes de données en respectant les standards et bonnes pratiques
• Optimiser les traitements existants, améliorer les performances des flux et diffuser les bonnes pratiques d’usage au sein des équipes

Intégration DevOps & Industrialisation

• Déployer des pipelines de données dans une approche CI / CD et dans un contexte DevOps
• Gérer l’évolution des solutions proposées et assurer le support / TMA si nécessaire
• Mettre en place l’automatisation des tests, du monitoring et des déploiements pour fiabiliser les solutions

Gouvernance & Documentation

• Rédiger et maintenir à jour la documentation projets (DATe, DEX, ?)
• Contribuer à la qualité des données et à leur bonne gouvernance (catalogue, lineage, sécurité, conformité)

Profil candidat

Compétences techniques

• Forte expertise sur Spark / Scala ou PySpark
• Maîtrise des environnements Big Data
• Solides connaissances en modélisation décisionnelle (schéma en étoile, Datawarehouse, Datamart)
• Compétences techniques avérées sur Framework Spark, Langages Scala et / ou PySpark, Base de données SQL, Azure Databricks, outils CI / CD, GitHub et pratiques DevOps

Qualités personnelles

• Force de proposition et capacité à partager votre savoir avec les autres membres de l’équipe
• et reconnu.e pour votre bon relationnel et votre aisance rédactionnelle.