Une entreprise de solutions data recherche un Data Engineer Azure pour développer des pipelines de données et optimiser des plateformes Big Data. Le poste exige une forte expertise en Spark et PySpark, ainsi que des compétences en DevOps. Les candidats doivent être proactifs et avoir de bonnes capacités relationnelles.
Qualificações
Forte expertise sur Spark / Scala ou PySpark.
Maîtrise des environnements Big Data.
Solides connaissances en modélisation décisionnelle.
Responsabilidades
Implémenter des solutions d’ingestion de données.
Concevoir et mettre en œuvre des pipelines de données.
Déployer des pipelines de données dans une approche CI / CD.
Conhecimentos
Expertise sur Spark / Scala ou PySpark
Maîtrise des environnements Big Data
Modélisation décisionnelle
Compétences en Framework Spark
Connaissance de SQL et Azure Databricks
Outils CI / CD et pratiques DevOps
Descrição da oferta de emprego
Overview
En tant que Data Engineer Azure, vous contribuez à la mise en place de solutions data modernes et performantes, au service des enjeux métiers et de la stratégie data-driven.
Votre rôle
Ingestion & Traitement des données
Implémenter des solutions d’ingestion de données répondant aux différents cas d’usage métiers
Concevoir et mettre en œuvre des pipelines de données (batch et streaming) robustes et scalables
Assurer la reprise d’historique et réaliser des tests de non-régression pour garantir la qualité des données
Construction & Optimisation des plateformes Data
Participer à la mise en place et l’évolution des environnements Data Lake / Data Warehouse / Big Data
Réaliser la modélisation et la consolidation de gros volumes de données en respectant les standards et bonnes pratiques
Optimiser les traitements existants, améliorer les performances des flux et diffuser les bonnes pratiques d’usage au sein des équipes
Intégration DevOps & Industrialisation
Déployer des pipelines de données dans une approche CI / CD et dans un contexte DevOps
Gérer l’évolution des solutions proposées et assurer le support / TMA si nécessaire
Mettre en place l’automatisation des tests, du monitoring et des déploiements pour fiabiliser les solutions
Gouvernance & Documentation
Rédiger et maintenir à jour la documentation projets (DATe, DEX, ?)
Contribuer à la qualité des données et à leur bonne gouvernance (catalogue, lineage, sécurité, conformité)
Profil candidat
Compétences techniques
Forte expertise sur Spark / Scala ou PySpark
Maîtrise des environnements Big Data
Solides connaissances en modélisation décisionnelle (schéma en étoile, Datawarehouse, Datamart)
Compétences techniques avérées sur Framework Spark, Langages Scala et / ou PySpark, Base de données SQL, Azure Databricks, outils CI / CD, GitHub et pratiques DevOps
Qualités personnelles
Force de proposition et capacité à partager votre savoir avec les autres membres de l’équipe
et reconnu.e pour votre bon relationnel et votre aisance rédactionnelle.
* O salário de referência é obtido com base em objetivos de salário para líderes de mercado de cada segmento de setor. Serve como orientação para ajudar os utilizadores Premium na avaliação de ofertas de emprego e na negociação de salários. O salário de referência não é indicado diretamente pela empresa e pode ser significativamente superior ou inferior.