Azure Data Engineer (IT) / Freelance

Phaidon London- Glocomms; Stockholms kommun; On-site; SEK 700,000 - 900,000; Full time

Job summary

Phaidon London- Glocomms recherche un Data Engineer cloud expérimenté pour concevoir et faire évoluer une plateforme de données moderne à Stockholm. Vous travaillerez au sein d’une équipe Data Engineers, en charge de pipelines, modélisation et solutions de données à grande échelle.

Le poste privilégie l’ingénierie des pipelines et des données, avec collaboration étroite avec Data Platform, BI et métiers. Maîtrise d’Azure et préférences suédoises; travail en équipe et culture d’excellence

Qualifications

• Maîtrise avancée de SQL, Python et PySpark.
• Expérience significative sur Azure Databricks.
• Maîtrise de dbt pour transformation, modélisation et tests des données.
• Connaissance d’outils d’orchestration: Airflow et/ou Azure Data Factory.
• Bonne compréhension des pratiques CI/CD et déploiement de pipelines.
• Connaissance des principes de gouvernance des données: qualité, traçabilité et accès (Unity Catalog).
• Expérience en production de pipelines et de produits data.

Responsibilities

• Concevoir, développer et maintenir des pipelines de données et des transformations de données avec Azure Databricks, dbt, PySpark et Python.
• Construire et maintenir des modèles de données robustes pour l’analyse et le reporting.
• Orchestrer et automatiser les flux de données via Databricks Workflows, Airflow et Azure Data Factory.
• Garantir qualité, fiabilité, performance et scalabilité des données sur l’ensemble de la plateforme.
• Mettre en place observabilité et monitoring pour le suivi et la validation des données.
• Contribuer à l’automatisation et à l’amélioration continue via CI/CD et standards d’ingénierie.
• Collaborer avec les développeurs, architectes et métiers pour livrer des solutions data à forte valeur.
• Participer à la vie de l’équipe et à la culture d’excellence Agile.

Skills

SQL

Python

PySpark

Azure Databricks

dbt

Apache Airflow

Azure Data Factory

CI/CD

Unity Catalog

Tools

Databricks Workflows

Apache Airflow

Azure Data Factory

Unity Catalog

Job description

Nous recherchons un Cloud Data Engineer pour participer à la conception et à l’évolution d’une plateforme de données cloud moderne, destinée à soutenir les besoins croissants de l’entreprise en matière de données, d’analytique et de reporting. Vous rejoindrez une équipe d’ingénierie dynamique et collaborative, en charge de l’un des programmes technologiques les plus stratégiques de l’organisation.

Votre équipe

Vous intégrerez une équipe de Data Engineers passionnés par la création de solutions de données performantes, évolutives et fiables. L’équipe est responsable du développement des fondations data permettant la mise en place de capacités analytiques avancées, de reporting et de produits de données à grande échelle.

Vous collaborerez étroitement avec les équipes Data Platform, Data Ingestion, BI ainsi qu’avec les différents métiers afin de fournir des données fiables, accessibles et à forte valeur ajoutée pour l’ensemble de l’entreprise.

Le poste est basé à Stockholm.

Vos responsabilités

• Concevoir, développer et maintenir des pipelines de données et des transformations de données à l’aide de Azure Databricks, dbt, PySpark et Python.

• Construire et maintenir des modèles de données robustes pour répondre aux besoins d’analyse, de reporting et des applications métiers.

• Orchestrer et automatiser les flux de données via Databricks Workflows, Apache Airflow et Azure Data Factory.

• Garantir la qualité, la fiabilité, la performance et la scalabilité des données sur l’ensemble de la plateforme.

• Mettre en place des capacités d’observabilité et de monitoring afin d’assurer le suivi et la validation des données.

• Contribuer à l’automatisation et à l’amélioration continue grâce aux pratiques CI/CD et aux standards d’ingénierie.

• Collaborer avec les développeurs, architectes, ingénieurs plateforme et parties prenantes métiers pour délivrer des solutions data à forte valeur.

• Participer activement à la vie de l’équipe, aux cérémonies Agile et au partage de connaissances afin de contribuer à une culture d’excellence.

Votre profil

Nous recherchons un Data Engineer expérimenté possédant une solide expérience dans la conception, le développement et l’exploitation de pipelines de données au sein de l’écosystème Azure. Le poste est fortement orienté Data Engineering et développement de pipelines, plutôt que sur les aspects infrastructure ou administration de plateforme.

Vous appréciez le travail en équipe, êtes à l’aise dans des environnements collaboratifs et savez interagir avec des interlocuteurs aussi bien techniques que métiers. La maîtrise du suédois est un plus, ou une volonté de développer cette compétence.

Compétences requises

• Excellente maîtrise de SQL, Python et PySpark.

• Expérience significative dans le développement de solutions data sur Azure Databricks.

• Bonne maîtrise de dbt pour la transformation, la modélisation, les tests et la documentation des données.

• Expérience avec des outils d’orchestration tels que Apache Airflow et/ou Azure Data Factory.

• Bonne compréhension des pratiques CI/CD et de l’automatisation des déploiements de pipelines de données.

• Connaissance des principes de gouvernance des données : qualité, traçabilité, gestion des accès et utilisation de Unity Catalog.

• Expérience de la création et de la maintenance de pipelines de données et de produits data en environnement de production.

Compétences appréciées

• Expérience avec Microsoft Fabric ou d’autres plateformes Data SaaS modernes.

• Expérience dans des environnements cloud d’envergure.

• Bonne compréhension des architectures data modernes et des plateformes analytiques cloud-native.

Cette opportunité s’adresse à un Data Engineer souhaitant contribuer à la construction d’une plateforme de données moderne au sein d’un environnement technologique innovant et à fort impact métier.