Senior Data Engineer Azure

SKOTT GROUP; Toulouse; Sur place; EUR 75 000 - 110 000; Plein temps

Résumé du poste

SKOTT GROUP recherche un Senior Data Engineer Azure pour contribuer à une Data Platform moderne à Toulouse. Vous concevrez et développerez des pipelines de données, tout en assurant leur fiabilité et leur maintenance en conditions opérationnelles dans un cadre Agile.

Le candidat idéal maîtrise SQL, pipelines Data et Azure Synapse Analytics/Azure Data Factory, avec une forte autonomie et un esprit qualité orienté production et évolutions.

Qualifications

• Expérience solide en ingénierie de données et fiabilité des données.
• Connaissance des pipelines Data, ingestion et transformation.
• Maîtrise d'Azure Synapse Analytics et Azure Data Factory est un plus.
• Bonne autonomie et sens qualité élevé.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données robustes.
• Assurer la fiabilité, la disponibilité et la qualité des données (monitoring et incidents).
• Travailler sur RUN et BUILD dans un cadre Agile.
• Utiliser Jira pour le suivi des tâches et incidents.
• Participer à l'amélioration continue de la plateforme Data.

Connaissances

SQL

Azure Data Services

Data Pipelines

Python

Data Modeling

ETL/ELT

Formation

Bachelor's degree in CS or equivalent

Outils

Git

Description du poste

CDI / Assistance Technique selon profil

Démarrage : ASAP

Le contexte

Dans le cadre du développement de nos activités chez un acteur majeur de son secteur, nous recherchons un(e) Senior Data Engineer Azure pour rejoindre une équipe Data intervenant sur des projets à forts enjeux.

Vous intégrerez un environnement Data structuré, combinant projets de développement (BUILD) et maintenance / évolutions (RUN).

L'objectif : concevoir des solutions Data robustes et performantes, tout en garantissant la fiabilité, la disponibilité et la qualité des données dans la durée.

Nous recherchons avant tout un profil autonome, expérimenté et orienté qualité, capable de prendre en charge ses sujets de bout en bout et d'intervenir efficacement aussi bien sur les développements que sur les problématiques de production.

Votre rôle

En tant que Senior Data Engineer, vous êtes responsable de la conception, du développement et du maintien en conditions opérationnelles des pipelines de données.

Vous intervenez sur deux dimensions complémentaires :

BUILD : conception et développement de nouvelles solutions Data.

RUN : monitoring, analyse des incidents, correction des anomalies et amélioration continue des traitements existants.

Vous évoluerez dans un environnement Agile, au sein d'une équipe où votre capacité à travailler de manière autonome et à proposer des améliorations sera particulièrement valorisée.

RUN – Fiabiliser et faire évoluer la plateforme Data

Vous participez au maintien en conditions opérationnelles des flux et traitements Data :

• Assurer le monitoring des pipelines et flux de données.
• Surveiller les traitements et identifier les éventuelles anomalies.
• Analyser les incidents et en identifier les causes.
• Corriger les anomalies et assurer le suivi des actions correctives.
• Garantir la qualité, la fiabilité et la disponibilité des données.
• Participer à la maintenance et aux évolutions des traitements existants.
• Assurer le suivi des tâches et incidents dans les outils de gestion, notamment Jira.
• Améliorer les mécanismes de supervision, monitoring et alerting.
• Participer à la fiabilisation globale de la plateforme Data.

Vous êtes capable de diagnostiquer un problème, comprendre son origine et mettre en œuvre une solution durable, avec un minimum de supervision.

BUILD – Concevoir et développer les solutions Data

Vous participez également aux projets de développement et d'évolution de la plateforme :

• Concevoir et développer des pipelines de données.
• Développer des traitements d'ingestion et de transformation.
• Participer à la modélisation des données.
• Structurer et optimiser les traitements Data.
• Manipuler différents formats de données : CSV, Parquet, Delta.
• Mettre en œuvre les bonnes pratiques de développement.
• Développer des traitements performants et maintenables.
• Mettre en place les tests nécessaires à la qualité des livrables.
• Assurer la documentation des développements.
• Utiliser les bonnes pratiques de versioning et de gestion du code.
• Participer aux mises en production et aux évolutions des solutions existantes.

Vous évoluerez dans un environnement Agile.

À ce titre, vous participerez notamment aux :

• Rétrospectives
• Revues et échanges techniques
• Estimations et chiffrages

Vous serez également amené(e) à estimer les charges de vos sujets, à organiser vos tâches et à contribuer à l'amélioration continue des pratiques de l'équipe.

Votre profil

Nous recherchons un(e) Data Engineer confirmé(e) / Senior, disposant d'une expérience significative sur des environnements Data complexes.

Vous êtes capable de travailler en forte autonomie et de prendre en charge vos sujets depuis leur conception jusqu'à leur mise en production et leur maintien en conditions opérationnelles.

Compétences techniques

Vous maîtrisez idéalement :

• SQL et l'environnement SQL Server.
• La conception et le développement de pipelines Data.
• La manipulation de données aux formats CSV, Parquet et Delta.
• Git et les pratiques de versioning.
• Les pratiques de tests et TDD.
• Les problématiques de Data Quality, monitoring et pipeline management.
• Power BI constitue un véritable plus.

Votre expérience

Vous avez déjà évolué sur des environnements :

• Projet et RUN / MCO.
• Avec des enjeux importants de fiabilité et de qualité des données.
• Structurés autour de pratiques Agile et de processus de suivi des incidents et des tâches.

Les qualités que nous recherchons

Vous savez prendre un sujet en main, organiser votre travail et avancer efficacement sans avoir besoin d'un encadrement permanent.

Vous aimez comprendre l'origine d'un problème et êtes capable de mener une analyse approfondie jusqu'à sa résolution.

Monitoring, suivi Jira, documentation, tests, qualité du code : vous êtes attentif aux détails et aux bonnes pratiques.

Vous appréciez le travail collaboratif et savez communiquer efficacement avec les équipes techniques et fonctionnelles.

Proactivité

Vous ne vous contentez pas de résoudre les problèmes : vous cherchez à améliorer les processus, les outils et la fiabilité de la plateforme.

Pourquoi rejoindre ce projet ?

Vous évoluerez sur une Data Platform Azure moderne, avec des technologies telles qu'Azure Synapse Analytics et Azure Data Factory.

Une vraie diversité de sujets

Le poste combine BUILD et RUN, vous permettant d'intervenir aussi bien sur la conception de nouvelles solutions que sur des problématiques concrètes de production.

Un rôle à forte autonomie

Vous aurez la responsabilité de vos sujets et serez pleinement acteur des choix techniques, de la résolution des incidents et de l'amélioration continue.

Un projet inscrit dans la durée

Vous rejoindrez un environnement Data structuré avec des enjeux de développement, de fiabilisation et d'évolution de la plateforme sur le long terme.

Vous êtes Senior Data Engineer, passionné(e) par la Data, à l'aise sur Azure et aimez autant construire que fiabiliser des solutions ?