INGENIEUR DATA AZURE H/F

AIRRIA; Lyon; Sur place; EUR 70 000 - 115 000; Plein temps

Avantages offerts par ce poste

Mutuelle & Prévoyance familiales

Tickets restaurant (Swile)

Prime Vacances Syntec

Plan de développement des compétences

Nombreuses offres CSE

Résumé du poste

JOCAD IT recherche un Data Engineer confirmé pour intervenir dans un environnement Cloud Data Warehouse sur Microsoft Azure. Vous contribuerez à la conception, au déploiement et à la supervision des pipelines, en assurant l’industrialisation et l’optimisation des flux de données.

Le candidat idéal maîtrise Databricks PySpark, Terraform/Jenkins et GitHub CI/CD, avec une forte capacité d’analyse et d’initiative, dans un cadre collaboratif et orienté Data & Cloud.

Qualifications

• 7 ans d’expérience professionnelle minimum

Responsabilités

• Concevoir, développer et orchestrer des notebooks Databricks en PySpark
• Piloter une architecture Medallion Bronze/Silver/Gold
• Optimiser Parquet, Delta et CSV et gérer les coûts
• Mettre en place et maintenir la supervision des flux de données
• Surveiller les pipelines Azure Data Factory
• Gérer les pipelines CI/CD et l’infrastructure Terraform/Jenkins
• Collaborer avec les métiers pour industrialiser les traitements
• Réaliser des études d’opportunité et des dossiers d’architecture

Connaissances

Data Engineering

Databricks PySpark

Azure Cloud

DevOps

GitHub CI/CD

Terraform

Jenkins

Anglais professionnel

Autonomie & organisation

Initiative

Outils

Azure Databricks

Terraform

Jenkins

GitHub

Description du poste

Nous recherchons un Data Engineer confirmé pour intervenir au sein d’un environnement Cloud Data Warehouse sous Microsoft Azure.

Vous rejoindrez une équipe travaillant sur des sujets à forts enjeux autour de la Data, du Cloud et de l’industrialisation, avec un rôle à la fois orienté Data Engineering, supervision et DevOps.

Le profil recherché devra être capable d’intervenir sur l’ensemble de la chaîne de traitement des données, de la conception des pipelines jusqu’à leur déploiement et leur supervision.

Vos principales missions:

Data Engineering & Supervision

• Concevoir, développer et orchestrer des notebooks Databricks en PySpark.

• Alimenter et exploiter une architecture Medallion : Bronze / Silver / Gold.

• Manipuler et optimiser les formats Parquet, Delta et CSV, en tenant compte des enjeux de performance, robustesse et coûts.

• Optimiser les notebooks et jobs existants.

• Mettre en place et maintenir la supervision des flux de données.

• Monitorer les pipelines Azure Data Factory.

• Suivre la qualité des données et mettre en place des alertes et tableaux de bord.

• Participer à la détection et à la résolution des incidents ainsi qu’à la fiabilisation de la plateforme Data.

• Collaborer avec les équipes métiers et techniques afin de comprendre les besoins et industrialiser les traitements.

DevOps & Infrastructure

• Faire évoluer les repositories d’infrastructure Terraform et Jenkins.

• Maintenir et exécuter les pipelines Jenkins dédiés aux déploiements et traitements Data.

• Participer à la gestion des repositories GitHub : branches, PR/MR, revues de code et workflows Git.

• Contribuer à l’automatisation et à la diffusion des bonnes pratiques Git / CI/CD.

• Intervenir sur les sujets d’infrastructure Cloud associés à la plateforme Data.

Conseil & Innovation

• Réaliser des études d’opportunité.

• Participer à des dossiers d’innovation.

• Produire des études, recommandations et dossiers d’architecture.

• Répondre aux expressions de besoins internes.

Environnement technique

Cloud & Data

• Microsoft Azure

• Azure Databricks

• Azure Data Factory

• Azure Storage Account

• Azure Key Vault

• Power BI

DevOps & CI/CD

• Terraform

• Jenkins

• GitHub

• Git / PR / MR / workflows

• Intégration Runtime via VM

Langages

• Python

• PySpark

• Spark SQL

• SQL

Data

• Parquet

• Delta / Delta Lake

• CSV

Librairies

• PySpark

• Delta-Spark

• Azure Identity

• Azure Key Vault Secrets

• Azure Storage Blob

Livrables

• Rapports d’études et de préconisations

• Dossiers d’Intégration Techniques

• Dossiers d’Architecture Techniques

• Réponses aux expressions de besoins internes

Nous recherchons un profil autonome, rigoureux et force de proposition, capable de prendre en charge des problématiques complexes et de rechercher activement des solutions.

Vous êtes à l’aise dans les environnements d’entreprise et savez vous adapter aux contraintes techniques, aux processus internes et aux différentes parties prenantes.

Compétences attendues

• 7 ans d’expérience professionnelle minimum

• Solide expérience en Data Engineering

• Très bonne maîtrise de Databricks / PySpark

• Bonne connaissance de Microsoft Azure

• Expérience significative en DevOps

• Maîtrise de Terraform et Jenkins

• Bonne connaissance de Git / GitHub et CI/CD

• Connaissance des architectures Data, IA et Reporting BI

• Bonnes capacités rédactionnelles : documentation, guides techniques, dossiers d’architecture

• Autonomie, organisation et capacité à prioriser

• Esprit d’initiative et capacité à être force de proposition

• Anglais professionnel / technique

Les avantages du modèle JOCAD

En rejoignant JOCAD IT, vous bénéficiez d’un environnement structuré et attentif au bien-être des collaborateurs :

• Mutuelle & Prévoyance familiales complètes

• Tickets restaurant (Swile)

• Prime Vacances Syntec

• Plan de développement des compétences pour accompagner votre évolution

• Nombreuses offres CSE via Club Employés (réductions, loisirs, culture, voyages…)

Un cadre clair, des avantages concrets, et un accompagnement réel pour avancer sereinement dans votre carrière.