Ingénieur Data / DevOps Azure Databricks H/F

Viveris; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Avantages offerts par ce poste

Rémunération attractive

Mutuelle familiale

Tickets restaurant

Transport remboursé

Télétravail 2 jours/semaine

Formation continue

Résumé du poste

Viveris recherche un Ingénieur Data orienté DevOps Azure Databricks pour accompagner un grand groupe national du transport dans l’évolution et l’industrialisation de sa plateforme Data Cloud Azure.

Vous contribuerez à concevoir, industrialiser et superviser les traitements de données, à optimiser les pipelines et à assurer les pratiques CI/CD (Terraform, Jenkins, GitHub) dans un contexte Data et Cloud.

Qualifications

• Autonomie, rigueur et esprit d'initiative pour résoudre des problématiques complexes.
• Bon sens de l'organisation et capacité d'adaptation à un environnement exigeant.
• Gestion des priorités et travail en collaboration avec des interlocuteurs variés.
• Bonnes qualités rédactionnelles et relationnelles pour documenter les travaux.
• Anglais professionnel à l'écrit et à l'oral.

Responsabilités

• Concevoir et industrialiser les traitements de données Databricks (PySpark).
• Développer, optimiser et maintenir les pipelines de données, assurer performance et maîtrise des coûts.
• Exploiter les formats de données Delta/Parquet/CSV et appliquer les bonnes pratiques.
• Assurer la supervision de la plateforme data via Azure Data Factory : monitoring, alerting et qualité.
• Contribuer à DevOps et Cloud : infrastructures et pipelines CI/CD (Terraform, Jenkins, GitHub).

Connaissances

Python

PySpark

SQL

Azure

Databricks

Terraform

Jenkins

GitHub

Data pipelines

CI/CD

Outils

Azure Data Factory

Power BI

Delta Lake

Parquet

Kubernetes

Description du poste

Ingénieur Data / DevOps Azure Databricks H/F

Viveris est un groupe de conseil et d’ingénierie qui accompagne depuis plus de 35 ans la transformation numérique des entreprises et de leurs produits. Nos ingénieurs interviennent dans 4 métiers complémentaires : Les systèmes & réseaux, les systèmes d’information et la transformation digitale, l’informatique technique, et les systèmes embarqués.

Notre pôle systèmes d’information et transformation digitale fournit à nos clients des systèmes d’information adaptés et personnalisés qui mixent l’intégration de produits du marché et le développement d’applications sur mesure. Conseil, spécification, réalisation, validation, maintenance, direction de projet et formation – notre rôle est d’accompagner chaque étape de l’étude, du développement et du déploiement des applications métiers. S’engager avec Viveris, c’est l’assurance de relever des défis techniques et humains en travaillant sur des projets innovants dans une ambiance collaborative.

Le poste et les tâches

Votre rôle

Contexte de la mission :

C'est pour accompagner notre client, un grand groupe national du secteur du transport, dans l'évolution et l'industrialisation de sa plateforme Data Cloud Azure que nous recherchons un Ingénieur Data orienté DevOps.
Au coeur d'un environnement Data à forts enjeux, la plateforme centralise des données issues de différents référentiels techniques, applicatifs, organisationnels et financiers afin de produire des indicateurs de pilotage et des tableaux de bord décisionnels .
Vous rejoindrez une équipe intervenant sur des sujets à la fois Data, Cloud et DevOps , avec un rôle clé dans la conception et l'industrialisation des traitements de données.
Votre périmètre couvrira notamment :

• La conception et le développement de traitements Databricks / PySpark selon une architecture Bronze / Silver / Gold ;
• L'industrialisation et l'optimisation des pipelines Data ;
• L'automatisation et la gestion des infrastructures Azure avec Terraform ;
• La mise en oeuvre et le maintien des chaînes CI/CD avec Jenkins et GitHub ;
• La supervision et l'exploitation de la plateforme Data.

La mission offre également une véritable dimension de conseil et d'accompagnement : études d'opportunité, sujets d'innovation, réflexions autour des architectures Data et recommandations visant à optimiser les performances, la fiabilité et les coûts des solutions.
Responsabilités :

• Concevoir et industrialiser les traitements de données Databricks (PySpark) selon une architecture Bronze / Silver / Gold ;
• Développer, optimiser et maintenir les pipelines de données en garantissant performance, qualité et maîtrise des coûts ;
• Exploiter les formats de données (Delta, Parquet, CSV) et mettre en oeuvre les bonnes pratiques associées ;
• Assurer la supervision de la plateforme data via Azure Data Factory : monitoring, alerting, suivi de la qualité des données et reporting ;
• Renforcer la fiabilité et la résilience des traitements en participant à la gestion des incidents, à la détection d'anomalies et à l'amélioration continue ;
• Contribuer aux activités DevOps et Cloud en maintenant les infrastructures et pipelines CI/CD (Terraform, Jenkins, GitHub) et en collaborant avec les équipes métiers et techniques.

Profil recherché

Profil recherché :

• Vous faites preuve d'autonomie, de rigueur et d'esprit d'initiative, avec une réelle capacité à analyser des problématiques complexes et à proposer des solutions pertinentes ;
• Vous disposez d'un bon sens de l'organisation et d'une capacité d'adaptation vous permettant d'évoluer efficacement dans un environnement d'entreprise exigeant ;
• Vous êtes à l'aise dans la gestion des priorités et appréciez le travail en collaboration avec des interlocuteurs variés, aussi bien techniques que métiers ;
• Vous possédez de bonnes qualités rédactionnelles et relationnelles, notamment pour formaliser les travaux réalisés et assurer une documentation claire et structurée ;
• Vous maîtrisez un anglais professionnel, à l'écrit comme à l'oral.

Compétence techniques:

• Développement Data : Python, PySpark, SQL ;
• Big Data : Apache Spark, DataFrame API, Spark SQL, traitements distribués ;
• DevOps / CI-CD : Terraform, Jenkins, GitHub, automatisation des déploiements ;
• Cloud : environnement Microsoft Azure, Azure SDK et intégration des services Cloud ;
• Expérience dans l'exploitation de plateformes Data en environnement Cloud / virtualisé.

Profil recherché :

• Vous faites preuve d'autonomie, de rigueur et d'esprit d'initiative, avec une réelle capacité à analyser des problématiques complexes et à proposer des solutions pertinentes ;
• Vous disposez d'un bon sens de l'organisation et d'une capacité d'adaptation vous permettant d'évoluer efficacement dans un environnement d'entreprise exigeant ;
• Vous êtes à l'aise dans la gestion des priorités et appréciez le travail en collaboration avec des interlocuteurs variés, aussi bien techniques que métiers ;
• Vous possédez de bonnes qualités rédactionnelles et relationnelles, notamment pour formaliser les travaux réalisés et assurer une documentation claire et structurée ;
• Vous maîtrisez un anglais professionnel, à l'écrit comme à l'oral.

Compétence techniques:

• Azure Data : Databricks, Azure Data Factory, Azure Storage Account, Key Vault, Power BI ;
• Développement Data : Python, PySpark, SQL ;
• Data Lake / Data Warehouse : architecture Bronze / Silver / Gold, Delta Lake, Parquet, CSV ;
• Big Data : Apache Spark, DataFrame API, Spark SQL, traitements distribués ;
• DevOps / CI-CD : Terraform, Jenkins, GitHub, automatisation des déploiements ;
• Cloud : environnement Microsoft Azure, Azure SDK et intégration des services Cloud ;
• Expérience dans l'exploitation de plateformes Data en environnement Cloud / virtualisé.

Nos avantages:

• Rémunération attractive et évolutive ;
• Mutuelle familiale à garantie haute ;
• Tickets restaurant pris en charge à 60% ;
• 100% du titre de transport urbain remboursé ;
• 2 jours de télétravail par semaine ;
• Formation continue avec Linkedin Learning et nos communautés techniques.

En retour, nous vous offrons un cadre de travail de qualité, des espaces de création et une formation continue solide.

Vous êtes passionné, technophile, curieux et créatif ?
Alors nous serions ravis de vous rencontrer.