Développeur Big Data - + 3 ans

gamme solutions; Lyon; On-site; EUR 55,000 - 75,000; Full time

Job summary

Free-Work recherche un Data Engineer à Lyon avec au moins 3 ans d'expérience pour comprendre les enjeux métier liés à la donnée et intervenir sur les environnements Big Data en transformation, tout en améliorant les systèmes existants (BUILD & RUN).

Vous contribuerez à la modernisation des traitements, migrerez des workloads Informatica/PL-SQL vers Spark (Java), et participerez à la conception de pipelines sur Databricks, assurant performance et qualité des données.

Qualifications

• Minimum 3 années d'expérience en Data Engineering.
• Compréhension des enjeux métiers liés à la donnée et du fonctionnement du SI (BUILD & RUN).

Responsibilities

• Concevoir, développer et maintenir des pipelines de données en Spark (Java).
• Migrer des traitements legacy vers des architectures Big Data modernes.
• Assurer la maintenance et l'optimisation des traitements SQL/PL-SQL.
• Participer au RUN et à l'amélioration continue.
• Contribuer aux bonnes pratiques de développement et à l'exploitation.

Tools

Spark

Java

PL/SQL

Informatica

Databricks

Ceph

Tableau Server

Oracle

Maven

Control-M

Git

Jenkins

Terraform

Job description

Contexte de la mission

Dans ce contexte, nous recherchons un Data Engineer ayant une forte appétence pour la compréhension des enjeux métier liés à la donnée, les environnements Big Data en transformation, et le travail sur des systèmes existants et l'amélioration continue. Le profil attendu combine compétences techniques solides et posture d'ingénieur impliqué dans le fonctionnement global du SI (BUILD & RUN). Une expérience minimale de 3 ans est requise.

Objectifs et livrables

Activité principale

Les missions s'inscrivent dans une trajectoire progressive :

Phase 1 : Modernisation des traitements existants

• Migration de traitements Informatica et PL/SQL vers Spark (Java)
• Participation à l'optimisation des traitements existants
• Maintenance corrective et évolutive des traitements PL/SQL
• Appropriation des processus métier derrière les flux de données

Phase 2 : Refonte cloud (Databricks)

• Participation au projet stratégique de migration vers le cloud
• Conception et mise en œuvre de pipelines de données sur Databricks
• Industrialisation des traitements dans un environnement moderne

Activités principales :

• Concevoir, développer et maintenir des pipelines de données en Spark (Java)
• Migrer des traitements legacy vers des architectures Big Data modernes
• Assurer la maintenance des traitements existants SQL / PL-SQL
• Garantir la performance, la robustesse et la qualité des données
• Participer activement au RUN et à l'amélioration continue

Activités secondaires

• Contribution aux bonnes pratiques de développement et d'exploitation
• Mise à jour du référentiel documentaire
• Partage de connaissances au sein de l'équipe
• Participation à la guilde Spark de l'équipe (choix de conception, optimisation des traitements, road map technique etc.)

Stack technique de l'équipe

Spark, Java, Ceph, Tableau Server, Oracle, Informatica, Maven, Control-M, Git, Jenkins, Terraform