Senior Data Engineer: Python & PySpark for Big Data

Groupe LR Technologies; Bordeaux; On-site; EUR 55,000 - 75,000; Full time

Job summary

LR Technologies Bordeaux recrute un Data Engineer Python / PySpark pour rejoindre les équipes de l'un de ses partenaires. La Data sera au cœur des traitements distribués et des gros volumes traités, avec des objectifs de performance et de fiabilité.

Votre rôle est de concevoir, développer et optimiser des pipelines robustes en Python et PySpark, tout en garantissant la qualité et la disponibilité des données.

Qualifications

• Au moins 6 ans d'expérience en développement et traitement de données, avec Python et PySpark.
• Expérience en environnements Big Data et architectures distribuées.
• Industrialisation des pipelines de données et bonnes pratiques (tests, versionning, revues de code).
• Autonomie et rigueur, travail en équipe.

Responsibilities

• Développer des solutions de traitement de données en s'appuyant sur Python et PySpark.
• Intervenir sur le cycle de vie des pipelines de données, de la conception à la mise en production.
• Améliorer les performances des traitements dans des environnements distribués et sur gros volumes.
• Identifier et résoudre les problématiques de qualité et fiabilité des données.
• Traduire les besoins fonctionnels et techniques en solutions adaptées.
• Contribuer à la qualité par tests, revues de code et documentation technique.
• Participer au suivi en production et à la résolution des incidents.
• Collaborer régulièrement avec les équipes Data, métiers et infrastructure.

Skills

Python

PySpark

Big Data

Pipelines de données

Job description

LR Technologies Bordeaux recrute un Data Engineer Python / PySpark pour rejoindre les équipes de l'un de ses partenaires. La Data sera au cœur des traitements distribués et des gros volumes traités, avec des objectifs de performance et de fiabilité.

Votre rôle est de concevoir, développer et optimiser des pipelines robustes en Python et PySpark, tout en garantissant la qualité et la disponibilité des données.