Data Engineer Python / PySpark H/F

Groupe LR Technologies; Bordeaux; On-site; EUR 45,000 - 70,000; Full time

Job summary

Groupe LR Technologies recherche un Data Engineer Python / PySpark pour rejoindre ses équipes à Bordeaux. Vous concevrez, développerez et optimiserez des traitements de données fiables et performants, en garantissant qualité et disponibilité.

Vous travaillerez sur des pipelines distribués, optimiserez les performances et participerez à la mise en production, tout en respectant les bonnes pratiques de tests, versionning et revue de code.

Qualifications

• Nombre d’années d’expérience exigé
• Expérience significative en Python et PySpark
• Maîtrise des environnements Big Data et architectures distribuées
• Expérience en développement et industrialisation de pipelines de données
• Bonnes pratiques de tests, versionnage et revue de code
• Autonomie, rigueur et travail en équipe

Responsibilities

• Développer des solutions de traitement de données en Python et PySpark
• Intervenir sur l’ensemble du cycle de vie des pipelines de données, de conception à production
• Améliorer les performances des traitements dans des environnements distribués
• Identifier et résoudre les problématiques liées à la qualité des données et à la fiabilité des traitements
• Traduire les besoins fonctionnels et techniques en solutions adaptées
• Contribuer à la qualité des développements via tests, revues de code et documentation technique
• Suivre les traitements en production et résoudre les incidents
• Échanger régulièrement avec les équipes Data, métiers et infrastructure

Skills

Python

PySpark

Data engineering

Big Data

Performance optimization

Tools

Git

CI/CD

Job description

LR Technologies Bordeaux recrute son/sa futur(e) Data Engineer Python / PySpark pour rejoindre les équipes de l'un de ses partenaires.

Ton terrain de jeu ? La Data, les traitements distribués et les problématiques de performance sur de gros volumes de données !

L'objectif : concevoir, développer et optimiser des traitements de données fiables et performants, tout en garantissant leur qualité et leur disponibilité.

Ton quotidien :

• Développer des solutions de traitement de données en t'appuyant sur Python et PySpark

• Intervenir sur l'ensemble du cycle de vie des pipelines de données, de leur conception à leur mise en production

• Travailler sur l'amélioration des performances des traitements, notamment dans des environnements distribués manipulant d'importants volumes de données

• Identifier et résoudre les problématiques liées à la qualité des données et à la fiabilité des traitements

• Traduire les besoins fonctionnels et techniques en solutions adaptées

• Contribuer à la qualité des développements à travers les tests, les revues de code et la documentation technique

• Participer au suivi des traitements en production et à la résolution des incidents

• Échanger régulièrement avec les équipes Data, métiers et infrastructure

Ce poste est pour toi si :

Tu disposes d'au moins 6 ans d'expérience en développement et traitement de données, avec une expertise significative sur Python et PySpark.

Les environnements Big Data et les architectures distribuées te sont familiers, tout comme les problématiques d'optimisation des performances et de traitement de volumes importants.

Tu as déjà eu l'occasion de développer et d'industrialiser des pipelines de données, et tu es à l'aise avec les bonnes pratiques de développement : tests, versionnement et revue de code.

Enfin, tu sais faire preuve d'autonomie et de rigueur, tout en appréciant le travail en équipe !

Et si on parlait Python ?

Attention, on ne recherche pas un développeur Python orienté développement applicatif ou backend !

Ce qui nous intéresse avant tout, c'est ton expérience en Data Engineering : manipulation de données, développement de pipelines et traitements distribués avec PySpark.

Que tu sois Data Engineer, Développeur Big Data ou Développeur Python spécialisé dans la Data, peu importe ton intitulé de poste : c'est ton expertise technique qui fera la différence !

Tu te reconnais dans cette description ? Alors, échangeons !