Data Engineer Python - PySpark

Groupe LR Technologies; Bordeaux; Presencial; EUR 55.000 - 75.000; Jornada completa

Descripción de la vacante

LR Technologies Bordeaux recrute un Data Engineer Python / PySpark pour rejoindre les équipes de l'un de ses partenaires. La Data sera au cœur des traitements distribués et des gros volumes traités, avec des objectifs de performance et de fiabilité.

Votre rôle est de concevoir, développer et optimiser des pipelines robustes en Python et PySpark, tout en garantissant la qualité et la disponibilité des données.

Formación

• Au moins 6 ans d'expérience en développement et traitement de données, avec Python et PySpark.
• Expérience en environnements Big Data et architectures distribuées.
• Industrialisation des pipelines de données et bonnes pratiques (tests, versionning, revues de code).
• Autonomie et rigueur, travail en équipe.

Responsabilidades

• Développer des solutions de traitement de données en s'appuyant sur Python et PySpark.
• Intervenir sur le cycle de vie des pipelines de données, de la conception à la mise en production.
• Améliorer les performances des traitements dans des environnements distribués et sur gros volumes.
• Identifier et résoudre les problématiques de qualité et fiabilité des données.
• Traduire les besoins fonctionnels et techniques en solutions adaptées.
• Contribuer à la qualité par tests, revues de code et documentation technique.
• Participer au suivi en production et à la résolution des incidents.
• Collaborer régulièrement avec les équipes Data, métiers et infrastructure.

Conocimientos

Python

PySpark

Big Data

Pipelines de données

Descripción del empleo

LR Technologies Bordeaux recrute son/sa futur(e) Data Engineer Python / PySpark pour rejoindre les équipes de l'un de ses partenaires.

Ton terrain de jeu ? La Data, les traitements distribués et les problématiques de performance sur de gros volumes de données !

L'objectif : concevoir, développer et optimiser des traitements de données fiables et performants, tout en garantissant leur qualité et leur disponibilité.

Ton quotidien :

• Développer des solutions de traitement de données en t'appuyant sur Python et PySpark

• Intervenir sur l'ensemble du cycle de vie des pipelines de données, de leur conception à leur mise en production

• Travailler sur l'amélioration des performances des traitements, notamment dans des environnements distribués manipulant d'importants volumes de données

• Identifier et résoudre les problématiques liées à la qualité des données et à la fiabilité des traitements

• Traduire les besoins fonctionnels et techniques en solutions adaptées

• Contribuer à la qualité des développements à travers les tests, les revues de code et la documentation technique

• Participer au suivi des traitements en production et à la résolution des incidents

• Échanger régulièrement avec les équipes Data, métiers et infrastructure

Ce poste est pour toi si :

Tu disposes d'au moins 6 ans d'expérience en développement et traitement de données, avec une expertise significative sur Python et PySpark.

Les environnements Big Data et les architectures distribuées te sont familiers, tout comme les problématiques d'optimisation des performances et de traitement de volumes importants.

Tu as déjà eu l'occasion de développer et d'industrialiser des pipelines de données, et tu es à l'aise avec les bonnes pratiques de développement : tests, versionnement et revue de code.

Enfin, tu sais faire preuve d'autonomie et de rigueur, tout en appréciant le travail en équipe !

Et si on parlait Python ?

Attention, on ne recherche pas un développeur Python orienté développement applicatif ou backend !

Ce qui nous intéresse avant tout, c'est ton expérience en Data Engineering : manipulation de données, développement de pipelines et traitements distribués avec PySpark.

Que tu sois Data Engineer, Développeur Big Data ou Développeur Python spécialisé dans la Data, peu importe ton intitulé de poste : c'est ton expertise technique qui fera la différence !

Tu te reconnais dans cette description ? Alors, échangeons !