Data Engineer Confirmé PySpark / Big Data (H/F)

NEO2 Digital; Lyon; Sur place; EUR 65 000 - 95 000; Plein temps

Résumé du poste

NEO2 Digital, entité du groupe NEO2, recherche un Data Engineer Confirmé PySpark / Big Data à Lyon pour accompagner nos clients industriels sur des projets data.

Vous concevrez et maintiendrez des pipelines PySpark, optimiserez les traitements volumineux, garantirez qualité et disponibilité des données, et participerez à la migration vers une plateforme cloud Databricks.

Qualifications

• >5 ans d'expérience en Data Engineering.
• >Maîtrise de PySpark sur des traitements volumineux.
• >Expérience avec Spark/Hadoop/Databricks.
• >Solides compétences en Python et SQL.
• >Connaissance du monitoring et de la qualité des données.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données en PySpark.
• Optimiser les traitements et améliorer les performances.
• Assurer la qualité, la disponibilité et la fiabilité des données.
• Participer au maintien en conditions opérationnelles des solutions de production.
• Industrialiser les développements réalisés par les équipes Data Science.
• Contribuer aux choix d'architecture Data et aux bonnes pratiques de développement.
• Participer à la migration vers Databricks et une plateforme cloud moderne.

Connaissances

PySpark

Spark

Databricks

Python

SQL

CI/CD

Data pipelines

Outils

Hadoop

Databricks

Airflow

Description du poste

NEO2 Digital est une entité du groupe NEO2 créée en 2021, imaginée comme une start-up. Nous accompagnons nos clients industriels sur leurs projets Digitaux.

Comment ? Nous détachons, sur site client, nos ingénieurs experts sur : l’exploitation des données brutes industrielles, le delivery de projets digitaux et l’infrastructure (sécurité, hébergement des données, cloud).

Cette petite tribu agile intervient partout en France à Paris, Nantes, Lyon, Lille, Strasbourg, Aix-en-Provence et Bordeaux, mais aussi en Europe, grâce à l’ouverture d’une agence à Bruxelles en Belgique.

Cette implantation nous garantit une forte proximité avec nos équipes de consultants ainsi qu’un meilleur accompagnement de nos clients.

Chez NEO2 Digital, nous valorisons tous les talents ! Nous traitons toutes les candidatures de façon équitable, dans le but de promouvoir l'inclusion et la diversité parmi nos équipes.

Les missions

Pour accompagner la croissance du groupe, nous cherchons à renforcer notre équipe.

Devenir consultant chez NEO2 Digital c’est : Être acteur de sa carrière en ayant des possibilités d’évolutions multiples (métier, secteur, région), faire partie de la tribu et avoir un suivi managérial fort.

En rejoignant nos équipes en tant que Data Engineer Confirmé PySpark / Big Data (H/F), vous interviendrez chez l’un de nos clients, dans le secteur de l'industrie. Vous interviendrez sur les tâches suivantes :

• Concevoir, développer et maintenir des pipelines de données en PySpark.
• Optimiser les traitements existants et améliorer leurs performances.
• Assurer la qualité, la disponibilité et la fiabilité des données.
• Participer au maintien en conditions opérationnelles des solutions de production.
• Mettre en place des indicateurs de suivi, des contrôles qualité et des outils de supervision.
• Industrialiser les développements réalisés par les équipes Data Science.
• Contribuer aux choix d'architecture Data et aux bonnes pratiques de développement.
• Participer à la migration progressive des traitements vers une plateforme cloud moderne basée sur Databricks.

Profil recherché

• Minimum 5 ans d'expérience en Data Engineering.
• Excellente maîtrise de PySpark sur des traitements volumineux.
• Expérience significative des environnements Spark, Hadoop ou Databricks.
• Solides compétences en Python et SQL.
• Bonne connaissance des problématiques de monitoring, supervision, qualité des données et exploitation.
• Expérience des pratiques d'industrialisation et de CI/CD.
• Autonomie, rigueur et capacité à collaborer avec des équipes pluridisciplinaires.

Les plus

• Expérience sur des projets de migration vers Databricks ou plateformes cloud Data.
• Connaissances des données géographiques, référentiels d'adresses ou données spatiales.