Senior Data Engineer Lead Dev Lead PySpark Fin Ops HF

Segula Technologies; Paris; Sur place; EUR 45 000 - 75 000; Plein temps

Résumé du poste

Une entreprise innovante recherche un Consultant Data Engineer expérimenté pour transformer les pratiques de Data Engineering. Vous serez responsable de l'analyse et de la modélisation des données, tout en travaillant avec des technologies cloud telles qu'AWS et Azure. Ce rôle vous permettra de collaborer avec des équipes variées, d'implémenter des solutions performantes et de promouvoir une culture agile centrée sur les données. Si vous êtes passionné par l'optimisation des pipelines de données et que vous souhaitez faire partie d'une équipe dynamique, cette opportunité est faite pour vous.

Qualifications

• Minimum 4 ans d'expérience en Data Engineering.
• Expérience avec des pipelines batch ou streaming.

Responsabilités

• Analyser et cartographier les modèles de données actuels.
• Assister à la conception d’un nouveau pipeline de données.
• Implémenter une culture agile autour de la donnée.

Connaissances

Data Engineering

Spark (Scala ou Python)

ETL (Glue, Airflow)

AWS

Azure

Git

Terraform

Outils

DataBricks

S3

RDS

OpenSearch

Description du poste

Dans le cadre d'un projet de refonte de pipeline de données et de modernisation des pratiques de Data Engineering, nous recherchons un Consultant Data Engineer expérimenté pour accompagner nos équipes métiers et techniques dans l’analyse, la modélisation et la mise en œuvre de solutions cloud natives performantes.

Responsabilités :

1. Analyser et cartographier les modèles de données actuels avec les experts métiers : flux inter-SI, règles de validation, filtrage et transformations existantes.
2. Assister les architectes dans la conception d’un nouveau pipeline de données exploitant les services cloud (AWS / Azure).
3. Accompagner l’équipe de développement sur l’implémentation technique : bonnes pratiques de Data Engineering, outillage (ETL Glue Spark), structuration des bases et traitements distribués.
4. Implémenter une culture agile autour de la donnée : cérémonies, itérations, coordination avec les équipes transverses.
5. Documenter les modèles de données, les règles de transformation et les flux interconnectés.

Profil recherché :

Expérience : Minimum 4 ans d’expériences.

Compétences techniques :

• Maitrise des outils de traitement de la donnée : Spark (Scala ou Python), ETL (Glue, Airflow), DataBricks.
• Expérience avec les bases de données relationnelles et fichiers distribués (Parquet, S3, RDS).
• Bonne connaissance des architectures cloud AWS et / ou Azure.
• Maitrise des outils DevOps : Git, Terraform.
• Capacité à documenter et maintenir un catalogue de données.

Informations supplémentaires :

• Expérience significative en Data Engineering sur des pipelines batch ou streaming.
• Pratique des services cloud orientés data : Glue, Airflow, OpenSearch, S3.
• Contexte multi-SI avec des changements entre plusieurs sources partenaires.