Senior PySpark Data Engineer for Datalake & ETL

DGTL Performance

Paris

On-site

EUR 65,000 - 90,000

Full time

2 hours ago

Be an early applicant

Application generator

Stand out for this role — generate a tailored resume and cover letter in about a minute.

Get past ATS filters

Job summary

DGTL Performance recherche un Data Engineer confirmé pour rejoindre la Direction des Systèmes d'Information d'un grand groupe industriel. Vous concevrez, développerez et maintiendrez un datalake stratégique, en collaboration avec les équipes production et DevOps.

Vous interviendrez sur l'architecture des pipelines ETL, les schémas de données et l'optimisation des performances, dans un cadre Agile/Scrum et une stack moderne.

Qualifications

Maîtrise PySpark et Hadoop
Python performant et maintenable
SQL et Hive, optimisation des requêtes
Shell scripting Unix/Linux pour automatisation
Git et Jenkins pour CI/CD
Jira ou équivalent pour gestion de projet
Agile/Scrum et rythme itératif
Anglais courant (écrit et oral)
Autonomie et proactivité
Bon relationnel et travail en équipe

Responsibilities

Mettre en œuvre et industrialiser les ingestions de données.
Concevoir et développer des transformations de données en PySpark et Hive.
Maintenir, documenter et faire évoluer les outils et scripts de pipelines.
Collaborer avec DevOps pour l'infrastructure plateforme données.
Rédiger des spécifications techniques et valider les livrables.
Identifier et proposer des améliorations technologiques.
Travailler en Agile/Scrum et améliorer continuellement.
Debugger et résoudre les incidents en production.

Skills

PySpark

Hadoop

Python

SQL

Hive

Shell scripting

Unix/Linux

Git

Jenkins

Agile/Scrum

English

Specs writing

Autonomie

Teamwork

Tools

Jira

Git

Jenkins

Job description

Vous interviendrez sur l'architecture des pipelines ETL, les schémas de données et l'optimisation des performances, dans un cadre Agile/Scrum et une stack moderne.

Get your free, confidential resume review.

or drag and drop your file here.