Senior Data Engineer – Big Data & Cloud (Freelance)

Consort Group; Paris; Hybrid; EUR 110,700 - 147,600; Full time

Benefits offered by this job

Mutuelle

Carte TR

CSE

Prévoyance

Formations continues

Job summary

Consort Group recherche un Data Engineer Senior pour intervenir sur les plateformes Data d\'un grand acteur bancaire en France. Vous participerez à des migrations et à l’industrialisation des traitements Big Data dans un cadre Cloud et distribués.

Vous maîtrisez Spark, SQL, Cloudera CDP et GCP, et vous évoluerez dans une équipe Data Engineer/Run, avec des méthodes Agile et une culture d’excellence.

Qualifications

• Au moins 7 ans d’expérience en Data Engineering dans des environnements Big Data et Cloud.
• Expérience en migration et industrialisation des traitements Big Data.

Responsibilities

• Étudier faisabilité sur CDP, Lake House et GCP.
• Concevoir et développer les migrations Big Data.
• Préparer les données: nettoyage, transformation et chargement.
• Réaliser tests unitaires, d’intégration et performance.
• Déployer en prod et bascules des apps.
• Surveiller traitements et diagnostiquer via logs Spark.
• Support post-migration et validation métier.

Skills

Spark

SQL

Cloudera CDP

Parquet

Iceberg

GCP

Kubernetes

Git

Docker

Kafka

Streaming

Jira

Confluence

CI/CD

Tools

GitLab CI/CD

Docker

GitHub Copilot

Jira

Confluence

GitHub

Job description

Consort Group recherche un Data Engineer Senior pour intervenir sur les plateformes Data d\'un grand acteur bancaire en France. Vous participerez à des migrations et à l’industrialisation des traitements Big Data dans un cadre Cloud et distribués.

Vous maîtrisez Spark, SQL, Cloudera CDP et GCP, et vous évoluerez dans une équipe Data Engineer/Run, avec des méthodes Agile et une culture d’excellence.