Data Engineer AWS / Scala Spark

Lomegard

Paris

On-site

EUR 65,000 - 90,000

Full time

7 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

Lomegard, basé en Île-de-France à Paris, recherche un Data Engineer senior disposant d'une forte expertise sur les environnements AWS, Scala et Spark.

Vous intégrez la direction Data et participez à la conception, au développement et à l'exploitation d'un data lake sur AWS, avec Airflow et Dataiku, dans un cadre agile. Vous travaillerez en interaction avec les équipes produit, data, BI et métiers et garantirez la fiabilité et l’évolution des pipelines.

Qualifications

  • Data Engineer sénior avec une forte expérience sur AWS, Scala et Spark.
  • Expérience dans des contextes à forte volumétrie de données et architecture scalable.
  • Bonne maîtrise des environnements cloud et des pipelines de données.

Responsibilities

  • Maintien opérationnel de la plateforme et disponibilité des données et services.
  • Analyser incidents et anomalies de production et proposer des correctifs.
  • Concevoir et développer des pipelines robustes (Acquisition, Transformation, Export).
  • Réaliser des traitements distribués en Scala Spark et modéliser les données.
  • Rédiger les tests unitaires et d’intégration et assurer le déploiement sur différents envrionnements.
  • Maintenir la documentation technique et fonctionnelle et communiquer avec les parties prenantes.

Skills

AWS
Scala
Spark

Tools

Airflow
Dataiku

Job description

Nous recherchons un Data Engineer senior disposant d’une forte expertise sur les environnements AWS, Scala et Spark, idéalement acquise dans des contextes de forte volumétrie de données.

Au sein d’une direction Data centrale, l’équipe Data Platform conçoit, développe et maintient une plateforme data centralisée, sécurisée, scalable et performante, destinée à soutenir les usages data transverses des différentes directions métier. Elle opère notamment un data lake hébergé sur AWS, une infrastructure de traitement de données basée sur Scala Spark, ainsi qu’un écosystème d’orchestration et d’industrialisation des jobs via Airflow. L’équipe assure également la maintenance et l’évolution d’une plateforme Dataiku.

La mission s’inscrit dans un environnement agile, en interaction avec des équipes produit, data, BI, analytics, data science et métiers.

Le consultant interviendra sur deux volets principaux.

Maintien en condition opérationnelle
  • Contrôler la disponibilité des données et des services de la plateforme
  • Analyser les incidents et anomalies de production
  • Répondre aux demandes ad hoc liées aux données
  • Développer les correctifs nécessaires
  • Contribuer à la qualité, la fiabilité et l’exploitation industrielle de la plateforme
  • Communiquer avec les utilisateurs et les parties prenantes
Build & évolution des pipelines data
  • Concevoir et développer des pipelines de données robustes et performants
  • Mettre en place des flux d’acquisition, transformation et export de données
  • Réaliser des traitements distribués en Scala Spark
  • Participer à la modélisation des données
  • Développer les tests unitaires et d’intégration
  • Gérer l’ordonnancement et les dépendances entre traitements
  • Participer aux revues de code et au respect des standards
  • Réaliser les déploiements sur les différents environnements
  • Maintenir la documentation technique et fonctionnelle
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer Senior - PySpark
Data Engineer Senior - PySpark

VISIAN • Nantes

On-site
EUR 60,000 - 85,000
Data Engineer Senior - BigData
Data Engineer Senior - BigData

VISIAN • Nantes

On-site
EUR 60,000 - 90,000
Data Engineer
Data Engineer

Act Digital France • Vélizy-Villacoublay

On-site
EUR 40,000 - 60,000
Data Engineer (H/F)
Data Engineer (H/F)

happn • Paris

On-site
EUR 70,000 - 110,000
Data Platform Engineer senior (H/F)
Data Platform Engineer senior (H/F)

Warren Walter • Paris

On-site
EUR 90,000 - 120,000
Data Engineer Senior / Expert – Spark, AWS, dbt, Iceberg (H/F) (IT) / Freelance
Data Engineer Senior / Expert – Spark, AWS, dbt, Iceberg (H/F) (IT) / Freelance

AI&DATA • Nantes

Hybrid
EUR 65,000 - 90,000
Développeur Big Data - + 3 ans
Développeur Big Data - + 3 ans

gamme solutions • Lyon

On-site
EUR 55,000 - 75,000
Data engineer AWS Python Apache Iceberg
Data engineer AWS Python Apache Iceberg

ALTEN • Boulogne-Billancourt

On-site
EUR 45,000 - 55,000
Data Engineer Big Data Confirmé (H/F) (IT) / Freelance
Data Engineer Big Data Confirmé (H/F) (IT) / Freelance

Insitoo freelances • Lyon

On-site
EUR 70,000 - 100,000
Consultant·e Data Engineer Senior / Lead – Spark, Scala & Azure Databricks
Consultant·e Data Engineer Senior / Lead – Spark, Scala & Azure Databricks

Anafi Consulting • Aubigny-sur-Nère

On-site
EUR 70,000 - 110,000