Data Engineer - Scala/Spark on Azure Databricks

Keoni; Philippines; Remote; PHP 900,000 - 1,200,000; Full time

Job summary

Kéoni Consulting recherche un Data Engineer Scala/Spark pour renforcer une équipe dédiée à des projets Scala/Spark pour le compte de l’un de nos clients. Vous piloterez plusieurs projets basés majoritairement sur Python dans le périmètre énergie, avec une équipe projet de 2 à 4 développeurs, un ops et un architecte, en mode agile sur des sprints bihebdomadaires.

Les livrables couvrent le développement, la documentation, le mapping des données, la mise en place du CI/CD et le monitoring, avec une

Qualifications

• Maîtrise de l’API Scala Spark et des pipelines Spark.
• Expérience avec des volumes importants et la modélisation de données.
• Connaissance du développement Scala et des pratiques Maven.

Responsibilities

• Piloter des projets basés sur Scala/Spark et Python dans le périmètre énergie.
• Gérer le découpage en sprints et la livraison des livrables techniques.
• Mettre en place CI/CD et monitoring via Databricks et outils associés.

Skills

Scala Spark API

Spark optimization

Scala development

Data modeling

Tools

Databricks

Azure

Datadog

Rundeck

Maven

Job description

Kéoni Consulting recherche un Data Engineer Scala/Spark pour renforcer une équipe dédiée à des projets Scala/Spark pour le compte de l’un de nos clients. Vous piloterez plusieurs projets basés majoritairement sur Python dans le périmètre énergie, avec une équipe projet de 2 à 4 développeurs, un ops et un architecte, en mode agile sur des sprints bihebdomadaires.

Les livrables couvrent le développement, la documentation, le mapping des données, la mise en place du CI/CD et le monitoring, avec une