Ingénieur Data Lakehouse (Databricks/AWS) — Télétravail 2–3J

CAPFI Groupe; Île-de-France; Híbrido; EUR 60.000 - 90.000; Tempo integral

Benefícios oferecidos por esta vaga

CDI chez CAPFI

Télétravail 2–3 jours/semaine

Resumo da vaga

CAPFI recherche un Data Engineer expérimenté pour concevoir une plateforme Data Lakehouse internationale sur Databricks et AWS, destinée à unifier des données de plusieurs pays et à préparer des usages IA.

Vous contribuerez à concevoir et déployer des pipelines robustes en Python, SQL et Spark, participerez aux choix d'architecture et assurerez la gouvernance et la sécurité des données tout au long de leur cycle.

Qualificações

• 5 ans d'expérience en Data Engineering.
• Solide expérience sur Databricks et architectures Lakehouse.
• Maîtrise de Python, SQL et Spark.
• Expérience AWS.
• Bonne compréhension des enjeux de performance et de gouvernance des données.
• Capacité à communiquer avec des interlocuteurs techniques et métiers.

Responsabilidades

• Concevoir et développer des pipelines Data robustes et scalables avec Python, SQL et Databricks.
• Participer aux choix d'architecture du Lakehouse et à la structuration des données selon une approche Medallion.
• Construire des flux de données batch et événementiels, notamment avec Kafka.
• Garantir la qualité, la sécurité et la gouvernance des données tout au long de leur cycle de vie.
• Industrialiser les traitements sur AWS et contribuer à leur performance.
• Participer à la mise en production et au monitoring dans une logique You build it, you run it.
• Préparer les fondations Data nécessaires aux futurs cas d'usage IA.

Conhecimentos

Databricks

Python

SQL

Spark

Kafka

AWS

Data Engineering

Architecture design

Governance

Performance tuning

Ferramentas

GitHub

Copilot

Descrição da vaga

CAPFI recherche un Data Engineer expérimenté pour concevoir une plateforme Data Lakehouse internationale sur Databricks et AWS, destinée à unifier des données de plusieurs pays et à préparer des usages IA.

Vous contribuerez à concevoir et déployer des pipelines robustes en Python, SQL et Spark, participerez aux choix d'architecture et assurerez la gouvernance et la sécurité des données tout au long de leur cycle.