Data Engineer – Big Data & Cloud (Lyon, Télétravail 2j/sem)

DGTL Performance; Lyon; Hybrid; EUR 65,000 - 90,000; Full time

Benefits offered by this job

Télétravail partiel (2 jours/semaine)

Localisation Lyon

Job summary

DGTL Performance recherche un Data Engineer confirmé pour rejoindre une grande plateforme data. Vous concevrez et développerez des services de traitement de données accessibles via API, tout en accélérant les traitements analytiques et en renforçant l'alignement entre les besoins métier et décisionnels.

Vous évoluerez dans un cadre cloud moderne, agile/Scrum, avec des projets autour de référentiels critiques et d'optimisation de pipelines.

Qualifications

• Solide expérience en développement Java et/ou Scala (3–7 ans) avec programmation fonctionnelle
• Maîtrise d'Apache Spark pour le traitement distribué sur de gros volumes
• Expertise Apache Kafka pour la gestion des flux de données
• Expérience avec Google Cloud Platform (GCP) et BigQuery, SQL avancé
• Compétences DBT pour l'orchestration des pipelines
• Expérience Pub/Sub pour ingestion et traitement en temps réel
• Maîtrise CI/CD, GitLab CI/CD, Docker et Docker Compose
• Connaissance Linux et outils CLI
• Expérience Git et workflows collaboratifs
• Agilité/Scrum et capacité à itérer rapidement
• Formation Bac+5 en informatique ou équivalent

Responsibilities

• Concevoir et développer des services de traitement de données en Java et/ou Scala
• Architecturer et maintenir des pipelines avec Spark et Kafka
• Piloter ingestion et traitement de flux via Pub/Sub
• Optimiser requêtes et modèles de données dans BigQuery et SQL avancé
• Orchestrer les workflows avec DBT
• Mettre en place CI/CD via GitLab CI/CD et Docker Compose
• Contribuer à l'évolution de l'infrastructure cloud sur GCP
• Collaborer avec les équipes métier, data science et infra dans un cadre Agile
• Documenter et maintenir les standards de qualité et de performance

Skills

Java/Scala

Functional programming

Spark

Kafka

GCP/BigQuery

DBT

Pub/Sub

CI/CD (GitLab)

Docker

Git

Linux/CLI

Agile/Scrum

English/Français technique

Education

Bac+5 en informatique

Tools

BigQuery

DBT

Pub/Sub

Docker

GitLab CI/CD

Job description

DGTL Performance recherche un Data Engineer confirmé pour rejoindre une grande plateforme data. Vous concevrez et développerez des services de traitement de données accessibles via API, tout en accélérant les traitements analytiques et en renforçant l'alignement entre les besoins métier et décisionnels.

Vous évoluerez dans un cadre cloud moderne, agile/Scrum, avec des projets autour de référentiels critiques et d'optimisation de pipelines.