Data Engineer Senior - Pipelines & Data Platform

France Travail; Lillemer; Sur place; EUR 70 000 - 95 000; Temps partiel

Résumé du poste

ALTEN, leader mondial de l'ingénierie et du conseil en technologies, recrute un Data Engineer senior pour renforcer son pôle Data & Analytics. Vous concevrez et déployerez des pipelines avec Databricks, PySpark et DBT, optimiserez les ETL/ELT et collaborerez avec Data Scientists et métiers pour livrer des jeux de données fiables et prêts à l'emploi.

Le poste s'inscrit dans une dynamique d'innovation et de transformation digitale, avec gouvernance RGPD et sécurité, et une automatisation via CI/CD

Qualifications

• Concevoir et déployer des pipelines de données robustes et scalables avec Databricks, PySpark et DBT.
• Optimiser les traitements ETL/ELT via des bonnes pratiques de data modeling (Schémas étoile, flocon).
• Collaborer avec Data Scientists et métiers pour livrer des jeux de données fiables et documentés.
• Automatiser le déploiement et la maintenance des pipelines via CI/CD (GitLab, Jenkins) et assurer leur monitoring (Airflow, Prometheus).
• Contribuer à l'évolution de l'architecture data et veiller à la conformité RGPD et sécurité.
• Documenter les processus et les schémas de données pour faciliter la maintenance et l'onboarding.

Responsabilités

• Concevoir et déployer des pipelines de données robustes et scalables à l'aide de Databricks, PySpark et DBT, pour alimenter des environnements d'analyse et de ML.
• Optimiser les performances des traitements ETL/ELT en exploitant les bonnes pratiques de data modeling et les capacités distribuées de Spark.
• Collaborer avec les Data Scientists et les équipes métiers pour comprendre les besoins et livrer des jeux de données fiables, documentés et prêts à l'emploi.
• Automatiser le déploiement et la maintenance des pipelines via des outils CI/CD et garantir leur monitoring (Airflow, Prometheus).
• Contribuer à l'évolution de l'architecture data et intégrer des solutions cloud et conformité RGPD et sécurité.

Connaissances

Databricks

PySpark

DBT

ETL/ELT

Data modeling

Spark

Airflow

CI/CD

GitLab/Jenkins

Outils

GitLab

Jenkins

Prometheus

AWS/Azure/GCP

Description du poste

ALTEN, leader mondial de l'ingénierie et du conseil en technologies, recrute un Data Engineer senior pour renforcer son pôle Data & Analytics. Vous concevrez et déployerez des pipelines avec Databricks, PySpark et DBT, optimiserez les ETL/ELT et collaborerez avec Data Scientists et métiers pour livrer des jeux de données fiables et prêts à l'emploi.

Le poste s'inscrit dans une dynamique d'innovation et de transformation digitale, avec gouvernance RGPD et sécurité, et une automatisation via CI/CD