Senior Data Engineer - Lakehouse & Data Governance

ENTICO ICT; Sint-Agatha-Berchem; Sur place; EUR 70 000 - 120 000; Plein temps

Résumé du poste

ENTICO ICT recherche un Expert Data Platform pour une plateforme de données on‑premise destinée au Ministère de la Défense Belge, au sein de la Sierra Team avec un Data Architect et un Solution Architect. Vous concevrez et déployerez des pipelines d’ingestion, des transformations sur Bronze/Silver/Gold et des exports vers Delta Lake.

Le poste couvre la gestion des données, le lignage et la gouvernance, tout en exposant les données vers des dashboards BI et des endpoints BI.

Qualifications

• Maîtrise du Python et du SQL pour le développement de pipelines et transformations.
• Expérience confirmée avec dbt-core et la gestion des modèles, snapshots et tests.
• Bonne connaissance de DuckDB comme moteur analytique embarqué et Delta Lake.
• Connaissance des bases relationnelles MSSQL et PostgreSQL (CDC et SQL avancé).
• Expérience avec un orchestrateur de données (Dagster, Airflow ou équivalent).
• A l'aise sur Linux/OpenShift et PowerShell; familiarité avec Data governance (DataHub/OpenMetadata).
• Expérience en développement BI et exposition des données via des endpoints.

Responsabilités

• Concevoir et déployer des pipelines d'ingestion depuis sources hétérogènes (fichiers, APIs, bases relationnelles).
• Implémenter des pipelines d’ingestion incrémentale et en streaming; assurer fiabilité et traçabilité.
• Développer les modèles de transformation sur Bronze/Silver/Gold (architecture medallion).
• Gérer les historiques de données (SCD2, upsert, append only) et exports vers Delta Lake.
• Maintenir les tables Delta Lake et garantir la cohérence transactionnelle en multi-domaines.
• Pousser les métadonnées et maintenir le lignage; rédiger DUA, SLA et documents de gouvernance.
• Exposer les données via endpoints BI et collaborer avec les équipes reporting.

Connaissances

Python

SQL

BI développement

PowerShell

Linux/OpenShift

Data governance

Outils

dbt-core

DuckDB

Delta Lake

MSSQL

PostgreSQL

Dagster/Airflow

DataHub/OpenMetadata

Kafka/Debezium

Spark

Power BI / PBIRS

OpenShift

Description du poste

ENTICO ICT recherche un Expert Data Platform pour une plateforme de données on‑premise destinée au Ministère de la Défense Belge, au sein de la Sierra Team avec un Data Architect et un Solution Architect. Vous concevrez et déployerez des pipelines d’ingestion, des transformations sur Bronze/Silver/Gold et des exports vers Delta Lake.

Le poste couvre la gestion des données, le lignage et la gouvernance, tout en exposant les données vers des dashboards BI et des endpoints BI.