Senior Data Engineer – On-Prem Lakehouse for Defense

ENTICO ICT; Belgique; À distance; EUR 60 000 - 90 000; Plein temps

Résumé du poste

ENTICO ICT recherche un ingénieur Data/Platform pour construire une plateforme de données on-premise pour le Ministère de la Défense Belge. Vous rejoindrez la Sierra Team et travaillerez aux côtés d’un Data Architect et d’un Solution Architect.

Vos missions couvrent l’ingestion, la transformation, la gouvernance et l’exposition des données, avec une forte emphase sur la sécurité et la traçabilité des pipelines multi-domaines.

Qualifications

• Maîtrise approfondie de Python et SQL pour construire des pipelines et des transformations.
• Expérience confirmée avec dbt-core (modèles, snapshots, macros, tests, profils).
• Bonne connaissance de Delta Lake et des transactions ACID dans un environnement lakehouse.
• Maîtrise de bases relationnelles MSSQL et PostgreSQL, avec CDC et SQL avancé.
• Expérience avec un orchestrateur de données (Dagster, Airflow ou équivalent).
• Connaissance d’OpenMetadata ou DataHub pour la gouvernance et le lignage.
• Expérience BI et exposition des données via outils BI (Power BI Report Server; Apache Superset).
• Connaissance des environnements Linux/OpenShift et PowerShell.
• Connaissance des concepts Lakehouse, DWH et Datalake.
• Expérience avec Kafka/Debezium pour la capture de données en temps réel.

Responsabilités

• Concevoir et déployer des pipelines d’ingestion depuis sources hétérogènes (fichiers, APIs, bases relationnelles).
• Implémenter l’ingestion incrémentale et en streaming, assurer fiabilité et traçabilité.
• Développer les modèles de transformation sur Bronze/Silver/Gold (architecture medallion) et historique des données.
• Déployer les exports vers Delta Lake et maintenir les tables Delta Lake.
• Garantir la cohérence transactionnelle dans un multi-domaines et orchestrer les assets.
• Monitorer les runs, détecter les erreurs et automatiser les alertes.
• Exposer la couche Gold via des endpoints et collaborer avec les équipes BI.

Connaissances

Python

SQL

dbt-core

DuckDB

Delta Lake

MSSQL

PostgreSQL

Dagster

Airflow

Linux/OpenShift

PowerShell

DataHub

OpenMetadata

BI development

Kafka

Debezium

Spark

PBIRS

Apache Superset

Outils

Dagster

Airflow

Description du poste

ENTICO ICT recherche un ingénieur Data/Platform pour construire une plateforme de données on-premise pour le Ministère de la Défense Belge. Vous rejoindrez la Sierra Team et travaillerez aux côtés d’un Data Architect et d’un Solution Architect.

Vos missions couvrent l’ingestion, la transformation, la gouvernance et l’exposition des données, avec une forte emphase sur la sécurité et la traçabilité des pipelines multi-domaines.