Data Engineer - Lakehouse & Data Orchestration Expert

NSI; Eigenbrakel; On-site; EUR 65,000 - 90,000; Full time

Job summary

NSI recherche un Data Engineer pour développer une plateforme de données moderne et sécurisée en Belgique. You will concevoir des pipelines d’ingestion, modéliser les données et optimiser les performances dans une architecture Lakehouse.

Vous travaillerez avec Python, SQL et dbt Core, en collaboration avec les équipes Data, Architecture et BI, dans un contexte hautement sécurisé et régulé.

Qualifications

• Maîtrise avancée de Python et SQL pour l’ingestion et la transformation des données.
• Expérience avérée avec dbt Core et Delta Lake dans un contexte Lakehouse.
• Connaissance de bases de données relationnelles (MSSQL, PostgreSQL) et outils d’orchestration (Dagster, Airflow).

Responsibilities

• Concevoir et développer des pipelines d’ingestion depuis sources variées (API REST, bases SQL, CSV/Parquet).
• Implémenter des flux batch, incrémentaux et streaming et assurer traçabilité des données.
• Développer couches Bronze/Silver/Gold et modèles de transformation.
• Administrer Delta Lake et optimiser performances des traitements.
• Maintenir les workflows d’orchestration et surveiller les exécutions.

Skills

Python

SQL

dbt Core

DuckDB

Delta Lake

MSSQL

PostgreSQL

Dagster

Airflow

Linux/OpenShift

DataHub

OpenMetadata

Tools

DBT Core

DuckDB

Delta Lake

Dagster

Airflow

Job description

NSI recherche un Data Engineer pour développer une plateforme de données moderne et sécurisée en Belgique. You will concevoir des pipelines d’ingestion, modéliser les données et optimiser les performances dans une architecture Lakehouse.

Vous travaillerez avec Python, SQL et dbt Core, en collaboration avec les équipes Data, Architecture et BI, dans un contexte hautement sécurisé et régulé.