Data Engineer Lakehouse & Gouvernance - Expert

NSI; Eigenbrakel; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

NSI recherche un Data Engineer pour rejoindre une équipe multidisciplinaire spécialisée Data, Architecture et BI. Vous concevrez et industrialiserez une plateforme Data fondée sur le Lakehouse et la gouvernance des données, en veillant à la cohérence et à la performance des traitements.

Le candidat idéal maîtrise Python/SQL, dbt Core et Delta Lake et possède une expérience avec Dagster/Airflow et des environnements Linux/OpenShift.

Qualifications

• Maîtrise parfaite de Python et SQL.
• Expérience solide avec dbt Core.
• Bonne connaissance de Delta Lake et de l’écosystème Lakehouse.
• Maîtrise de MSSQL et/ou PostgreSQL.
• Expérience avec Dagster et/ou Airflow ou un orchestrateur équivalent.
• Bonne maîtrise des environnements Linux/OpenShift.
• Connaissance d’outils de gouvernance (DataHub/OpenMetadata).
• Expérience dans un environnement BI/Data Analytics.

Responsabilités

• Concevoir et développer des pipelines d’ingestion depuis sources variées (API REST, bases SQL, CSV/Parquet).
• Mettre en œuvre des flux batch, incrémentaux et streaming.
• Garantir qualité, traçabilité et fiabilité des données.

Connaissances

Python

SQL

dbt Core

Delta Lake

PostgreSQL

Dagster/Airflow

Linux/OpenShift

DataHub/OpenMetadata

BI/Data Analytics

Outils

Dagster

Airflow

Delta Lake

DuckDB

Power BI

Apache Superset

Description du poste

NSI recherche un Data Engineer pour rejoindre une équipe multidisciplinaire spécialisée Data, Architecture et BI. Vous concevrez et industrialiserez une plateforme Data fondée sur le Lakehouse et la gouvernance des données, en veillant à la cohérence et à la performance des traitements.

Le candidat idéal maîtrise Python/SQL, dbt Core et Delta Lake et possède une expérience avec Dagster/Airflow et des environnements Linux/OpenShift.