Data Engineer expérimenté

NSI; Eigenbrakel; On-site; EUR 65,000 - 90,000; Full time

Job summary

NSI recherche un Data Engineer pour développer une plateforme de données moderne et sécurisée en Belgique. You will concevoir des pipelines d’ingestion, modéliser les données et optimiser les performances dans une architecture Lakehouse.

Vous travaillerez avec Python, SQL et dbt Core, en collaboration avec les équipes Data, Architecture et BI, dans un contexte hautement sécurisé et régulé.

Qualifications

• Maîtrise avancée de Python et SQL pour l’ingestion et la transformation des données.
• Expérience avérée avec dbt Core et Delta Lake dans un contexte Lakehouse.
• Connaissance de bases de données relationnelles (MSSQL, PostgreSQL) et outils d’orchestration (Dagster, Airflow).

Responsibilities

• Concevoir et développer des pipelines d’ingestion depuis sources variées (API REST, bases SQL, CSV/Parquet).
• Implémenter des flux batch, incrémentaux et streaming et assurer traçabilité des données.
• Développer couches Bronze/Silver/Gold et modèles de transformation.
• Administrer Delta Lake et optimiser performances des traitements.
• Maintenir les workflows d’orchestration et surveiller les exécutions.

Skills

Python

SQL

dbt Core

DuckDB

Delta Lake

MSSQL

PostgreSQL

Dagster

Airflow

Linux/OpenShift

DataHub

OpenMetadata

Tools

DBT Core

DuckDB

Delta Lake

Dagster

Airflow

Job description

Description De L'offre D'emploi

Contexte

Dans le cadre du développement d'une plateforme de données moderne évoluant dans un environnement exigeant et hautement sécurisé, NSI recherche un Data Engineer pour rejoindre une équipe multidisciplinaire composée d'experts Data, Architecture et BI.

Pré-requis du poste

Vos responsabilités

Data Ingestion & Pipelines

• Concevoir et développer des pipelines d'ingestion depuis des sources variées (API REST, bases de données relationnelles, fichiers CSV/Parquet).
• Mettre en œuvre des flux batch, incrémentaux et streaming.
• Garantir la qualité, la traçabilité et la fiabilité des données.

Transformation & Modélisation

• Développer les couches Bronze, Silver et Gold dans une architecture Medallion.
• Implémenter des modèles de transformation performants et maintenables.
• Mettre en œuvre les mécanismes d'historisation et de gestion des données

Lakehouse & Data Management

• Administrer et optimiser les tables Delta Lake.
• Assurer la cohérence transactionnelle et la performance des traitements.
• Participer à l'évolution continue de la plateforme Data.

Orchestration & Monitoring

• Développer et maintenir les workflows d'orchestration.
• Superviser les exécutions et gérer les incidents.
• Automatiser les contrôles et les alertes

Gouvernance Data

• Alimenter les outils de catalogage et de gestion des métadonnées.
• Maintenir le lignage des données.
• Participer à la documentation et aux bonnes pratiques de gouvernance.

Business Intelligence

• Développer les mécanismes d'exposition des données pour les outils analytiques.
• Collaborer avec les équipes BI et reporting afin de répondre aux besoins métiers.

Profil recherché

Compétences indispensables

• Excellente maîtrise de Python et SQL .
• Expérience solide avec dbt Core .
• Bonne connaissance de DuckDB .
• Expérience avec Delta Lake .
• Maîtrise de MSSQL et/ou PostgreSQL .
• Expérience avec Dagster , Airflow ou un orchestrateur équivalent.
• Bonne maîtrise des environnements Linux/OpenShift .
• Connaissance d'outils de gouvernance tels que DataHub ou OpenMetadata .
• Expérience dans un environnement BI/Data Analytics.

Atouts

• Kafka / Debezium.
• Spark SQL.
• Power BI Report Server (PBIRS) ou Apache Superset.
• Connaissance des architectures Lakehouse, DWH et Data Lake.
• Sensibilité aux enjeux de sécurité et de gouvernance des données.

Soft Skills

• Rigueur et autonomie.
• Esprit analytique et orientation solution.
• Bonnes capacités de communication.
• Esprit d'équipe.
• Curiosité et volonté d'apprendre.
• Une parfaite connaissance du Français est OBLIGATOIRE
• Une très bonne connaissance active de l’anglais est souhaitée