Data Engineer expérimenté

NSI; Eigenbrakel; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

NSI recherche un Data Engineer pour rejoindre une équipe multidisciplinaire spécialisée Data, Architecture et BI. Vous concevrez et industrialiserez une plateforme Data fondée sur le Lakehouse et la gouvernance des données, en veillant à la cohérence et à la performance des traitements.

Le candidat idéal maîtrise Python/SQL, dbt Core et Delta Lake et possède une expérience avec Dagster/Airflow et des environnements Linux/OpenShift.

Qualifications

• Maîtrise parfaite de Python et SQL.
• Expérience solide avec dbt Core.
• Bonne connaissance de Delta Lake et de l’écosystème Lakehouse.
• Maîtrise de MSSQL et/ou PostgreSQL.
• Expérience avec Dagster et/ou Airflow ou un orchestrateur équivalent.
• Bonne maîtrise des environnements Linux/OpenShift.
• Connaissance d’outils de gouvernance (DataHub/OpenMetadata).
• Expérience dans un environnement BI/Data Analytics.

Responsabilités

• Concevoir et développer des pipelines d’ingestion depuis sources variées (API REST, bases SQL, CSV/Parquet).
• Mettre en œuvre des flux batch, incrémentaux et streaming.
• Garantir qualité, traçabilité et fiabilité des données.

Connaissances

Python

SQL

dbt Core

Delta Lake

PostgreSQL

Dagster/Airflow

Linux/OpenShift

DataHub/OpenMetadata

BI/Data Analytics

Outils

Dagster

Airflow

Delta Lake

DuckDB

Power BI

Apache Superset

Description du poste

Contexte

Dans le cadre du développement d'une plateforme de données moderne évoluant dans un environnement exigeant et hautement sécurisé,

Description De L'offre D'emploi

NSI recherche un Data Engineer pour rejoindre une équipe multidisciplinaire composée d'experts Data, Architecture et BI. Vous contribuerez à la conception, à l'industrialisation et à l'exploitation d'une plateforme Data basée sur les principes du Lakehouse et de la gouvernance de données.

Vos responsabilités

Data Ingestion & Pipelines

• Concevoir et développer des pipelines d'ingestion depuis des sources variées (API REST, bases de données relationnelles, fichiers CSV/Parquet).
• Mettre en œuvre des flux batch, incrémentaux et streaming.
• Garantir la qualité, la traçabilité et la fiabilité des données.

Transformation & Modélisation

• Développer les couches Bronze, Silver et Gold dans une architecture Medallion.
• Implémenter des modèles de transformation performants et maintenables.
• Mettre en œuvre les mécanismes d'historisation et de gestion des données.

Lakehouse & Data Management

• Administrer et optimiser les tables Delta Lake.
• Assurer la cohérence transactionnelle et la performance des traitements.
• Participer à l'évolution continue de la plateforme Data.

Orchestration & Monitoring

• Développer et maintenir les workflows d'orchestration.
• Superviser les exécutions et gérer les incidents.
• Automatiser les contrôles et les alertes.

Gouvernance Data

• Alimenter les outils de catalogage et de gestion des métadonnées.
• Maintenir le lignage des données.
• Participer à la documentation et aux bonnes pratiques de gouvernance.

Business Intelligence

• Développer les mécanismes d'exposition des données pour les outils analytiques.
• Collaborer avec les équipes BI et reporting afin de répondre aux besoins métiers.

Profil recherché

Compétences indispensables

• Excellente maîtrise de Python et SQL.
• Expérience solide avec dbt Core.
• Bonne connaissance de DuckDB.
• Expérience avec Delta Lake.
• Maîtrise de MSSQL et/ou PostgreSQL.
• Expérience avec Dagster, Airflow ou un orchestrateur équivalent.
• Bonne maîtrise des environnements Linux/OpenShift.
• Connaissance d'outils de gouvernance tels que DataHub ou OpenMetadata.
• Expérience dans un environnement BI/Data Analytics.

Atouts

• Kafka / Debezium.
• Spark SQL.
• Power BI Report Server (PBIRS) ou Apache Superset.
• Connaissance des architectures Lakehouse, DWH et Data Lake.
• Sensibilité aux enjeux de sécurité et de gouvernance des données.

Soft Skills

• Rigueur et autonomie.
• Esprit analytique et orientation solution.
• Bonnes capacités de communication.
• Esprit d'équipe.
• Curiosité et volonté d'apprendre.
• Une parfaite connaissance du Français est OBLIGATOIRE
• Une très bonne connaissance active de l’anglais est souhaitée