Développeur Data Snowflake & dbt — Pipelines & CI/CD

Onyx-Conseil; Lille; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Développeur Data confirmé spécialisé Snowflake/dbt pour concevoir et faire évoluer une plateforme Data Cloud. Vous développerez des pipelines ETL/ELT et des modèles sur Snowflake avec dbt, en utilisant Python et PySpark pour transformer les données.

Le rôle implique l’ingestion multi-sources, l’optimisation SQL et la mise en place de tests de qualité, l’orchestration avec Airflow et Azure Data Factory, et l’industrialisation via Git/CI-CD dans un cadre Agile.

Qualifications

• Expérience confirmée en Data Engineering.
• Maîtrise de Snowflake, dbt et SQL.
• Maîtrise de Python et PySpark/Spark.
• Expérience sur un environnement Cloud Azure.
• Connaissance des outils d'orchestration et des pratiques CI/CD.
• Autonomie, rigueur et capacité à travailler dans un environnement Agile.

Responsabilités

• Concevoir et développer des pipelines de données et des traitements ETL/ELT.
• Développer et maintenir les modèles de données sur Snowflake avec dbt.
• Développer des traitements Data en Python / PySpark / Spark.
• Participer à l’ingestion et à la transformation de données issues de différentes sources.
• Optimiser les traitements SQL et les performances des pipelines.
• Mettre en place les tests et contrôles de qualité des données.
• Participer à l’orchestration des pipelines avec Airflow / Azure Data Factory.
• Contribuer à l’industrialisation des développements via Git et CI/CD.
• Participer aux évolutions de l’architecture Data et aux bonnes pratiques de développement.

Connaissances

Data Engineering

Snowflake

dbt

SQL

Python

PySpark/Spark

Azure

Airflow

Git

CI/CD

Power BI

Outils

Snowflake

dbt

SQL

Python

PySpark

Azure

Azure Data Factory

Azure Databricks

ADLS

Airflow

Kafka

Delta Lake

Git

CI/CD

Power BI

Description du poste

Onyx-Conseil recherche un Développeur Data confirmé spécialisé Snowflake/dbt pour concevoir et faire évoluer une plateforme Data Cloud. Vous développerez des pipelines ETL/ELT et des modèles sur Snowflake avec dbt, en utilisant Python et PySpark pour transformer les données.

Le rôle implique l’ingestion multi-sources, l’optimisation SQL et la mise en place de tests de qualité, l’orchestration avec Airflow et Azure Data Factory, et l’industrialisation via Git/CI-CD dans un cadre Agile.