DÉVELOPPEUR SNOWFLAKE / DBT CONFIRMÉ

Onyx-Conseil; Lille; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Développeur Data confirmé spécialisé Snowflake/dbt pour concevoir et faire évoluer une plateforme Data Cloud. Vous développerez des pipelines ETL/ELT et des modèles sur Snowflake avec dbt, en utilisant Python et PySpark pour transformer les données.

Le rôle implique l’ingestion multi-sources, l’optimisation SQL et la mise en place de tests de qualité, l’orchestration avec Airflow et Azure Data Factory, et l’industrialisation via Git/CI-CD dans un cadre Agile.

Qualifications

• Expérience confirmée en Data Engineering.
• Maîtrise de Snowflake, dbt et SQL.
• Maîtrise de Python et PySpark/Spark.
• Expérience sur un environnement Cloud Azure.
• Connaissance des outils d'orchestration et des pratiques CI/CD.
• Autonomie, rigueur et capacité à travailler dans un environnement Agile.

Responsabilités

• Concevoir et développer des pipelines de données et des traitements ETL/ELT.
• Développer et maintenir les modèles de données sur Snowflake avec dbt.
• Développer des traitements Data en Python / PySpark / Spark.
• Participer à l’ingestion et à la transformation de données issues de différentes sources.
• Optimiser les traitements SQL et les performances des pipelines.
• Mettre en place les tests et contrôles de qualité des données.
• Participer à l’orchestration des pipelines avec Airflow / Azure Data Factory.
• Contribuer à l’industrialisation des développements via Git et CI/CD.
• Participer aux évolutions de l’architecture Data et aux bonnes pratiques de développement.

Connaissances

Data Engineering

Snowflake

dbt

SQL

Python

PySpark/Spark

Azure

Airflow

Git

CI/CD

Power BI

Outils

Snowflake

dbt

SQL

Python

PySpark

Azure

Azure Data Factory

Azure Databricks

ADLS

Airflow

Kafka

Delta Lake

Git

CI/CD

Power BI

Description du poste

Contexte :

Dans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data confirmé spécialisé Snowflake / dbt pour participer à la conception et à l'évolution de sa plateforme Data Cloud.

Missions :

• Concevoir et développer des pipelines de données et des traitements ETL/ELT.

• Développer et maintenir les modèles de données sur Snowflake avec dbt.

• Développer des traitements Data en Python / PySpark / Spark.

• Participer à l'ingestion et à la transformation de données issues de différentes sources.

• Optimiser les traitements SQL et les performances des pipelines.

• Mettre en place les tests et contrôles de qualité des données.

• Participer à l'orchestration des pipelines avec Airflow / Azure Data Factory.

• Contribuer à l'industrialisation des développements via Git et CI/CD.

• Participer aux évolutions de l'architecture Data et aux bonnes pratiques de développement.

Environnement technique :

Snowflake, dbt, SQL, Python, PySpark, Apache Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Kafka, Delta Lake, Git, CI/CD, Power BI.

Profil recherché

• Expérience confirmée en Data Engineering.

• Très bonne maîtrise de Snowflake, dbt et SQL.

• Bonne maîtrise de Python et PySpark/Spark.

• Expérience sur un environnement Cloud Azure.

• Connaissance des outils d'orchestration et des pratiques CI/CD.

• Autonomie, rigueur et capacité à travailler dans un environnement Agile