Data Engineer expérimenté— Snowflake, Data & Cloud

Business At Work; Bordeaux; Hybride; EUR 55 000 - 85 000; Plein temps

Résumé du poste

Business At Work à Bordeaux recherche un Data Engineer expérimenté pour concevoir et faire évoluer nos pipelines de données, de l’ingestion à la mise à disposition des données pour nos applications et utilisateurs. Vous maîtrisez SQL et Python, concevez des architectures autour de Snowflake, et vous collaborez avec les équipes Data, Software et DevOps pour garantir qualité, fiabilité et performance.

Une expérience solide en ingénierie des données et en automatisation des traitements est

Qualifications

• Expérience d’au moins 3 ans en Data Engineering, Data Platform ou rôle similaire.
• Solide maîtrise de SQL et expérience dans la conception et l’industrialisation de pipelines de données.

Responsabilités

• Concevoir et développer des pipelines de données fiables et performants.
• Mettre en place et faire évoluer les flux d’ingestion et de transformation.
• Concevoir et optimiser des architectures data autour de Snowflake.
• Industrialiser les traitements et automatiser leur déploiement et exécution.
• Mettre en place la supervision et le monitoring des pipelines.
• Collaborer avec les équipes Data, Software, DevOps et BI.

Connaissances

SQL mastery

Python

Data pipelines

Git

Problem solving

Outils

Snowflake

dbt

Airflow

Kafka

Spark

Cloud AWS

Description du poste

Nous recherchons un(e) Data Engineer expérimenté(e) pour participer à la conception, au développement et à l'évolution de nos plateformes et pipelines de données. Au sein des équipes techniques, vous intervenez sur l'ensemble de la chaîne de traitement de la donnée, de son ingestion jusqu'à sa transformation et sa mise à disposition auprès des différents utilisateurs et applications.

Vous aurez notamment pour missions de:

• Concevoir et développer des pipelines de données fiables et performants.
• Mettre en place et faire évoluer des flux d'ingestion et de transformation de données.
• Concevoir et optimiser des architectures data autour de Snowflake.
• Développer des traitements permettant de collecter, transformer et structurer les données.
• Garantir la qualité, la disponibilité et la fiabilité des données.
• Optimiser les performances et les coûts des traitements et infrastructures data.
• Participer à la mise en place de bonnes pratiques de Data Engineering et de gouvernance technique.
• Industrialiser les traitements et automatiser leur déploiement et leur exécution.
• Mettre en place la supervision et le monitoring des pipelines.
• Collaborer avec les équipes Data, Software, DevOps, BI et métiers afin de répondre aux différents besoins autour de la donnée.

Vous pourrez intervenir sur des problématiques variées : ingestion de données, data warehouse, data lake, transformation, traitement de données à grande échelle ou encore mise à disposition de données pour des applications et outils analytiques.

Vous disposez d'au moins 3 ans d'expérience en Data Engineering, Data Platform ou dans un rôle similaire. Vous avez une solide maîtrise de SQL et une expérience significative dans la conception et l'industrialisation de pipelines de données.

Vous maîtrisez notamment:

• Snowflake SQL
• Conception de pipelines ETL / ELT
• Modélisation et structuration des données
• Python ou un langage de programmation similaire
• Git
• Industrialisation et automatisation des traitements

Une expérience sur les technologies et sujets suivants est appréciée:

• dbt
• Airflow ou autres outils d'orchestration
• Kafka ou autres solutions de streaming / messaging
• Spark / PySpark
• Cloud : AWS, Azure ou GCP
• Docker et environnements conteneurisés
• CI/CD
• Data Lake / Data Warehouse
• Monitoring et observabilité des pipelines
• Gouvernance, qualité et sécurité des données

Au-delà de la maîtrise d'un outil particulier, nous recherchons avant tout un(e) Data Engineer capable de concevoir des solutions data robustes, évolutives et maintenables. Vous êtes autonome, rigoureux(se) et aimez résoudre des problématiques techniques liées à la donnée. Vous êtes à l'aise pour travailler avec différentes équipes et savez comprendre les besoins fonctionnels afin de les traduire en solutions techniques pertinentes. La maîtrise de l'ensemble des technologies mentionnées n'est pas indispensable : une solide expérience en Data Engineering et une bonne maîtrise de Snowflake, SQL et des pipelines de données sont les éléments essentiels.