Data Engineer (H/F) (IT) / Freelance

KUBE Partners S.L. - Pixie Services; Lille; Presencial; EUR 65.000 - 90.000; Jornada completa

Descripción de la vacante

KUBE Partners S.L. - Pixie Services recherche un Data Engineer pour intervenir sur des projets Data Engineering et développer des plateformes Data dans un environnement Cloud AWS et Databricks.

Le consultant concevra et industrialisera des pipelines de données en Python et PySpark, optimisera les requêtes SQL et assurera la fiabilité des données avec Databricks et DBT. L’orchestration se fera via Airflow/Astro Scheduler et le CI/CD via GitHub, dans un cadre Agile.

Formación

• Concevoir et développer des pipelines de données en Python et PySpark.
• Rédiger des requêtes SQL complexes et optimiser les traitements.
• Mettre en place Databricks et DBT pour les transformations de données.
• Gérer l’orchestration des workflows avec Airflow/Astro Scheduler.
• Mettre en œuvre CI/CD avec GitHub CI/CD et assurer la qualité du code.
• Intervenir sur AWS et l’architecture Data Cloud pour le stockage et le traitement.
• Utiliser GitHub Copilot pour accélérer le développement et la qualité du code.

Responsabilidades

• Concevoir et développer des pipelines de données en Python et PySpark.
• Concevoir, transformer et optimiser les flux de données via SQL.
• Maintenir Databricks et DBT pour structurer les transformations.
• Ordonner et surveiller les pipelines avec Airflow/Astro Scheduler.
• Mettre en œuvre CI/CD et assurer la qualité du code dans GitHub.
• Travailler sur l’architecture AWS et les services de données.
• Appliquer des pratiques Agile et collaborer avec les équipes techniques.

Conocimientos

Python

PySpark

SQL

Airflow

Astro Scheduler

GitHub Copilot

CI/CD

AWS

Data modeling

Agile

Herramientas

Databricks

DBT

GitHub Actions

Airflow

Descripción del empleo

La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks.

Le consultant sera notamment chargé de :

• Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données

• Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes

• Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données

• Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler

• Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code

• Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données

• Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code

• Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions