Data Engineer Python / Spark / GCP F/H/X

Askills; Paris; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une société de services en technologie recherche un Data Engineer pour gérer la qualité et la sécurité des données. Vous participerez à la conception de pipelines, à l'organisation des données et à l'amélioration des infrastructures sur Google Cloud. Le candidat idéal a au moins 3 ans d'expérience, des compétences en Python, SQL, et une familiarité avec la méthodologie Agile.

Qualifications

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data.
• Compétences solides en data : structures de données, code, architecture.
• Expériences dans la conception et la réalisation de pipelines data.

Responsabilités

• Participer activement aux différentes phases de conception, planification et réalisation.
• Construire et maintenir des pipelines data robustes et scalables.
• Organiser et structurer le stockage des données.

Connaissances

Structures de données

Python

SQL

Spark

dbt

Terraform

Agile

Outils

BigQuery

Airflow

Gitlab

Description du poste

Overview

Nous recherchons pour un de nos clients dans le secteur de l'audiovisuel, un/une Data Engineer présentant au minimum 3 années d'expérience. Vous intégrerez l'équipe en charge de la gestion de la qualité et de la sécurité des données.

Missions

• Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe
• Construire et maintenir des pipelines data robustes et scalables
• Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données
• Organiser et structurer le stockage des données
• Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données
• Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données
• Construire et maintenir les workflows de la CI/CD
• Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur
• Assurer l’évolutivité, la sécurité, la stabilité des environnements
• Participer aux différentes instances des data ingénieurs
• Contribuer et veiller à la mise à jour de la documentation
• Faire de la veille technologique active dans le domaine

Stack technique

La stack technique est principalement constituée de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. La stack inclut aussi d’autres services de la Google Cloud Platform.

Expertises demandées

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data
• Compétences solides en data : structures de données, code, architecture
• Expériences dans la conception et la réalisation de pipelines data
• Expériences dans un environnement du cloud Google (GCP)
• Expériences intégrant BigQuery et Dataplex Universal Catalog
• Expériences intégrant les langages Python et SQL
• Expériences intégrant Spark
• Expériences intégrant dbt
• Expériences intégrant Terraform et Terragrunt
• Expériences intégrant Gitlab et Gitlab CI/CD
• Expériences intégrant les méthodologies Agile : Scrum ou Kanban
• Capacité à vulgariser et à communiquer sur des aspects purement techniques