Data Engineer / DataOps GCP DBT

Collective; Paris; Sur place; Confidentiel; Plein temps

Résumé du poste

Une entreprise spécialisée en Data recherche un expert en développement de pipelines de données. Le candidat idéal aura une solide maîtrise des outils SQL, DBT et Python, et sera capable de travailler en environnement agile. Les responsabilités incluent le développement de pipelines, la garantie de la qualité des données, et la collaboration avec des équipes interdisciplinaire. Ce poste est basé à Paris en Nouvelle-Aquitaine.

Qualifications

• Expert en traitement de données avec une forte maîtrise des outils SQL et DBT.
• Capacité à travailler en environnement agile et international.
• Solides compétences en communication technique et interdisciplinaire.

Responsabilités

• Développer et maintenir des pipelines de données avec des normes élevées.
• Assurer la conformité avec la gouvernance des données.
• Faciliter l'évolutivité grâce à des architectures normalisées.

Connaissances

Data processing

SQL

DBT

Airflow

Python

Git

Docker

GCP services

Description du poste

Contexte

Mission au sein du département Data, rattachée à l'équipe Ingénierie composée de 2 personnes dont les missions sont de développer des Data pipelines en y ajoutant une couche d’automatisation et d’orchestration avec un versioning complet de tous les composants ainsi qu’une pipeline de CI/CD.

Le but est également de s’assurer que les best practices relatives aux pipelines ETL/ELT soient respectées.

En plus de compétences techniques, il est attendu quelqu’un qui porte un fort intérêt pour les données, leur compréhension et qui soit capable de dialoguer avec les équipes métiers pour comprendre les enjeux, aidant au bon développement et à la maintenance des transformations.

Missions

Faciliter l'évolutivité grâce à une architecture normalisée et à des principes de conception appropriés

Développer les Data pipelines et traiter des enjeux d'automatisation / orchestration via les outils présentés ci-après

Garantir la meilleure qualité de données possible grâce à un outil de contrôle dédié (Python, DBT ou tests MonteCarlo)

Assurer la conformité avec les politiques de gouvernance et de sécurité des données

Critères requis

Expert en data processing et traitement de la donnée

Forte maitrise de SQL, DBT, Airflow et/ou Composer

Maitrise de Python, Git, Docker

Maîtrise des services GCP (BigQuery, Storage, Dataflow, Cloud Function, ...)

Attention particulière aux détails et aux subtilités dans le traitement des données

Vous savez travailler dans un environnement agile et international

Vous êtes rigoureux, organisé, ouvert d'esprit

Vous disposez de solides compétences en matière de communication (tech et métiers) et de coopération interdisciplinaire