266818/Data Engineer GCP (IT) / Freelance

Onyx-Conseil; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Data Engineer GCP chargé de mettre en œuvre les demandes métier sur le projet DatOps. Vous travaillerez avec l'équipe production et DevOps pour développer et maintenir les flux de données et les pipelines.

Le candidat idéal maîtrise GCP et BigQuery, Spark, Python et SQL, avec une expérience en environnement agile et une capacité d’analyse élevée pour résoudre des problèmes complexes.

Qualifications

• Maîtrise de la plateforme GCP et des outils de data engineering.
• Expérience en SCRUM et environnements agiles.
• Capacité à rédiger des spécifications techniques claires.
• Autonomie et forte capacité d’analyse pour résoudre des problématiques complexes.

Responsabilités

• Mettre en œuvre nouvelles ingestions de données et transformation.
• Maintenir et faire évoluer les pipelines de données et outils associés.
• Collaborer avec l’équipe DevOps et métier sur les évolutions.

Connaissances

HADOOP

SQL

GCP

Google Cloud Storage

Spark

BigQuery

Pandas

GIT

Python

Description du poste

Le consultant idéal devra posséder les compétences suivantes :

• Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT
• Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark
• Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT.
• Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM.
• Capacité à rédiger des spécifications techniques claires et précises.
• Dynamisme, excellent relationnel et capacité à travailler en équipe.
• Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies.

Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l’ensemble des applications nécessaires à leur fonctionnement.

Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.

Les tâches suivantes seront confiées au consultant :

• Mettre en œuvre de nouvelles ingestions de données, data prep/transformation
• Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ??
• Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Expected skills

Skills

Skill level

HADOOP

Confirmed

SQL

Confirmed

GCP

Confirmed

Google Cloud Storage

Advanced

Spark

Advanced

BIGQUERY

Confirmed

Pandas

Advanced

GIT

Advanced

Python

Advanced