Data Engineer GCP (H/F)

Davidson consulting; Lyon; Sur place; EUR 52 000 - 75 000; Plein temps

Résumé du poste

Davidson consulting recherche un profil Data Engineer pour concevoir et maintenir des pipelines de données sur Google Cloud Platform, avec une expertise BigQuery et Data Lakehouse. Vous interviendrez sur des projets data engineering, analytics et IA, en équipe.

Vous contribuerez à l’architecture, l’implémentation et l’optimisation des flux, des warehouses et des dashboards, en lien avec nos clients Retail et Luxe.

Qualifications

• Solide expérience sur BigQuery, Python, Scala, Kafka et GCP.
• Maîtrise SQL et plus largement l’écosystème Google Cloud.
• Bonne connaissance d’Airflow/Cloud Composer et dbt.
• Capacité à travailler en équipe et à communiquer en anglais technique.

Responsabilités

• Concevoir et maintenir des pipelines de données ETL/ELT sur GCP (BigQuery, Dataflow).
• Concevoir des data warehouses et data lakes scalables et optimiser les schémas.
• Optimiser les requêtes SQL, la partition et les coûts (BigQuery/Dataflow).
• Mettre en place CI/CD et automatiser les tests et le monitoring des données.

Connaissances

BigQuery

Python

Scala

Kafka

GCP

SQL

Java

Outils

Cloud Composer (Airflow)

dbt

Terraform

Git

Description du poste

Rejoindre Davidson, ce n’est pas seulement intégrer un groupe de 3000 consultants dans 6 pays et 2 continents, c’est intégrer LA société qui a été élue par ses salariés Great Place To Work France et Europe pendant 4 ans mais aussi une des plus grandes B Corp de France, nommée Best of the World dans la catégorie “collaborateurs” en 2022 ! (Les “B Corp” formant une communauté de sociétés qui ont décidé d’être non pas les meilleures du monde mais les meilleures POUR le monde).

Parce que notre développement repose sur des principes forts :

• Un profond respect de l’ensemble de nos parties prenantes : consultant(e)s, clients et fournisseurs.
• Une égalité des chances dans le traitement de nos candidatures et dans la gestion de carrière de nos salarié(e)s.
• Une empreinte environnementale minimale, et sociétale maximale.
• Un Management adhocratique basé sur la mise en œuvre des principes de “l’entreprise horizontale” et du “management tribal”.

Nous encourageons les candidatures de personnes en situation de handicap, et nous nous engageons à répondre au mieux à leurs besoins spécifiques.

Profil / Mission

Au sein d’une industrie qu’elle soit Retail, Luxe, pure player, tourisme ou autre, la Data est au cœur de l’activité. Il s’agit de maîtriser une architecture Data Centrics, plateforme de référence Data qui fournit des données en temps réel (via API) pour simplifier et accélérer les prises de décisions tech, business et digitales.

Davidson dispose d’un savoir-faire reconnu qui lui permet d’intervenir sur différentes phases d’un projet : Conseil, organisation, cadrage, définition, conception ou optimisation. Nos consultants interviennent sur des projets Data ingénieur, Data Analytics et Data IA.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données ETL/ELT sur Google Cloud Platform (GCP)
• Conception de data warehouses et data lakes scalables sur BigQuery, optimisation des schémas et partitions
• Optimisation des requêtes SQL, gestion du partitionnement, réduction des coûts BigQuery/Dataflow
• Versionning (Git), déploiement continu via Terraform, Cloud Build, GitLab CI
• Nettoyage, normalisation, contrôle de cohérence ; mise en place de tests et monitoring des données

Stack technique

• Cloud : GCP (BigQuery, Dataflow, Dataproc, Composer, Pub/Sub, Cloud Storage, Kafka)
• Langages : SQL, Python, Java/Scala
• Orchestration : Cloud Composer (Airflow), dbt

Exemples de projets menés

• Pour un client dans le secteur du luxe : concevoir et automatiser des pipelines de données scalables sur Google Cloud (BigQuery, Cloud Storage, Cloud Composer) pour alimenter la personnalisation, les recommandations produits et les tableaux de bord business.
• Pour un autre client : concevoir et automatiser des pipelines de données scalables sur Google Cloud Platform à destination du département marketing digital (ciblage et activation marketing au travers de campagnes de dernière génération, publicité digitale ciblée).

Compétences requises ou à acquérir

• Une solide expérience sur BigQuery, Python, Scala, Kafka, Pub/Sub, GCP.
• Maîtrise de l’anglais courant.
• Capacité à travailler en équipe.
• Esprit technique et curiosité d’apprendre.

Aptitudes / Savoir-être

• Esprit d’équipe et de partage.
• Appétence forte pour la technique.
• Capacité rédactionnelle.

N’hésite pas à candidater !

Description du pôle

La donnée est aujourd’hui un actif stratégique au cœur de la transformation digitale des entreprises et à la base de la création de multiples nouveaux services. Davidson dispose d’une expertise unique autour de la donnée, lui permettant d’intervenir de bout-en-bout pour ses clients, qu’ils soient data-driven ou cherchent « simplement » à valoriser leurs données.

Nos Métiers

• Accompagnement à la mise en place d’une stratégie données
• Architecture Big Data
• Data visualisation
• Data science

Notre Environnement Technique

• Infrastructures & Stockage : Cloud (AWS, Azure, Google Cloud Platform), Cloudera
• MapReduce, Hortonworks, mongoDB, Hadoop, Cassandra, Splunk, Redis, CouchDB
• Traitement de données : Spark, Scala, Kafka, Logstash, Elasticsearch, Hive, Storm, Flink
• Analytics : R, Python, SPSS, SAS, TensorFlow, Scikit-learn
• Dataviz : Grafana, dataiku, Kibana, Tableau, Qlik, Outil propre JS
• Devops & containers : Docker, puppet, Jenkins, Sonar, OpenShift, Kubernetes, Ansible
• Domaines : Machine Learning, Deep Learning