GCP Data Engineer: Scalable Pipelines & BigQuery

Davidson consulting; Lyon; On-site; EUR 52,000 - 75,000; Full time

Job summary

Davidson consulting recherche un profil Data Engineer pour concevoir et maintenir des pipelines de données sur Google Cloud Platform, avec une expertise BigQuery et Data Lakehouse. Vous interviendrez sur des projets data engineering, analytics et IA, en équipe.

Vous contribuerez à l’architecture, l’implémentation et l’optimisation des flux, des warehouses et des dashboards, en lien avec nos clients Retail et Luxe.

Qualifications

• Solide expérience sur BigQuery, Python, Scala, Kafka et GCP.
• Maîtrise SQL et plus largement l’écosystème Google Cloud.
• Bonne connaissance d’Airflow/Cloud Composer et dbt.
• Capacité à travailler en équipe et à communiquer en anglais technique.

Responsibilities

• Concevoir et maintenir des pipelines de données ETL/ELT sur GCP (BigQuery, Dataflow).
• Concevoir des data warehouses et data lakes scalables et optimiser les schémas.
• Optimiser les requêtes SQL, la partition et les coûts (BigQuery/Dataflow).
• Mettre en place CI/CD et automatiser les tests et le monitoring des données.

Skills

BigQuery

Python

Scala

Kafka

GCP

SQL

Java

Tools

Cloud Composer (Airflow)

dbt

Terraform

Git

Job description

Rejoindre Davidson, ce n’est pas seulement intégrer un groupe de 3000 consultants dans 6 pays et 2 continents, c’est intégrer LA société qui a été élue par ses salariés Great Place To Work France et Europe pendant 4 ans mais aussi une des plus grandes B Corp de France, nommée Best of the World dans la catégorie “collaborateurs” en 2022 ! (Les “B Corp” formant une communauté de sociétés qui ont décidé d’être non pas les meilleures du monde mais les meilleures POUR le monde).

Parce que notre développement repose sur des principes forts :

• Un profond respect de l’ensemble de nos parties prenantes : consultant(e)s, clients et fournisseurs. Car si le travail “ne fait pas le bonheur”, il peut cependant “faire le malheur”. Nous nous engageons donc à écouter et agir avec honnêteté.
• Une égalité des chances dans le traitement de nos candidatures et dans la gestion de carrière de nos salarié(e)s. Nous croyons en un milieu de travail où équité F/H, inclusion et diversité sont la norme.
• Une empreinte environnementale minimale, et sociétale maximale. C’est pourquoi, au-delà des missions que vous réaliserez, vous pourrez également contribuer à des projets que Davidson soutient : missions de solidarité internationale (avec Planète Urgence), bénévolat auprès d’associations (chaque Davidsonien(ne) dispose de 3 jours par an pour intervenir à leurs côtés), accompagnement d’étudiant(e)s issus de milieux peu favorisés (avec Article 1), investissement dans des startups développant des solutions innovantes, actions collectives et individuelles pour la réduction de notre impact carbone…
• Un Management adhocratique basé sur la mise en œuvre des principes de “l’entreprise horizontale” et du “management tribal”. Sur ce dernier point une précision d’importance : le bien-être au travail est un luxe qu’il faut pouvoir s’offrir en étant une entreprise “solide”. Ceci induit pour les Davidsonien(ne)s d’allier prises d’initiative, engagement et professionnalisme. Car “sans travail, le talent n’est qu’une sale manie”. Et cela nous incite à chercher à recruter des personnes… meilleures que nous…
  
  

Nous encourageons les candidatures de personnes en situation de handicap, et nous nous engageons à répondre au mieux à leurs besoins spécifiques.

Profil / Mission

Au sein d’une industrie qu’elle soit Retail, Luxe, pure player, tourisme ou autre, la Data est au cœur de l’activité.

En effet, il s’agit de maîtriser une architecture Data Centrics, plateforme de référence Data qui fournit des données en temps réel (via API) pour simplifier et accélérer les prises de décisions tech, business et digitales.

Davidson dispose d’un savoir-faire reconnu qui lui permet d’intervenir sur différentes phases d’un projet que ce soit en Conseil et organisation, Cadrage, Définition, Conception ou Optimisation. Nos consultants interviennent sur des projets Data ingénieur, Data Analytics et Data IA.

Ton rôle en tant que Data Engineer sera de contribuer à des projets Data :

• Concevoir, développer et maintenir des pipelines de données ETL/ELT sur Google Cloud Platform (GCP)
• Conception de data warehouses et data lakes scalables sur BigQuery, optimisation des schémas et partitions
• Optimisation des requêtes SQL, gestion du partitionnement, réduction des coûts BigQuery/Dataflow
• Versionning (Git), déploiement continu via Terraform, Cloud Build, GitLab CI
• Nettoyage, normalisation, contrôle de cohérence ; mise en place de tests et monitoring des données
• Stack technique :
• Cloud : GCP (BigQuery, Dataflow, Dataproc, Composer, Pub/Sub, Cloud Storage, Kafka)
• Langages : SQL, Python, Java/Scala
• Orchestration : Cloud Composer (Airflow), dbt

Exemples de projets menés :

• Pour un client dans le secteur du luxe : concevoir et automatiser des pipelines de données scalables sur Google Cloud (BigQuery, Cloud Storage, Cloud Composer) pour alimenter la personnalisation, les recommandations produits et les tableaux de bord business
• Pour un autre client : concevoir et automatiser des pipelines de données scalables sur Google Cloud Platform à destination du département marketing digital ( ciblage et activation marketing au travers de campagnes de dernière génération, publicité digitale ciblée, etc.)
  
  

Compétences requises ou à acquérir

• Tu es le/la reine (roi) de la Data ?
• Les termes BigQuery, Python, Scala, Kafka, Pub/Sub, GCP n’ont plus aucun secret pour toi ?
• Le Tea Time n’est pas un secret pour toi (tu parles anglais couramment ? ?)
• Tu aimes travailler en équipe ?
• Tu aimes la technique ?
  
  

N’hésite pas à candidater !!

Aptitudes / Savoir-être

• Esprit d’équipe et de partage !
• Appétence forte pour la technique
• Capacité rédactionnelle
  
  

Description du pôle Métiers de la donnée

La donnée est aujourd’hui un actif stratégique au cœur de la transformation digitale des entreprises et à la base de la création de multiples nouveaux services. Davidson dispose d’une expertise unique autour de la donnée qui lui permet d’intervenir de bout-en-bout pour ses clients, qu’ils soient data-driven ou cherchent « simplement » à valoriser leurs données.

Nos Métiers

• Accompagnement à la mise en place d’une stratégie données
• Architecture Big Data
• Data visualisation
• Data science
  
  

Notre Environnement Technique

• Infrastructures & Stockage : Cloud (AWS, Azure, Google Cloud Platform), Cloudera,
• MapReduce, Hortonworks, mongoDB, Hadoop, Cassandra, Splunk, Redis, CouchDB
• Traitement de données : Spark, Scala, Kafka, Logstach, Elasticsearch, Hive, Storm, Flink
• Analytics : R, Python, SPSS&SAS, TensorFlow, Sickit learn
• Dataviz : grafana, dataiku, kibana, Tableau, Qlik, Outil propre JS
• Devops & containers : Docker, puppet, Jenkins, Sonar, Openshift, Kubernetes, Ansible
• Domaines : Machine Learning, Deep Learning