Data Engineer Cloud GCP / AWS (CDI - H/F)

Talan; Bordeaux; Hybrid; EUR 55,000 - 75,000; Full time

Benefits offered by this job

Locaux modernes à Bordeaux

Organisation hybride entre télétravail

Formations catalogues (+1500)

Mutuelle prise en charge à 80%

Retour de congé maternité 4/5ème sans/

Job summary

Talan recherche un expert Data & IA pour concevoir et industrialiser des plateformes de données à Bordeaux. Vous travaillerez avec les métiers, Data, Cloud et BI pour comprendre les besoins et les réaliser dans des environnements cloud et Big Data.

Vous contribuerez à des pipelines robustes via Python/SQL, Spark, Databricks et orchestrations Kafka/NiFi, tout en assurant qualité et sécurité des données tout au long de leur cycle de vie.

Qualifications

• Bonne capacité à échanger avec les métiers et à proposer des solutions pragmatiques et robustes.
• Maîtrise de Python et SQL pour le traitement et l’optimisation des données.
• Expérience avec les environnements Big Data et le traitement distribué (Spark, PySpark, Databricks).
• Connaissance des architectures de streaming temps réel (Kafka/NiFi) et des data warehouses/cloud (BigQuery, Glue/Redshift).

Responsibilities

• Concevoir, développer et maintenir des pipelines de données scalables et industriels.
• Transformation et optimisation des données avec Python et SQL.
• Mettre en œuvre des traitements distribués sur Spark et Databricks.
• Contribuer à des architectures streaming et temps réel avec Kafka/NiFi.
• Intervenir sur des environnements cloud Data Warehouse (GCP/AWS).
• Participer à la construction de plateformes data modernes (data lake/warehouse).
• Garantir qualité, performance, fiabilité et sécurité des données.

Skills

Communication avec les métiers

Autonomie

Esprit d’analyse

Travail en équipe

Education

Diplôme Bac+5 en informatique

Tools

Python

SQL

Apache Spark

PySpark

Databricks

Apache Kafka

Apache NiFi

GCP BigQuery

AWS Glue

Redshift

Job description

Vous rejoignez notre agence bordelaise au sein de l’équipe Data & IA et intervenez auprès de nos clients sur des projets de conception, d’industrialisation et d’optimisation de plateformes data modernes.

Vous travaillez en lien direct avec les équipes métiers, Data, Cloud et BI afin de comprendre les besoins, proposer des solutions pragmatiques et robustes, puis les mettre en œuvre dans des environnements cloud et Big Data.

Vos principales missions :

• Concevoir, développer et maintenir des pipelines de données robustes, scalables et industrialisés,
• Développer, transformer, manipuler et optimiser les données à l’aide de Python et SQL.
• Mettre en œuvre des traitements distribués de grands volumes de données avec Apache Spark, PySpark et Databricks.
• Contribuer à des architectures de streaming et de traitement temps réel autour d’Apache Kafka et Apache NiFi.
• Intervenir sur des environnements cloud data et Data Warehouse, notamment AWS Glue et Redshift ou GCP BigQuery.
• Participer à la construction de plateformes data modernes, de type data warehouse, data lake ou lakehouse, selon les besoins clients.
• Garantir la qualité, la performance, la fiabilité et la sécurité des données tout au long de leur cycle de vie.

Dans l’environnement technique suivant (cette liste n’est pas exhaustive et surtout, elle indique les outils et technos qui nous intéressent et qui sont utilisés par nos clients) :

• Langages : Python, SQL.
• Big Data et traitement distribué : Apache Spark, PySpark, Databricks.
• Streaming et temps réel : Apache Kafka, Apache NiFi.
• Cloud GCP BigQuery ouAWS (Glue, Redshift)selon les projets.

Titulaire d’un diplôme en informatique de niveau Bac+5, vous disposez d’une expérience d’au moins 4 ans sur des projets de conception et de maintenance de plateforme de données.

Vos compétences:

• Vous êtes à l’aise pour échanger avec des interlocuteurs métiers, comprendre leurs besoins et proposer des solutions pragmatiques, robustes et adaptées aux enjeux clients.
• Vous maîtrisez Python et SQL pour développer, transformer, manipuler et optimiser les données.
• Vous avez une bonne expérience des environnements Big Data, notamment Apache Spark, PySpark et Databricks pour le traitement distribué des données.
• Vous connaissez les architectures de streaming ou de traitement temps réel, avec Apache Kafka et/ou Apache NiFi.
• Vous avez déjà travaillé sur des environnements cloud data ou Data Warehouse, idéalement GCP BigQuery etAWS Glue, Redshift.
• Vous connaissez les principes d’ETL/ELT, de qualité de données, d’optimisation des performances et d’industrialisation des traitements.

Compétences souhaitées, qui seraient un plus : connaissances en gouvernance de la donnée et en Domain Driven Design (DDD).

Vos qualités:

• Vous faites preuve de rigueur, d’autonomie et d’un fort esprit d’analyse.
• Vous appréciez le travail en équipe, les environnements collaboratifs et les contextes clients variés.

L’équipe recrutement s’engage à vous proposer un processus de recrutement rapide et fluide:

1. Premier échange avec Quentin, recruteur, pour vous présenter le poste et comprendre votre projet professionnel,
2. Entretien en binôme avec le manager de l’équipe Data & IA et un consultant technique.

Nos avantages :

• Locaux modernes à Bordeaux proche du centre-ville
• Organisation hybride entre télétravail et présentiel selon les projets de nos clients
• Une large offre de formations (catalogue de + de 1 500 formations)
• Une mutuelle prise en charge à 80%
• Un retour de congé maternité possible à 4/5ème sans perte de salaire pendant 6 mois