Data Engineer Cloud GCP / AWS (CDI - H/F)

Talan; Bordeaux; Hybride; EUR 60 000 - 85 000; Plein temps

Avantages offerts par ce poste

Locaux modernes à Bordeaux

Organisation hybride

Mutuelle prise en charge 80%

Formations — catalogue +1500

Congé maternité 4/5e sans perte de sal

Résumé du poste

Talan Bordeaux recrute un expert Data & IA pour concevoir, développer et maintenir des plateformes données modernes. Vous collaborerez avec les équipes métiers, Data, Cloud et BI afin de proposer des solutions pragmatiques et robustes et de les déployer dans des environnements cloud et Big Data.

Vous maîtrisez Python et SQL pour transformer et optimiser les données, avec une expérience avérée sur Spark, Databricks et des architectures streaming (Kafka/NiFi).

Qualifications

• Diplôme Bac+5 en informatique ou équivalent.
• Au moins 4 ans sur des projets de conception et maintenance de plateformes données.
• Maîtrise de Python et SQL pour l’ingestion, transformation et optimisation des données.

Responsabilités

• Concevoir, développer et maintenir des pipelines de données robustes et scalables.
• Concevoir et optimiser des traitements distribués sur Spark / PySpark.
• Mettre en place streaming et traitement temps réel via Kafka/NiFi.
• Intervenir sur AWS Glue et Redshift ou GCP BigQuery selon les projets.
• Contribuer à des plateformes data modernisées (data warehouse/lakehouse).
• Assurer qualité, performance, fiabilité et sécurité des données.

Connaissances

Python

SQL

Big Data

Spark

Databricks

Kafka

NiFi

ETL/ELT

Gouvernance données

DDD

Formation

Bac+5 informatique

Expérience 4+ ans sur plateformes données

Outils

AWS Glue

Redshift

GCP BigQuery

Databricks

Apache Spark

PySpark

Description du poste

Vous rejoignez notre agence bordelaise au sein de l’équipe Data & IA et intervenez auprès de nos clients sur des projets de conception, d’industrialisation et d’optimisation de plateformes data modernes.

Vous travaillez en lien direct avec les équipes métiers, Data, Cloud et BI afin de comprendre les besoins, proposer des solutions pragmatiques et robustes, puis les mettre en œuvre dans des environnements cloud et Big Data.

• Concevoir, développer et maintenir des pipelines de données robustes, scalables et industrialisés,
• Développer, transformer, manipuler et optimiser les données à l’aide de Python et SQL.
• Mettre en œuvre des traitements distribués de grands volumes de données avec Apache Spark, PySpark et Databricks.
• Contribuer à des architectures de streaming et de traitement temps réel autour d’Apache Kafka et Apache NiFi.
• Intervenir sur des environnements cloud data et Data Warehouse, notamment AWS Glue et Redshift ou GCP BigQuery.
• Participer à la construction de plateformes data modernes, de type data warehouse, data lake ou lakehouse, selon les besoins clients.
• Garantir la qualité, la performance, la fiabilité et la sécurité des données tout au long de leur cycle de vie.

Dans l’environnement techniquesuivant (cette liste n’est pas exhaustive et surtout, elle indique les outils et technos qui nous intéressent et qui sont utilisés par nos clients) :

• Big Data et traitement distribué : Apache Spark, PySpark, Databricks.
• Streaming et temps réel : Apache Kafka, Apache NiFi.
• Cloud AWS (Glue, Redshift) ou GCP BigQuery selon les projets.

Titulaire d’un diplôme en informatique de niveau Bac+5, vous disposez d’une expérience d’au moins 4 ans sur des projets de conception et de maintenance de plateforme de données.

Vos compétences:

• Vous êtes à l’aise pour échanger avec des interlocuteurs métiers, comprendre leurs besoins et proposer des solutions pragmatiques, robustes et adaptées aux enjeux clients.
• Vous maîtrisez Python et SQL pour développer, transformer, manipuler et optimiser les données.
• Vous avez une bonne expérience des environnements Big Data, notamment Apache Spark, PySpark et Databricks pour le traitement distribué des données.
• Vous connaissez les architectures de streaming ou de traitement temps réel, avec Apache Kafka et/ou Apache NiFi.
• Vous avez déjà travaillé sur des environnements cloud data ou Data Warehouse, idéalement AWS Glue et Redshift ou GCP BigQuery.
• Vous connaissez les principes d’ETL/ELT, de qualité de données, d’optimisation des performances et d’industrialisation des traitements.

Compétences souhaitées, qui seraient un plus : connaissances en gouvernance de la donnée et en Domain Driven Design (DDD).

Vos qualités:

• Vous faites preuve de rigueur, d’autonomie et d’un fort esprit d’analyse.
• Vous appréciez le travail en équipe, les environnements collaboratifs et les contextes clients variés.

Informations complémentaires

Nos avantages :

• Locaux modernes à Bordeaux proche du centre-ville
• Organisation hybride entre télétravail et présentiel selon les projets de nos clients
• Une mutuelle prise en charge à 80%
• Une large offre de formations (catalogue de + de 1 500 formations)
• Un retour de congé maternité possible à 4/5ème sans perte de salaire pendant 6 mois

Description de l'entreprise

Talanest un groupe international de conseil en transformation et en innovation par la technologie, créé en 2002.

Nos consultantes et consultants partagent à travers le monde l’audace d’innover, le goût de l’excellence, et l’envie de relever les défis les plus complexes dans des secteurs variés tels que l’énergie, l’industrie, le transport, la finance, le secteur public.

Nos valeurs :engagement, respect, partage, esprit d’équipe et optimisme.

Talan est une entreprise responsable, reconnue par ses collaborateurs et attachée à la diversité. Des aménagements peuvent être proposés si vous êtes en situation de handicap. Retrouvez nos engagements RSE et nos actions en faveur de la diversité sur notre site talan.com.

Talan Sud-Ouest représente plus de 150 consultants répartis sur les agences de Toulouse, Bordeaux et Montpellier. En plein développement, nos trois agences s’agrandissent !

Lepôle Data & IA, fort d’une dizaine de consultants, accompagne ses clients à relever les défis majeurs de création de valeur de leurs organisations grâce à nos expertises conseils (data gouvernance, cadrage, acculturation,…) et technologiques (architecture, ingestion et transformation, restitution et analyse, IA,…).