Data Engineer Databricks

Capgemini; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Capgemini cherche un Data Engineer Databricks au sein des équipes Insights & Data de Lyon. Vous intervenez sur l’identification des besoins data, le développement d’architectures et l’ingestion des données, en mode batch et temps réel, pour alimenter le Data Lake.

Vous participez à l’industrialisation, au monitoring des pipelines et à la mise en place de solutions d’exposition des données, tout en adoptant les outils innovants autour du cloud et de l’IA.

Qualifications

• Diplôme non requis; cinq ans d’expérience minimum en data engineering exigés.

Responsabilités

• Travailler au sein d’une équipe projet et accompagner les métiers et les Data Scientists.
• Participer à la conception et au développement des architectures data.
• Concevoir et mettre en œuvre des flux d’ingestion, d’extraction et de traitement (batch/temps réel).
• Industrialiser, optimiser et monitorer les pipelines data et leur déploiement.
• Mettre en place des systèmes d’exposition et de visualisation des données.
• Former et faire progresser techniquement les membres de l’équipe.
• Organiser les revues de code et garantir la qualité logicielle.
• Travailler en partenariat avec Databricks et participer aux workshops.

Connaissances

Databricks

CI/CD

GitHub

GitLab

Jenkins

Anglais B1/B2

Azure Cloud

Terraform

Scrum/SAFe

Data Lake/ETL

Outils

Azure Data Lake

Azure Data Factory

Azure Synapse

Delta Lake

Databricks SQL

Databricks Workflows

Description du poste

Choisir Capgemini, c'est choisir une entreprise où vous serez en mesure de façonner votre carrière selon vos aspirations. Avec le soutien et l'inspiration d'une communauté d’experts dans le monde entier, vous pourrez réécrire votre futur. Rejoignez-nous pour redéfinir les limites de ce qui est possible, contribuer à libérer la valeur de la technologie pour les plus grandes organisations et participer à la construction d’un monde plus durable et inclusif.Vos missionsEn tant que Data Engineer Databricks, au sein des équipes Insights & Data, vous serez amené à intervenir sur les sujets suivants :Faire partie d’une équipe projet pour intervenir et accompagner les équipes métiers et les Data Scientists dans leurs travaux d’identification et d'expression des besoins sur la dataParticiper aux ateliers de conception et au développement des architectures data Concevoir et mettre en œuvre des flux et processus d’ingestion, d’extraction et de traitement des données (batch ou temps réel), incluant la collecte, le nettoyage, l’organisation et la modélisation pour alimenter efficacement le Data Lake Industrialiser, optimiser et monitorer au quotidien les pipelines data et leur déploiementMettre en place des systèmes d’exposition et de visualisation tout en favorisant l’innovationAdopter des outils innovants, notamment autour de la data, du cloud et de l’intelligence artificielle, afin de rester à la pointe des usages et d’apporter toujours plus de valeur à nos clientsFormer et faire progresser techniquement les membres de l’équipeOrganiser les revues de code et être garant de la qualité logicielle sur le projetPartenariat avec Databricks : Vous intégrerez l’écosystème de notre partenaire : participation à des workshops, développement de projets en commun. Enfin, notre programme de formation des Champions Databricks (programme mondial) vous permettra de vous certifier, de travailler sur des projets Databricks et d'obtenir un titre de ' Champions Databricks'.Votre profilVous avez au minimum cinq ans d’expérience.Vous justifiez d’au moins deux ans d’expérience sur Databricks, avec un niveau de certification ou de maîtrise équivalent (Delta Lake, Databricks SQL, Databricks Workflows, CI/CD, GitHub, GitLab, Jenkins).Vous disposez d’un niveau d’anglais B1/B2, vous permettant de réaliser des présentations et d’interagir efficacement dans un contexte professionnel.La connaissance de Terraform constitue un atout.;Vous êtes à l’aise avec les méthodologies agiles, notamment Scrum et SAFe.Une expérience cloud est attendue, en particulier sur Azure (Azure Data Lake, Azure Data Factory, Azure Synapse), ou à défaut sur AWS ou GCP.Quelques raisons de nous rejoindreProjets variés et innovants : intervenez sur des missions à fort impact dans des secteurs durables et technologiques (énergies renouvelables, transports, IA, data, etc.), riche d'opportunités d’évolution.Apprentissage en continu : accédez à des ressources dédiées telles que notre GenAI Campus, des certifications techniques (SAP, Databricks, Agile, etc.) et des plateformes de formation.Événements et communautés : intégrez une communauté de Tech Leads reconnue, qui joue un rôle clé dans l’évolution et la progression de carrière de nos collaborateurs. Cette communauté s’inscrit à l’échelle de la France, de l'Europe et du monde, au sein de l’écosystème Databricks chez Capgemini, favorisant le partage d’expertise et l’excellence technique.Nos engagements et prioritésLe groupe Capgemini encourage une culture inclusive dans un cadre multiculturel et handi-accueillant. En nous rejoignant, vous intégrez un collectif qui valorise la diversité, développe le potentiel de ses talents, s’engage dans des initiatives solidaires avec ses partenaires, et se mobilise pour réduire son impact environnemental sur tous ses sites et auprès de ses clients.Capgemini est un leader mondial, responsable et multiculturel, regroupant près de 350 000 personnes dans plus de 50 pays. Fort de 55 ans d’expérience, nous sommes un partenaire stratégique des entreprises pour la transformation de leurs activités en tirant profit de toute la puissance de la technologie et des innovations dans les domaines en perpétuelle évolution tels que le cloud, la data, l’Intelligence Artificielle, la connectivité, les logiciels, l’ingénierie digitale ou les plateformes.