Data Engineer DataBricks (H/F/NB)

Keyrus; Levallois-Perret; Hybrid; EUR 90,000 - 130,000; Full time

Benefits offered by this job

Formations certifiantes

Télétravail possible

Mobilité internationale

Accès aux plateformes éditeurs

Job summary

Keyrus, acteur majeur de la Data et du Digital, recherche un Lead Technique Spark/Databricks pour accompagner ses clients dans la mise en œuvre de stratégies data cloud. Vous ferez partie d’une équipe spécialisée, couvrant l’avant-vente, l’architecture et l’implémentation, avec un fort esprit d’innovation et de partage.

Vous animerez des ateliers, contribuerez à des projets de données complexes et piloterez le design technique et les best practices Databricks/Spark.

Qualifications

• Participation à des projets Databricks ou Spark depuis plus de 10 ans.
• Évolution souhaitée vers Lead Technique Spark et Databricks.
• Animation d’ateliers Databricks/Spark et formation des collègues.
• Connaissances avancées sur Databricks et/ou Spark.
• Connaissances avancées sur SQL et/ou Python et/ou Scala.
• Bonnes connaissances sur CSV et/ou JSON.
• Bonnes connaissances sur les Cloud Data Lake (AWS S3, Azure Blob Storage et Google Cloud Storage).
• Bonnes connaissances sur Delta Lake.
• Bonnes connaissances sur l’architecture des clusters Spark.
• Bonnes connaissances sur l’écosystème Hadoop et stockage/calc distributed.
• Bonnes connaissances sur Kafka et le streaming de données.
• Bonnes connaissances sur CI/CD dans Databricks.
• Notions sur Spark ML.
• Notions fonctionnelles dans les secteurs Banque, Retail, Transport, etc.
• Idéalement des certifications sur DataBricks.

Responsibilities

• Participation à l’avant-vente Databricks et contribution à l’architecture client.
• Aide à la configuration des Data Lakes et dimensionnement des clusters Spark.
• Mise en place de pipelines CI/CD et bonnes pratiques Spark.
• Formation des équipes client et internes sur Databricks et Spark.
• Animation de communautés data Keyrus (Articles, Rex, Webinar, etc.).
• Participation aux réponses aux appels d’offres et aux avant-ventes.
• Support technique et accompagnement sur l’appropriation des solutions Databricks.

Skills

Databricks

Spark

SQL

Python

Scala

CSV/JSON

Cloud Data Lake

Delta Lake

Spark cluster architecture

Hadoop ecosystem

Kafka/Streaming

CI/CD Databricks

Spark ML

Industry domains

Job description

Qui sommes-nous ? Une success story dans la Data et le Digital !

Notre mission ? Des projets à forte valeur ajoutée pour accroître la performance et la compétitivité des entreprises, faciliter et accélérer leur transformation.

• Data Intelligence

Business Intelligence, Big Data & Analytics, Intelligence Artificielle

• Digital Experience

Conseil, Stratégie & Performance Digitales

• Conseil en Management & Transformation

Stratégie & Innovation, Pilotage de la Performance & Accompagnement des Projets

Nous sommes plus de 3000 talents sur plus de 20 pays et 4 continents. Notre ADN ? Innover et entreprendre.

Qui êtes-vous ?

• Vous participez depuis au moins 10 ans à la réalisation de projets Databricks ou Spark ;


• Vous souhaitez évoluer en tant que Lead Technique Spark et Databricks ;


• Vous aimez animer des ateliers Databricks/Spark et former vos collègues ;


• Vous avez des connaissances avancées sur la solution Databricks et/ou Spark ;


• Vous avez des connaissances avancées sur les langages SQL et/ou Python et/ou Scala ;


• Vous avez de bonnes connaissances sur les structures CSV et/ou JSON ;


• Vous avez de bonnes connaissances sur les Cloud Data Lake (AWS S3, Azure Blob Storage et Google Cloud Storage) ;


• Vous avez de bonnes connaissances sur la technologie Delta Lake ;


• Vous avez de bonnes connaissances sur l’architecture des clusters Spark ;


• Vous avez de bonnes connaissances sur l’écosystème Hadoop et les architectures de type stockage et calcul distribuée ;


• Vous avez de bonnes connaissances sur Kafka et le streaming de données ;


• Vous avez de bonnes connaissances sur le CI/CD dans Databricks


• Vous avez des notions sur Spark ML


• Vous avez des notions fonctionnelles dans les différents secteurs métier de nos clients (Banque, Retail, Transport, etc…)


• Idéalement vous possédez des certifications sur DataBricks

Quelles seront vos missions ?

Au sein de l’une de nos Business Unit de Conseil, d’Expertise, de Delivery et de services autour de la Data, vous intègrerez une équipe de 200 Data Specialists (Data Engineer, Big Data, Data Scientists, Data Analytics, DevOps, CloudOps, Data Architecte…), capables d’accompagner nos clients dans la mise en œuvre d’une stratégie data cloud globale.

Vous interviendrez sur les sujets suivants (liste non exhaustive) :

• Participation à l’avant-vente Databricks


• Aide à la configuration des Data Lakes, Workspaces Databricks et au dimensionnement des clusters Spark


• Mise en place des pipelines CI/CD pour l’automatisation des build, test et déploiement


• Mise en place des bonnes pratiques Spark à destination des équipes client


• Mise en place des templates ou frameworks


• Audit de la stack technologique du client (Data Lakes, Workspaces, Notebooks, Jobs, etc…) ;


• Identification et Résolution des problèmes de performance et de robustesse des flux dans l’environnement du client


• Accompagnement de nos clients sur l’appropriation de nos solutions ;


• Formation des équipes client et internes sur les solutions Databricks et Spark


• Participation à l’animation de communautés data Keyrus (Articles, Rex, Webinar, etc…)


• Participation aux avant-ventes


• Participation aux réponses aux appels d’offres

Pourquoi nous rejoindre ?

• Intégrer et participer à l’animation d’une communauté d’experts curieux et passionnés ;


• Bénéficier d’un suivi et d’un suivi et d’un management de proximité ;


• Evoluer dans un environnement multiculturel et favorisant la mobilité internationale et le télétravail


• Vous former via notre plateforme MyKLX, proposant un large catalogue de formations certifiantes ainsi que des accès aux plateformes éditeurs;


• Participer à l’animation d’une communauté, aux différents afterworks, …etc.


• A travers une Mission Santé-Handicap dédiée, Keyrus déploie une politique de recrutement et met en place un environnement Handi-accueillants. Tous nos postes sont ouverts aux personnes en situation de handicap ;


• Keyrus a été classé dans le palmarès Le Point « Les entreprises les plus responsables de France 2022 » sur la base d'indicateurs dérivés, entre autres, de rapports sur la RSE.