Data Engineer Confirmé Databricks - F/H

Onepoint group; Lyon; Sur place; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Onepoint en Lyon recruté Data Engineer Confirmé Databricks pour intégrer le pôle Data et piloter des flux ETL/ELT sur Databricks (Spark SQL, Python/PySpark, Scala).

Vous concevrez et optimiserez des pipelines, mettrez en place une architecture Lakehouse Delta Lake et assurerez qualité et sécurité des données, en collaboration avec les Data Analysts et les métiers. Profil requis: diplôme d'ingénieur et ≥3 ans d'expérience, maîtrise SQL et anglais, expérience CI/CD appréciée.

Qualifications

• Concevoir et développer des flux ETL/ELT sur Databricks avec Spark SQL et PySpark.
• Mettre en place des architectures Lakehouse Delta Lake et assurer qualité des données.
• Collaborer avec Data Analysts et métiers en mode Agile et documentation.
• Expérience 3 ans minimum en data engineering ou BI dans un cabinet/conseil.

Responsabilités

• Concevoir, développer et optimiser des flux de données ETL/ELT sur Databricks.
• Maintenir les architectures Lakehouse et assurer qualité et sécurité des données.
• Collaborer étroitement avec Data Analysts et Data Scientists et équipes métiers.
• Participer à la veille technologique et proposer des améliorations continues.

Connaissances

Databricks

Spark SQL

Python/PySpark

Scala

SQL

Power BI

CI/CD (Azure DevOps, GitLab CI, Jenkin

Formation

Diplôme d'ingénieur ou équivalent universitaire

Outils

Databricks

Airflow

Delta Lake

Git

Azure DevOps

GitLab CI

Jenkins

Spark

Description du poste

## Data Engineer Confirmé Databricks - F/HApplyremote type: Hybridelocations: Lyon, Francetime type: Full timeposted on: Posted Yesterdayjob requisition id: JR103179Contribuez aux grandes transformations des entreprises et des acteurs publics en alliant innovation technologique et expertise métier, au service de nos clients et de la société pour les faire avancer durablement. Au-delà de la RSE, nous avons développé notre propre approche, RESET, qui englobe l’ensemble de nos engagements en matière de responsabilité économique, sociale, environnementale et technologique, tant au sein de notre collectif que chez nos clients.Onepoint, est une entreprise inclusive, handi accueillante, avec une politique de diversité affirmée. **Attention : Ce poste est destiné à des candidats expérimentés (minimum 3 ans d'expérience depuis le diplôme).****Votre futur collectif :*** Communauté Auvergne - Rhône-Alpes* Collectif de 120 personnes* Une communauté multi expertises.* Un lieu d'échanges et de co création pour nos collaborateurs en plein cœur du centre-ville en face du métro Bellecour (Lyon) de 650 m2* Fort de nos multiples expertises et de notre ADN technologique, nous avons pour ambition de devenir l’acteur numérique incontournable de la région Auvergne -Rhône-Alpes**Vos nouveaux challenges pour ce poste :**Pour accompagner notre croissance au sein du collectif d’expertise en Data, nous recrutons un **Data Engineer Confirmé Databricks - F/H (minimum 3 ans d'expérience hors études).**En tant que **Data Engineer Confirmé Databricks - F/H**, vous intégrez notre pôle Data et vous jouez un rôle clé dans la conception, le développement et la maintenance de nos pipelines de données sur la plateforme Databricks. Vous contribuez directement à rendre la donnée accessible, fiable et performante pour supporter les décisions stratégiques de l'entreprise.À ce titre, vos missions incluront :* Concevoir, développer et optimiser des flux de données ETL/ELT robustes et scalables sur Databricks (en utilisant Spark SQL, Python/PySpark et Scala).* Mettre en place et maintenir des architectures data sur notre Lakehouse (Delta Lake).* Assurer la qualité, la cohérence et la sécurité des données traitées.* Collaborer étroitement avec les Data Analysts, Data Scientists et les équipes métiers pour comprendre leurs besoins et leur fournir les données adéquates.* Participer à la veille technologique et proposer des améliorations continues de nos plateformes et processus.* Documenter les développements et les architectures mises en place.* Travailler en mode Agile (Scrum/Kanban) au sein d'une équipe pluridisciplinaire.**Votre profil et les expertises que vous souhaitez développer :*** Vous êtes diplômé d’une école de commerce, école d'ingénieurs ou université et vous bénéficiez **d'une expérience de 3 ans minimum dans un cabinet de conseil depuis votre diplôme.*** Vous bénéficiez d’une **expérience professionnelle d'au moins 3 ans** dans le domaine de l’ingénierie de données ou la Business Intelligence.**Les plus qui feront la différence :*** Une bonne compréhension des concepts de la chaîne décisionnelle (décisionnelle (Data Warehousing, Data Modeling, Reporting).* Des compétences ou une expérience sur Power BI.* Les certifications Databricks.* Une familiarité avec Git et des outils de CI/CD (ex: Azure DevOps, GitLab CI, Jenkins).* Une appétence entrepreneuriale, notion ancrée dans l'ADN de Onepoint.* Vous bénéficiez d’une expérience pratique confirmée avec des outils ETL/ELT (ex: Talend, Informatica, SSIS, Airflow, ou idéalement Databricks Jobs/Workflows, ADF).* Vous maîtrisez SQL et au moins un langage de programmation orienté données : Scala (requis), Python/PySpark.* Vous avez de bonnes connaissances sur l'écosystème Databricks (Spark, Delta Lake, Clusters, Jobs) et de l’expérience avec un fournisseur Cloud (Azure, AWS ou GCP).* Votre capacité à travailler en équipe, à communiquer clairement et à être force de proposition n’est plus à prouver.* Vous êtes curieux techniquement, vous avez le sens de la rigueur et du service.* Vous maîtrisez le français et l’anglais.* Vous avez un esprit d’analyse et une capacité d’adaptation.* Autonome et proactif, vous êtes force de proposition. Vous disposez d'un véritable sens de la relation client.**Notre processus de recrutement*** 1er échange avec un recruteur : échange sur vos souhaits et motivations, et présentation de l'entreprise (durée : 45 min, Teams ou présentiel).* 2ème échange avec un expert ou une experte technique : questions techniques et descriptif de nos projets (durée : 1 heure, Teams ou présentiel).* 3e échange avec un ou une partner : projection sur votre rôle au sein de Onepoint (durée : 1 heure, Teams ou présentiel). **Onepoint en quelques mots**Créée en 2002 par David Layani, Onepoint est devenu en un peu plus de 20 ans l’un des acteurs majeurs du conseil et de la tech, notre collectif compte aujourd’hui plus de 4000 talents en France (Aix-en-Provence, Bordeaux, Lyon, Nantes, Paris, Rennes, Strasbourg et Toulouse) et dans le monde (Australie, Belgique, Canada, Etats-Unis, Angleterre, Malaisie, Maroc et Singapour). Notre chiffre d’affaires a été multiplié par dix en 10 ans, atteignant plus de 500 millions d’euros, et ambitionne le milliard d’euros d’ici 4 ans. **Notre promesse** **Un parcours sur mesure pour tous nos talents**Pour accompagner l’évolution de tous nos talents, nous proposons deux axes d’évolution complémentaires leur permettant de s’épanouir et de bénéficier des mêmes avantages : le business management et l’expertise. **L’école Onepoint pour développer vos expertises**Avec plus de 200 formations à son catalogue, notre école permet à nos talents de se former tout au long de leur vie professionnelle, en articulant travail et apprentissage. **Nos lieux de vie**Nos espaces de travail sont situés au cœur des territoires, au plus près de de nos talents de concilier projet de vie et projet professionnel. **Et bien plus encore ...**Notre écosystème permet de pratiquer de nombreuses activités loisirs et sportives (musique, photo, e-sport, yoga...) avec un cadre de travail flexible grâce à une charte de télétravail, et de prendre soin de tous (cabinet médical en libre accès, groupes de travail dédiés aux enjeux « égalité et pluralité » ...). Comme des images valent mieux que mille mots, découvrez notre ADN à travers cette vidéo : Nous sommes Onepoint