Data Engineer - Lyon

KOMEET TECHNOLOGIES; Lyon; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Komeet Technologies recherche un Data Engineer pour rejoindre son équipe à Lyon. Vous serez responsable de l'animation d'ateliers, de la conception et mise en œuvre de solutions Data avec Databricks, ainsi que de l'intégration de données. Le candidat idéal doit maîtriser des langages de programmation et posséder une bonne expérience sur des plateformes cloud comme AWS, Azure ou GCP. Autonomie, sens de l'analyse et bonnes compétences en Business Intelligence sont essentiels.

Qualifications

• Maîtrise d'un langage de programmation pour l'analyse de données.
• Expérience avec un des Cloud Providers (AWS, Azure, GCP).
• Compétences en architecture des systèmes et en méthodologies d'analyse.

Responsabilités

• Animer des ateliers pour étudier les besoins clients.
• Conception et mise en œuvre de solutions Data avec Databricks.
• Tests, validation et documentation des développements.

Connaissances

Spark

Python

Java

Architecture des systèmes

Big Data

Machine Learning

DevOps

Formation

Certification Databricks Certified Data Engineer Associate

Outils

Talend

DataBricks

Snowflake

AWS

Azure

GCP

Description du poste

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d?étudier et cadrer les besoins clients Préconisation, conception et mise en ?uvre des plateformes Data (datawarehouse, datalake / lakehouse ) Rédaction de dossiers d?architecture et spécifications techniques Mise en ?uvre des stratégies d?exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l?aide de langage de programmation ou d?outils de type Low-Code Mis en ?uvre des flux d?intégration (en batch ou streaming) de données structurées / non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d?optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP Profil candidat : Tu corresponds au / à la Data Engeneer que nous recherchons si? : - Tu maîtrises au minimum un langage de programmation appliqué à l?analyse de données (Spark, Python, Java ). - Tu possèdes une bonne expérience sur au moins un des Cloud Providers principaux (AWS, Azure, GCP) et les services Data associés. - Tu as de bonnes compétences dans l?architecture des systèmes, bases de données, méthodologies d?analyse. - Maîtrise des data design pattern et principalement le modèle médaillon - Tu maîtrises les fondamentaux DevOps (CI / CD) et as au moins une expérience dans ce domaine - Tu maîtrise la mise en place de pipeline et l?orchestration des workflows dans Databricks - Tu es sensible à la Business Intelligence, au Big Data et au Machine Learning - Tu es autonome et sais travailler en équipe notamment dans des contextes Scrum / Agile - Enfin, tu sais être force de proposition et as un esprit de synthèse. - Une certification Databricks Certified Data Engineer Associate est un plus Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d?étudier et cadrer les besoins clients en collaboration avec le Data Platform Architect - Analyser, conseiller, et faire des recommandations de façon à améliorer l?efficience et l?efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en ?uvre du LakeHouse Databricks - Rédaction de dossiers d?architecture et spécifications techniques - Mise en ?uvre des stratégies d?exploitation de la plateforme Databricks - Mis en ?uvre des flux d?intégration (en batch ou streaming) de données structurées / non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d?audits et projets d?optimisation

Créer une alerte emploi pour cette recherche

Data Engineer • Lyon, Auvergne-Rhône-Alpes, France