Data Ingénieur Databricks

AlgoviA; Lyon; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

AlgoviA recherche un Consultant Data Ingénieur pour renforcer l’équipe Pilotage et travailler sur l’intégration et la représentation des données métiers de la Gestion des Interventions, au sein du pôle SI Réseau Electrique.

Vous rejoindrez une équipe de Data Ingénieurs et spécialistes Data Visualisation, avec une forte orientation reporting et BI, et participerez à la conception et au déploiement de pipelines robustes et évolutifs.

Qualifications

• 2 à 4 ans d’expérience en Data Ingénieur/Data Bricks
• Maîtrise de SQL et PySpark
• Connaissance Databricks et création d’applications (Streamlit ou Dash)
• Expérience en gestion de bases de données et BI
• Certification Databricks appréciée
• Bonne autonomie et sens du métier

Responsabilités

• Concevoir, développer et maintenir des pipelines de données sur Databricks (SQL, PySpark)
• Créer des applications Databricks Apps avec Streamlit ou Dash
• Assurer qualité et intégrité des données et leur validation
• Participer à l’architecture des données et aux bonnes pratiques
• Documenter les processus et solutions développées

Connaissances

SQL

PySpark

Databricks

Python

Agile

Communication

Outils

Databricks

Power BI Service

AWS

Jira

Confluence

Gitlab

Description du poste

Description du poste

Nous recherchons un(e) consultant(e) Data Ingénieur (Databricks, PySpark et SQL) pour renforcer l’équipe Pilotage, en charge de l’intégration et de la représentation des données du métier de la Gestion des Interventions au sein du pôle SI Réseau Electrique.

Le consultant travaillera au sein d’un environnement dynamique et très évolutif en collaboration avec les équipes métiers, les représentants des utilisateurs et les équipes IT du projet.

Il fera partie d’une équipe de consultants Data Ingénieur et spécialistes de la Data Visualisation dans un contexte orienté Reporting et Business Intelligence.

Missions principales

• Concevoir, développer et maintenir des pipelines de données robustes et scalables sur Databricks (SQL, PySpark)
• Créer et améliorer des applications avec « Databricks apps » en utilisant les Framework Streamlit ou Dash,
• Assurer la qualité et l’intégrité des données à travers des processus de validation et de nettoyage,
• Participer à la définition des architectures de donnée,
• Participer à l’amélioration continue des bonnes pratiques,
• Documenter les processus et les solutions développées.

Profil recherché

Compétences techniques

• Expérience pratique avec la plateforme Databricks (notebooks, jobs, clusters, workspace),
• Maîtrise du langage SQL,
• Solides compétences en programmation dans un environnement Data avec Pyspark,
• Connaissances appréciées de Python Streamlit ou Dash,
• Expérience en gestion de bases de données relationnelles et en intégration de données,
• Connaissance de la modélisation de données (Business Intelligence),
• Maîtrise de la méthodologie agile,
• Expérience avec les outils de gestion de version (Gitlab).

Compétences Comportementales

• Capacité à travailler de manière autonome tout en collaborant avec le reste de l’équipe,
• Capacité à prendre du recul et à s’intéresser aux enjeux métiers,
• Réelles qualités relationnelles, sens de l’écoute,
• Bonnes capacités de communication, pédagogie pour collaborer avec des équipes non techniques.

Qualifications

• Expérience de 2 à 4 ans en tant que Consultant Data Ingénieur Data Bricks,
• Expérience de 2 à 4 ans en tant que Consultant Data Ingénieur en Python (Pyspark),
• Expérience appréciée dans la création d’applications les Framework python Streamlit ou Dash,
• Certification Databricks appréciée.

Environnement technique

• Databricks
• SQL
• Python
• PySpark
• Python Streamlit, Dash
• Power BI Service,
• AWS
• Jira / Confluence,
• Gitlab