DATA ENGINEER - Confirmé F/H (IT) / Freelance

Smartpoint; Châtillon; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Smartpoint recherche un Data Engineer confirmé (Senior) avec forte expertise sur Azure, Databricks, Spark, Python et SQL. Le profil devra aussi maîtriser Power BI et avoir une sensibilité DevOps (CI/CD) avec Azure DevOps et Jira en mode Agile.

Une première mission dans la logistique est un plus. Le consultant concevra et construira des pipelines de données, développera des notebooks Databricks et optimisera un Cloud Data Warehouse, tout en rédigeant une documentation technique et en réalisant

Qualifications

• Expérience Data minimum 5 ans dans un contexte professionnel.
• Azure 3 ans minimum.
• Databricks 3 ans minimum.
• Spark 3 ans minimum.
• Python 5 ans minimum.
• SQL 5 ans minimum.
• Power BI 3 ans minimum.
• Connaissance CI/CD et Azure DevOps 3 ans minimum.
• Connaissance Jira et mode Agile ≥1 an.

Responsabilités

• Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake.
• Développement de notebooks Databricks pour des traitements avancés de données.
• Mise en œuvre de solutions de Cloud Data Warehousing et optimisation des requêtes SQL.
• Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes,...).
• Réalisation de revues de code dans une logique de qualité et de bonnes pratiques.
• Conception et exécution de tests unitaires.
• Réalisation des tableaux de bord sous Power BI.
• Livraison des développements dans un environnement DevOps avec CI/CD.

Connaissances

Data engineer

Azure

Databricks

Spark

Python

SQL

Power BI

CI/CD

Azure DevOps

Agile / JIRA

Outils

Azure DevOps

Databricks

Power BI

JIRA

Description du poste

Nous recherchons un profil polyvalent de Data Engineer confirmé / Senior, disposant d’une forte expertise sur Azure, Databricks, Spark, Python et SQL. Le profil recherché devra également avoir des compétences sur Power BI. Une première mission dans le domaine Supply Chain / Logistique constitueraient un plus. Le consultant aura notamment pour missions de :

• Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake
• Développement de notebooks Databricks pour des traitements avancés de données
• Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL)
• Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.)
• Réalisation de revues de code dans une logique de qualité et de bonnes pratiques
• Conception et exécution de tests unitaires
• Réalisation des tableaux de bord sous Power BI
• Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés.

Compétences techniques requises :

• Expérience Data minimum 5 ans
• Azure minimum 3 ans
• Databricks minimum 3 ans
• Spark minimum 3 ans
• Python minimum 5 ans
• SQL minimum 5 ans
• Power BI minimum 3 ans
• Maitrise de CI/CD, Azure DevOps minimum 3 ans
• Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an 4

- Aptitudes personnelles Force de proposition, rigueur, réactivité, bon relationnel