Senior Data & Analytics Engineer - Databricks / Python / R (IT) / Freelance

VISIAN; Paris; On-site; EUR 70,000 - 110,000; Full time

Job summary

VISIAN recherche un Senior Data & Analytics Engineer pour accompagner les équipes sur la conception, l’amélioration et l’industrialisation de solutions analytiques sur Azure Databricks. Vous serez chargé de soutenir les développeurs Python et R, d’optimiser le code et d’assurer la fiabilité des workloads et des pipelines.

Le poste met l’accent sur l’industrialisation des traitements, l’implémentation de bonnes pratiques et le respect des exigences réglementaires dans des environnements notamment

Qualifications

• Maîtrise de Python et R pour le développement et l’analyse.
• Connaissance pratique de Databricks et des environnements Spark.
• Compétences en qualité, traçabilité et gouvernance des données.

Responsibilities

• Support technique des développeurs Python et R.
• Revue et optimisation du code pour performance et maintenabilité.
• Industrialisation des traitements avec Databricks et pipelines ETL/ELT.
• Définition des bonnes pratiques et des standards de développement.
• Automatisation des déploiements (CI/CD) selon les standards.
• Garantie de qualité et gouvernance des données via Delta Lake et Unity Catalog.
• Optimisation des performances des traitements Spark et PySpark.
• Accompagnement des migrations vers Python ou SQL.
• Accompagnement au changement et diffusion des bonnes pratiques.
• Respect des exigences réglementaires dans les solutions analytiques.

Skills

Python programming

R programming

Data governance

DevOps / CI-CD

Tools

Databricks

Spark

PySpark

Delta Lake

Unity Catalog

CI/CD tooling

Job description

Dans un environnement orienté data et analytics, le Senior Data & Analytics Engineer intervient en tant qu’expert technique afin d’accompagner les équipes de développement dans la conception, l’amélioration et l’industrialisation de solutions de traitement et d’analyse de données sur Azure Databricks.

Ses principales missions sont les suivantes :

• Support technique : accompagner les développeurs Python et R dans la résolution de problématiques techniques et l’utilisation des technologies data.

• Revue et optimisation du code : analyser, relire, déboguer et améliorer le code existant afin d’en garantir la qualité, la performance et la maintenabilité.

• Industrialisation des traitements : fiabiliser et industrialiser les workloads Databricks, les pipelines de données et les processus ETL/ELT.

• Définition des bonnes pratiques : mettre en place des standards de développement, des modèles de code réutilisables et des stratégies de tests adaptées aux environnements de production.

• Automatisation des déploiements : contribuer à la mise en œuvre des processus d’intégration et de déploiement continus (CI/CD), conformément aux standards techniques établis.

• Qualité et gouvernance des données : garantir la qualité, la traçabilité et la cohérence des données, notamment à travers Delta Lake et Unity Catalog.

• Optimisation des performances : analyser et optimiser les traitements Spark et PySpark afin d’améliorer leur efficacité et leur robustesse.

• Accompagnement des migrations : évaluer la pertinence des migrations de traitements R vers Python ou SQL sur la base de critères objectifs, techniques et opérationnels.

• Accompagnement au changement : favoriser l’adoption des outils et des standards de développement, assurer le transfert de connaissances et diffuser les bonnes pratiques.

• Respect des exigences réglementaires : contribuer à la mise en œuvre de solutions analytiques fiables répondant aux exigences des environnements réglementés.