Senior Data and AI Engineer - Databricks - Freelance (H/F)

Brief IA; Roubaix; On-site; EUR 70,000 - 100,000; Full time

Job summary

Brief IA recherche un profil Data Platform pour renforcer la Data Forge et opérer immédiatement sur une plateforme Lakehouse.

Vous contribuerez à concevoir, industrialiser et faire évoluer les pipelines ELT/ETL, garantir la qualité et la sécurité des données, et accélérer le reporting Power BI auprès des métiers.

Vous travaillerez avec Databricks, Delta Lake et Genie, et assurerez la gouvernance via Unity Catalog, tout en optimisant les coûts et la scalabilité.

Qualifications

• Maîtrise de Python et SQL pour développer et automatiser les pipelines data.
• Expertise Databricks / Delta Lake / Lakehouse pour l’ingestion et le traitement des données.
• Maîtrise Power BI et extension via PBIP/PBIT pour le reporting métier.

Responsibilities

• Construire, industrialiser et faire évoluer la plateforme Lakehouse.
• Accélérer le delivery tout en sécurisant qualité, gouvernance et reporting Power BI (PBIT/PBIP).
• Mettre en œuvre et maintenir les solutions data et IA sur la plateforme Lakehouse.
• Garantir robustesse, performance et sécurité des données pour les usages métiers et IA.
• Valoriser la donnée en couche Gold et développer le reporting Power BI près des métiers.
• Concevoir et optimiser des architectures data sur Databricks et maîtriser Unity Catalog, Workflows, Jobs, Notebooks.
• Superviser les tests, validations et mises en production en CI/CD.

Skills

Python

SQL

Power BI

Data modeling

Tools

Databricks

Delta Lake

Lakehouse

Genie

PowerBI

Python

Job description

CONTEXTE

Renforcement de la Data Forge sur un profil immédiatement opérationnel.

Missions

• Construire, industrialiser et faire évoluer la plateforme Lakehouse.
• Accélérer le delivery tout en sécurisant qualité, gouvernance et reporting PowerBI (PBIT/PBIP).
• Mettre en œuvre et maintenir la conception, l'industrialisation et l'évolution des solutions data et IA sur la plateforme Lakehouse.
• Garantir la robustesse, la performance, la sécurité et la qualité des données au service des usages métiers, analytiques et IA.
• Valoriser la donnée en couche Gold et développer le reporting Power BI au plus près des métiers.
• Construire les datasets / modèles nécessaires à des restitutions Power BI fiables, performantes et gouvernées.
• Concevoir et optimiser des architectures data sur Databricks.
• Maîtriser Delta Lake, Unity Catalog, Workflows, Jobs et Notebooks.
• Garantir performance, scalabilité et optimisation des coûts.
• Concevoir des modèles analytiques et décisionnels robustes.
• Définir faits, dimensions, granularité et historisation (SCD).
• Assurer cohérence, unicité et maintenabilité des modèles.
• Traduire les besoins métiers en structures data.
• Développer et fiabiliser des pipelines ELT/ETL.
• Superviser les tests, validations et mises en production en CI/CD.
• Exploiter Databricks avec Genie et LLMs ainsi que le développement PowerBI pour accélérer la production tout en maintenant un haut niveau d'exigence (qualité, sécurité, maintenabilité).
• Implémenter et superviser les contrôles de Data Quality.
• Structurer la gestion des anomalies et rejets.
• Diffuser les standards et collaborer étroitement avec PO, Architectes et Data Stewards.

OUTILS & ENVIRONNEMENT

• Expertise avancée Databricks / Delta Lake / Lakehouse / Genie.
• Maîtrise du développement augmenté par l'IA et les agents, génération de code, refactoring, tests, documentation.
• Maîtrise des langages de développement Python et SQL.
• Expertise PowerBI PBIT/PBIP.
• Pratique d'un framework agi