Senior Data Engineer - Databricks & Lakehouse

Cenova; Lille; Hybrid; EUR 65,000 - 90,000; Full time

Job summary

Cenova cherche un consultant Data Engineering expérimenté pour rejoindre l’équipe de Lille. Vous concevrez et optimiserez des architectures Data sur Databricks, en privilégiant les approches Lakehouse et Delta Lake, tout en développant des pipelines robustes et industrialisés.

Vous serez responsable de la traçabilité, de la qualité des données et du respect des délais, en collaboration étroite avec les Product Owners et les Architectes Data.

Qualifications

• Diplômé d'une école d’ingénieur ou d’un Master en informatique, Data Science, statistiques ou formation équivalente.
• Expérience significative en Data Engineering et environnements Data en production.
• Capacité autonome et proactivité avec les équipes métiers et IT.

Responsibilities

• Concevoir et optimiser des architectures Data sur Databricks.
• Concevoir et gérer des pipelines ETL/ELT et assurer leur industrialisation.
• Garantir la traçabilité, la qualité des données et la conformité.
• Collaborer avec Product Owners et Architectes Data.

Skills

Databricks

Lakehouse architectures

Python

SQL

Data modelling

Data pipelines

Git

CI/CD

Data Quality

Collaboration

Education

Ingénieur / Master informatique ou Data Science

Tools

Unity Catalog

Databricks Workflows/Jobs

Databricks Genie

Azure DevOps

Power BI

API integration

AI-assisted development

IAM agents

Job description

Selon les projets, vous serez notamment amené(e) à :

• Concevoir et optimiser des architectures Data sur Databricks

• Participer à la conception et à l’évolution de plateformes Lakehouse

• Exploiter les différents composants de l’écosystème Databricks : Delta Lake, Unity Catalog, Workflows, Jobs, Notebooks

• Travailler sur la performance, la scalabilité et l’optimisation des coûts

• Concevoir des modèles analytiques et décisionnels robustes

• Définir les faits, dimensions, granularités et mécanismes d’historisation

• Traduire les besoins métiers en modèles de données pérennes et maintenables

• Concevoir, développer et fiabiliser des pipelines ETL / ELT

• Mettre en place les tests et processus nécessaires à leur industrialisation

• Participer aux démarches CI/CD

• Mettre en œuvre des contrôles de Data Quality

• Structurer la gestion des anomalies et des rejets

• Garantir la traçabilité des données et contribuer aux démarches de data lineage

• Utiliser les outils de développement augmentés par l’IA pour accélérer la génération de code, le refactoring, les tests ou la documentation

• Collaborer avec des Product Owners, Architectes Data, Data Stewards, Data Analysts et équipes IT

• Participer à la définition et au partage des standards et bonnes pratiques Data

Selon vos envies, vous pourrez également contribuer aux sujets internes de Cenova : partage d’expertise, avant-vente, développement de nos offres ou travaux autour de notre Datalab.

Diplômé(e) d’une école d’ingénieur ou d’un Master en informatique, Data Science, statistiques ou formation équivalente, vous disposez d’une expérience significative en Data Engineering et avez déjà travaillé sur des environnements Data complexes en production.Nous recherchons un profil suffisamment expérimenté pour être autonome techniquement et force de proposition auprès des équipes avec lesquelles il travaille.COMPÉTENCES INDISPENSABLESExpertise avancée DatabricksTrès bonne maîtrise des architectures Lakehouse et Delta LakeTrès bonne maîtrise de PythonTrès bonne maîtrise de SQLSolides compétences en modélisation de donnéesExpérience dans le développement et l’industrialisation de pipelines DataGitCI/CDSensibilité forte aux problématiques de Data QualityCapacité à intervenir dans des environnements Data complexes et transversesSERONT PARTICULIÈREMENT APPRÉCIÉESUnity CatalogDatabricks Workflows / JobsDatabricks GenieAzure DevOpsPower BIAPIs et intégration de systèmesDéveloppement augmenté par l’IA et utilisation d’agents IAMéthodologies Agile / ScrumConnaissances ITILConnaissance de modèles métiers liés au secteur de retailAnglais professionnelCE QUE NOUS RECHERCHONS AVANT TOUTNous ne recherchons pas uniquement quelqu’un capable de développer des pipelines.Nous cherchons un(e) consultant(e) capable de comprendre pourquoi une donnée est modélisée d’une certaine manière, comment elle sera consommée et comment garantir sa qualité dans le temps.Vous êtes reconnu(e) pour :votre autonomie,votre rigueur technique,votre capacité de structuration,votre capacité à challenger une architecture ou une pratique existante,votre sens du collectif,votre capacité à collaborer avec des interlocuteurs techniques et métiers,votre goût pour la qualité et l’amélioration continue.Pourquoi rejoindre Cenova ?Rejoindre Cenova, c’est intégrer un cabinet à taille humaine où l’expertise technique, la proximité managériale et le partage de connaissances occupent une place centrale.Depuis notre agence de Lille, vous interviendrez auprès de grands comptes de la région sur des projets Data structurants et bénéficierez d’un accompagnement régulier dans votre évolution.Notre volonté : vous proposer des missions qui correspondent réellement à votre expertise et à la trajectoire que vous souhaitez donner à votre carrière.