Senior Data Engineer

Novelus; Paris; Sur place; EUR 90 000 - 130 000; Plein temps

Résumé du poste

Novelus recherche un Senior Data Engineer/Architect rattaché au Head of Network Automation pour concevoir l'architecture globale des données, assurer l'évolutivité et la robustesse des solutions.

Vous supervisez les pipelines, mettez en œuvre la gouvernance des données et travaillez avec les data scientists et DevOps pour des performances optimales et une intégration fluide. Leadership technique et encadrement des équipes Data Engineers/Devs.

Qualifications

• Conception et gouvernance de l'architecture data à l'échelle.
• Supervision des pipelines et qualité des données.
• Collaboration avec data scientists et DevOps pour l'intégration.

Responsabilités

• Conception de l'architecture des lacs de données et entrepôts.
• Superviser le développement et l'optimisation des pipelines ETL et API.
• Mettre en œuvre les politiques de gouvernance et la traçabilité des données.
• Collaborer avec les équipes data science et DevOps pour l'intégration.
• Assurer le leadership technique et l'encadrement des équipes Data Engineers/Devs.

Connaissances

Leadership

Team collaboration

Observability

Data-driven decisions

Stakeholder management

Outils

Spark

Prefect

Airflow

Python

Kafka

ClickHouse

PostgreSQL

Kubernetes

CI/CD

Observability tools

Description du poste

Rattaché(e) au Head of Network Automation, le/la Senior Data Engineer / Architect est responsable de la conception de l'architecture globale des données, assurant l'évolutivité et la robustesse des solutions de données.

Il/elle supervise les efforts d'ingénierie des données, met en œuvre des politiques de gouvernance des données, et veille à la qualité et à la gestion des métadonnées.

Ce rôle implique également de travailler en étroite collaboration avec les équipes de data scientists et de DevOps pour assurer une intégration fluide et des performances optimales des solutions de données.

En plus, le rôle inclut un aspect de leadership technique en tant que Tech/Dev Lead. Il/elle assure la supervision technique de l'équipe et ou de la squad de Data Engineers/Devs, guide les meilleures pratiques de développement.

Votre rôle:

• Conception de l'architecture: Concevoir l'architecture des lacs de données et des entrepôts, en veillant à ce qu'elle soit évolutive et performante.
• Supervision de l'ingénierie des données: Superviser le développement et l'optimisation des pipelines de données, des API RESTful, et des processus ETL.
• Gouvernance des données: Mettre en œuvre des politiques de gouvernance des données, assurer la qualité des données et gérer les métadonnées.
• Collaboration technique: Travailler en collaboration avec les équipes de data science et de DevOps pour intégrer les solutions de données dans l'infrastructure existante.
• Leadership technique: Expérience en gestion technique d'équipes, résolution de problèmes techniques complexes, et encadrement des meilleures pratiques de développement.

Compétences techniques:

• Data Engineering : Maîtrise de Spark, Prefect (ou Airflow), Python, et des architectures data modernes (batch + streaming).
• Traitement temps réel : Connaissance de Kafka (souhaitée mais non obligatoire).
• Stockage & requêtes : Très bonne maîtrise pour le stockage et l’analyse de données à grande échelle (ClickHouse et PostgreSQL) ).
• Gouvernance & qualité : Sensibilité à la gestion du cycle de vie des données (qualité, catalogage, traçabilité, conformité).
• Data & IA Engineering : Expérience dans la mise en production de flux de données pour des cas d’usage IA/ML, y compris la préparation, la qualité et la supervision des datasets.
• Déploiement & orchestration : compétence appréciée en plus mais pas éliminatoire sur Kubernetes, CI/CD et les bonnes pratiques d’observabilité en production.
• Infra self-hosted : Capacité à faire évoluer des plateformes on-premises ou self-hosted (pas de dépendance forte au cloud public).

Compétences comportementales:

• Leadership technique, goût du travail en équipe et du partage de connaissances.
• Sens de la fiabilité, de la performance et de l’observabilité en environnement de production.
• Capacité à faire le lien entre besoins métiers, IA/ML et exigences techniques.