Lead Data Engineer (IT) / Freelance

SThree plc

Paris

On-site

EUR 90,000 - 135,000

Full time

3 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

SThree plc à Paris recherche un Senior Data Engineer / Data Engineering Tech Lead pour construire des pipelines de données industrielles, assurer la qualité, la traçabilité et la disponibilité des datasets utilisés 24/7.

Le poste combine expertise hands-on et leadership technique. Vous concevrez et déploierez des architectures data et travaillerez avec les équipes produit et les partenaires pays pour garantir l’évolutivité et la fiabilité des solutions OneB2B.

Qualifications

  • Expérience en ingénierie de données et pipelines.
  • Capacité à concevoir des architectures data évolutives et fiables.
  • Connaissance des notions de traçabilité et de qualité des données.

Responsibilities

  • Contribuer à l’architecture data de bout en bout et documenter les flux de données.
  • Concevoir et développer des pipelines d’ingestion à partir de bases de données, APIs REST et jeux de données internes.
  • Mettre en œuvre des traitements batch et, si nécessaire, du streaming/temps réel.
  • Gérer les évolutions de schémas, la latence et les backfills.
  • Assurer traçabilité, observabilité et sécurité des données et travailler avec les équipes Data Platform et métiers.

Skills

Data architecture
Data pipelines
Batch processing
Streaming
Observability
Data quality
Security by design
Git
CI/CD
Stakeholder collaboration

Tools

REST APIs

Job description

Le Senior Data Engineer / Data Engineering Tech Lead est responsable des fondations d’ingénierie permettant de rendre les données du programme 24/7 exploitables, fiables et évolutives.

Il s’agit d’un poste d’ingénieur senior très opérationnel (hands-on) avec des responsabilités limitées de leadership technique. Ce n’est pas un poste généraliste de développement logiciel .NET. L’accent est mis sur la construction de pipelines de données de qualité industrielle : ingestion, transformation, qualité des données, traçabilité (lineage), observabilité et mise à disposition sécurisée de produits de données et de jeux de données prêts pour les calculs.

Le rôle consiste à orienter les choix techniques et les standards d’ingénierie tout en continuant à concevoir et développer directement les composants critiques.

Au sein de l’équipe produit 24/7, le/la titulaire du poste collaborera étroitement avec le Product Owner, les Business Analysts, les développeurs, les architectes, les équipes Data Platform et les parties prenantes métiers dans les différents pays.

Il/elle doit être capable de fournir des solutions tactiques à court terme tout en conservant une vision claire de l’architecture cible et des capacités réutilisables OneB2B.

Responsabilités principales
A. Architecture Data et intégration des sources
  • Contribuer à l’architecture data de bout en bout et documenter les flux de données actuels et cibles, les interfaces, dépendances et responsabilités.

  • Concevoir et développer des pipelines d’ingestion à partir de :

    • Bases de données ;

    • APIs REST ;

    • Jeux de données internes ;

    • Flux partenaires ;

    • Échanges de fichiers sécurisés.

  • Intégrer des données hétérogènes provenant de différents pays en isolant les spécificités de chaque source via des connecteurs réutilisables.

  • Mettre en œuvre des traitements batch et, lorsque nécessaire, des flux quasi temps réel ou de streaming.

  • Gérer :

    • Les évolutions de schémas ;

    • Les données arrivant en retard ;

    • Les rejouabilités (replay) ;

    • L'idempotence ;

    • Les backfills ;

    • Les données en erreur.

  • Collaborer avec les équipes plateforme pour déterminer s’il convient de réutiliser un produit de données existant plutôt que de créer une copie locale.

B. Ingénierie des séries temporelles et modélisation des données
  • Concevoir des structures évolutives pour gérer de gros volumes de données temporelles :

    • Consommation client ;

    • Production d’actifs énergétiques.

  • Définir et maintenir les modèles de référence (canonical models) pour :

    • Client ;

    • Site ;

    • Point de comptage ;

    • Contrat ;

    • Actif ;

    • Allocation ;

    • Certificat ;

    • Série temporelle ;

    • Résultat de matching ;

    • Période de reporting.

  • Appliquer les modèles de données adaptés aux usages :

    • Opérationnels ;

    • Analytiques ;

    • Jeux de données de calcul.

  • Gérer les problématiques liées :

    • Aux fuseaux horaires ;

    • Aux changements d’heure ;

    • Aux granularités temporelles ;

    • Aux unités de mesure ;

    • Aux données manquantes ;

    • Aux doublons ;

    • Aux corrections versionnées.

  • Optimiser le stockage, le partitionnement, l’indexation et les performances selon les volumes réellement observés et les règles de rétention.

C. Transformation des données et moteur de calcul
  • Développer des transformations testées permettant de standardiser les données sources en courbes de consommation et de production prêtes pour les calculs.

  • Alimenter le Hourly Matching Score et les indicateurs clients associés via des datasets reproductibles et versionnés.

  • Collaborer avec les experts métiers pour transformer les règles de calcul en spécifications techniques et tests automatisés.

  • Garantir la distinction entre :

    • Les mesures opérationnelles provisoires ;

    • Les résultats validés ou certifiés.

D. Qualité des données, traçabilité et observabilité
  • Mettre en place des contrôles automatisés sur :

    • La complétude ;

    • La validité ;

    • La fraîcheur ;

    • L’unicité ;

    • La cohérence ;

    • L’intégrité référentielle.

  • Définir des mécanismes de rapprochement entre :

    • Les données sources ;

    • Les données ingérées ;

    • Les données transformées ;

    • Les données restituées.

  • Assurer une traçabilité complète de bout en bout :

    • Origine des données ;

    • Versions des transformations ;

    • Versions des calculs ;

    • Métadonnées d’exécution.

  • Construire des tableaux de bord de supervision couvrant :

    • La fraîcheur des données ;

    • Les échecs de pipelines ;

    • Les enregistrements rejetés ;

    • Le respect des SLA.

  • Participer à l’analyse des incidents, à l’identification des causes racines et à la prévention de leur récurrence.

E. Ingénierie, sécurité et opérations
  • Utiliser les bonnes pratiques de développement :

    • Git ;

    • Revue de code ;

    • Tests automatisés ;

    • CI/CD.

  • Contribuer aux démarches Infrastructure as Code avec les équipes DevOps.

  • Appliquer les principes de sécurité "by design" :

    • Gestion des secrets ;

    • Chiffrement ;

    • Gestion des droits au moindre privilège ;

    • Séparation des environnements ;

    • Protection des données clients.

  • Produire :

    • Un code maintenable ;

    • Des runbooks ;

    • Des ADR (Architecture Decision Records) ;

    • Des contrats de données ;

    • Une documentation opérationnelle.

  • Participer aux cérémonies Agile tout en pilotant un backlog technique dédié à :

    • La fiabilité ;

    • L’évolutivité ;

    • La dette technique.

Attentes en leadership technique
  • Être la référence technique Data de l’équipe 24/7 tout en restant fortement impliqué dans :

    • La conception ;

    • Le développement ;

    • Les tests ;

    • Le support de production.

  • Définir les standards d’ingénierie pour :

    • L’ingestion ;

    • Les transformations ;

    • Les tests ;

    • Le déploiement ;

    • Le monitoring ;

    • Les mécanismes de reprise.

  • Animer les revues techniques et revues de code.

  • Accompagner les développeurs travaillant sur les flux de données sans assurer un rôle de manager hiérarchique.

  • Remettre en question les duplications inutiles et promouvoir la réutilisation des composants de plateforme.

  • Transformer des exigences ambiguës en feuilles de route techniques structurées.

  • Être responsable des décisions non fonctionnelles liées à :

    • La scalabilité ;

    • La disponibilité ;

    • La sécurité ;

    • L’exploitabilité ;

    • La maintenabilité ;

    • Les coûts.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Lead Tech à Niort - expérience > 10 ans
Lead Tech à Niort - expérience > 10 ans

AIS • Niort

On-site
EUR 60,000 - 95,000
Platform Engineer H/F
Platform Engineer H/F

Somfy • Cluses

On-site
EUR 75,000 - 110,000
Head of Engineering H/F
Head of Engineering H/F

Manutan • Gonesse

On-site
EUR 120,000 - 170,000
Head of Data (IT) / Freelance
Head of Data (IT) / Freelance

SThree plc • Paris

On-site
EUR 120,000 - 180,000
Engineering Manager
Engineering Manager

Xpollens • Paris

On-site
EUR 90,000 - 130,000
Tech Lead Fullstack Java Angular
Tech Lead Fullstack Java Angular

Propulse IT • Paris

On-site
EUR 70,000 - 110,000
Tech lead Qualité Logiciel et Plateforme H/F
Tech lead Qualité Logiciel et Plateforme H/F

Lefebvre Dalloz • Courbevoie

On-site
EUR 90,000 - 130,000
Ingénieur DevOps / Infrastructure
Ingénieur DevOps / Infrastructure

VISIAN • Paris

On-site
EUR 65,000 - 90,000
Consultant junior en Transformation Digitale (H/F)
Consultant junior en Transformation Digitale (H/F)

Devoteam • France

Hybrid
EUR 32,000 - 44,000
Mentorship
Formations sur-mesure
Certification programs
+1
Consultant Gestion de crise cyber H/F
Consultant Gestion de crise cyber H/F

Devoteam • France

Hybrid
EUR 65,000 - 95,000
Plan de formation continue
Équipe Cybersécurité internationale