Data Engineer Python - Freelance

Recruteur confidentiel; Paris; Sur place; EUR 80 000 - 105 000; Plein temps

Résumé du poste

Collective.work à Paris recherche un Data Engineer Python en freelance pour concevoir et industrialiser des pipelines de données, avec des volumes importants et des contrôles qualité. Vous utiliserez Polars et/ou Dask, travaillerez sur Parquet/CSV/JSON, et mettrez en œuvre des transformations tout en garantissant traçabilité et conformité avec les équipes Sécurité et Conformité.

Le poste s'exerce à Paris en freelance avec un TJM autour de 500 €, et implique collaboration avec les équipes métiers

Qualifications

• Maîtrise avancée de Python et écosystème data.
• Expérience pratique avec Polars et/ou Dask.
• Conception de pipelines fiables et reproductibles.
• Maîtrise des formats Parquet, CSV, JSON.
• Tests automatisés et contrôle qualité des données.
• Versionnement avec Git et déploiement containerisé.

Responsabilités

• Concevoir et maintenir des pipelines de données en Python.
• Traiter de gros volumes avec Dask et Polars selon les cas.
• Mettre en œuvre les transformations et anonymisation.
• Assurer traçabilité et qualité des données.
• Participer à l’intégration continue et tests.
• Collaborer avec les équipes Data, Sécurité et Conformité.

Connaissances

Python

Data pipelines

Data quality tests

Git

Collaborations

Outils

Polars

Dask

Parquet

CSV

JSON

Containers

Orchestrators

Description du poste

Data Engineer Python - Freelance (H/F)

Collective.work, Paris, freelance. Taux journalier (TJM) : 500 €.

Dans le cadre d'un projet de mise à disposition de données à des fins d'analyse, de test ou de développement, vous contribuez à concevoir et industrialiser des traitements de préparation et d'anonymisation de données. Vous veillez à leur qualité, leur traçabilité et leur exécution à l'échelle.

Les objectifs et critères d'anonymisation sont définis avec les interlocuteurs compétents, notamment le DPO et les équipes Conformité et Sécurité. La pseudonymisation ne doit pas être assimilée à l'anonymisation.

Missions principales

• Concevoir, développer et maintenir des pipelines de données en Python.
• Traiter des volumes importants à l'aide de Dask et Polars, en évaluant leur pertinence selon les cas d'usage.
• Mettre en œuvre les transformations définies dans le cadre du projet : suppression ou transformation de champs, généralisation, agrégation ou autres techniques retenues.
• Contribuer à la détection des données directement ou indirectement identifiantes, en coordination avec les experts concernés.
• Développer des contrôles automatisés : schéma, qualité, cohérence, complétude et détection de régressions.
• Mesurer les performances des traitements et optimiser leur consommation de ressources.
• Assurer la traçabilité des traitements, des versions de code et des jeux de données produits.
• Documenter les règles de transformation, les limites connues et les résultats des contrôles.
• Participer aux revues de code, aux tests et à l'intégration continue.
• Collaborer avec les équipes métiers, Data, Sécurité, Conformité et Protection des données.

Compétences techniques requises

• Très bonne maîtrise de Python et de l'écosystème data associé.
• Expérience pratique de Polars et/ou Dask ; capacité à comparer leurs usages et leurs performances.
• Maîtrise des traitements de données tabulaires et des formats courants : Parquet, CSV, JSON.
• Pratique de la conception de pipelines fiables et reproductibles.
• Maîtrise des tests automatisés, du contrôle de qualité des données et du versionnement avec Git.
• Connaissance des environnements de déploiement et d'exécution industrialisés : conteneurs, ordonnanceurs ou plateformes distribuées selon l'environnement du projet.
• Sensibilité aux enjeux de protection des données, de minimisation des accès et de sécurisation des environnements.

Ce qui te ferait sortir du lot (côté sécurité)

Zeroday : sur un poste comme celui-ci, ce qui fait la différence côté sécurité :

• ne jamais faire transiter de données identifiantes réelles vers les environnements de développement ou de test : c'est l'anonymisation en amont qui rend ces environnements sûrs ;
• gérer les identifiants d'accès (bases, API) hors du code, dans un gestionnaire de secrets, jamais en clair dans un dépôt Git ou figés dans une image ;
• tracer les accès aux jeux de données (qui a lu quoi, quand), pas seulement les versions du code ;
• restreindre les droits au strict nécessaire sur chaque environnement, et le vérifier régulièrement plutôt qu'une fois par an.