Data Platform Engineer senior freelance (H/F)

Warren Walter; Paris; Sur place; EUR 90 000 - 130 000; Plein temps

Avantages offerts par ce poste

Spark on AWS (Glue/EMR)

Résumé du poste

Warren Walter recherche un Senior Data Platform Engineer pour concevoir et déployer une Data Platform à l’échelle européenne sur AWS. Vous travaillerez sur l’ingestion en temps réel, le stockage et l’industrialisation des données, tout en assurant la traçabilité et la qualité des données.

Le poste implique une collaboration avec diverses équipes Data et techniques à l’international, avec une vision Greenfield et une forte autonomie dans un contexte européen.

Qualifications

• Profil Senior, autonome et expérimenté dans la construction de plateformes Data sur AWS.
• Maîtrise des flux en temps réel et ingestion via Kinesis, stockage via S3 et interroétation via Athena.
• Conception/industrialisation d’architectures Data Lake/Lakehouse et étude du Data Mesh.

Responsabilités

• Concevoir et développer les composants de la Data Platform AWS.
• Mettre en place l’ingestion temps réel avec AWS Kinesis et l’industrialisation du stockage sur S3.
• Développer et maintenir l’infrastructure as code avec AWS CDK.
• Contribuer au Data Lineage, Data Catalogue et à la qualité des données.
• Collaborer avec les équipes Data et techniques à l’échelle internationale.

Connaissances

AWS Kinesis

Amazon S3

AWS CDK

Amazon Athena

Data Lake / Lakehouse

Medaillon Architecture

Real-time Ingestion

Data Quality

Data Lineage

Data Catalogue

Data Mesh

Outils

Spark on AWS

Description du poste

Dans le cadre de la création d’une Data Platform à l’échelle européenne, nous recherchons un(e) Senior Data Platform Engineer disposant d’une solide expertise des environnements Data sur AWS pour le démarrage d’une mission en Janvier 2027.

Vous interviendrez sur un projet structurant avec un objectif de construction et d’industrialisation d’une plateforme permettant de collecter, traiter, stocker et restituer des données à grande échelle, notamment en temps réel.

Vos missions

Au sein de l’équipe Data Platform, vous participerez activement à la conception et à la construction de la plateforme.

À ce titre, vous serez notamment amené(e) à :

• Concevoir et développer les différents composants de la Data Platform AWS
• Mettre en place des mécanismes d’ingestion de données en temps réel avec AWS Kinesis
• Concevoir et industrialiser le stockage des données sur Amazon S3
• Développer et maintenir l’infrastructure as code avec AWS CDK
• Mettre en place les mécanismes permettant l’interrogation et la restitution des données avec Amazon Athena
• Participer à la définition et à l’implémentation d’une architecture Médaillon
• Contribuer à la construction d’une architecture Lakehouse évolutive et industrialisée
• Participer aux problématiques de Data Quality, de traçabilité et de fiabilité des données
• Contribuer à la mise en œuvre du Data Lineage et du Data Catalogue
• Participer à la structuration et à l’application des principes Data Mesh
• Collaborer avec les différentes équipes Data et techniques dans un contexte international

Compétences recherchées

Nous recherchons un profil Senior, autonome et expérimenté dans la construction de plateformes Data sur AWS.

Compétences clés :

• AWS Kinesis – ingestion et traitement de flux de données
• Amazon S3 – stockage et organisation des données
• AWS CDK – Infrastructure as Code
• Amazon Athena – interrogation et restitution des données
• Très bonne compréhension des architectures Data Lake / Lakehouse
• Maîtrise des principes d’architecture Médaillon
• Expérience des problématiques d’ingestion temps réel
• Bonne maîtrise des enjeux de Data Quality
• Connaissance des problématiques de Data Lineage et de Data Catalogue
• Bonne compréhension des principes et architectures Data Mesh

Un vrai plus

Une expérience de Spark dans un environnement AWS, notamment avec AWS Glue ou Amazon EMR, sera particulièrement appréciée.

Vous avez une expérience significative en tant que Data Platform Engineer, Senior Data Engineer ou Cloud Data Engineer, avec une forte expertise AWS.Une expérience dans la construction ou l’évolution majeure d’une Data Platform, idéalement dans un contexte greenfield / from scratch, sera particulièrement pertinente pour cette mission.Au-delà de votre expertise technique, vous êtes capable de prendre du recul sur les choix d’architecture, de travailler en autonomie et de collaborer avec différentes équipes dans un environnement international.