Data engineer AWS Python Apache Iceberg

ALTEN Group; Friauville; Hybrid; EUR 70,000 - 110,000; Full time

Job summary

ALTEN recherche un Data Engineer senior pour concevoir et optimiser des pipelines ETL/ELT massifs. Vous utiliserez Kafka pour le streaming, Iceberg pour le stockage optimisé et AWS (Glue, Lambda, EMR, Kinesis) pour l’orchestration et l’informatique sans serveur.

Vous interviendrez sur JSON, Parquet et Avro, assurerez la qualité et la sécurité des données (chiffrement, IAM, RGPD), et collaborerez en mode DevOps (Docker/Kubernetes, Terraform).

Qualifications

• Formation Bac+5 en informatique, data science, mathématiques appliquées ou école d’ingénieur.
• Expérience minimum 6 ans en Data Engineering avec expertise sur AWS, Python, Kafka, Iceberg et JSON.
• Compétences en formats de données JSON, Parquet, Avro, SQL avancé et bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
• Bonnes capacités de communication en français et anglais.

Responsibilities

• Concevoir, développer et maintenir des pipelines ETL/ELT massifs (batch et streaming).
• Utiliser Apache Kafka pour le streaming en temps réel.
• Implémenter Iceberg pour un stockage optimisé (ACID, time travel, partitionnement).
• Automatiser les processus de traitement de données à grande échelle.
• Travailler avec JSON, parsing, validation et transformation.
• Optimiser les pipelines sur AWS (Glue, Lambda, EMR, Kinesis).
• Mettre en place la qualité des données (validation, monitoring, alerting).
• Intégrer sources hétérogènes (APIs, bases de données, fichiers).
• Collaborer avec DevOps pour déployer en cloud AWS.
• Effectuer tests et validations, documenter architectures et bonnes pratiques.
• Assurer la sécurité des données (chiffrement, IAM, RGPD).
• Veille technologique et innovation; proposer des optimisations et formations.
• Accompagner des consultants juniors sur Python, Kafka, Iceberg; soutenir les équipes commerciales.

Skills

AWS

Python

Apache Kafka

Apache Iceberg

JSON

Parquet

Avro

SQL avancé

Docker

Kubernetes

Terraform

Anglais courant

Français courant

Education

Bac+5 en informatique, data science, mathématiques appliquées ou école d’ingénieur

Tools

AWS

Job description

1. Conception et développement de pipelines de données

• Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).
• Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
• Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).
• Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

• Travailler avec des formats de données JSON (parsing, validation, transformation).
• Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).
• Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).
• Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).
• Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS).
• Participer à la mise en place de tests et de validations pour garantir la qualité des données.
• Documenter les processus, les architectures et les bonnes pratiques.
• Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).

4. Veille technologique et innovation

• Suivre les avancées technologiques en Data Engineering (ex : évolutions d’Apache Iceberg, nouvelles fonctionnalités AWS).
• Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).
• Participer à des ateliers ou formations pour monter en compétences.

Missions internes (expertise & contribution)

• Contribuer à la veille technologique et au benchmark des outils et méthodologies.
• Participer à l’amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).
• Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg.
• Soutenir les équipes commerciales en amont des réponses aux appels d’offres.

Profil recherché

• Formation : Bac+5 en informatique, data science, mathématiques appliquées ou école d’ingénieur.
• Expérience : 6 ans minimum en Data Engineering, avec une expertise avérée sur :
  • AWS (services data et serverless).
  • Python (développement de pipelines, scripts d’automatisation).
  • Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).
  • Apache Iceberg (création et gestion de tables, optimisation des requêtes).
  • JSON (manipulation avancée, schémas, validation).
• Compétences techniques :
  • Maîtrise des formats de données (JSON, Parquet, Avro).
  • Expérience en modélisation de données et en SQL avancé.
  • Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
• Capacité à travailler en équipe pluridisciplinaire.
• Rigueur, curiosité et esprit d’innovation.
• Bonne communication technique et pédagogique (en français et anglais courant).