Data Engineer Aws Python Apache Iceberg H/F

ALTEN; Boulogne-Billancourt; On-site; EUR 70,000 - 120,000; Full time

Job summary

ALTEN recrute un Data Engineer expérimenté pour concevoir, développer et optimiser des pipelines de données scalables sur AWS. Maîtrise Python, JSON, Kafka et Iceberg, avec une approche orientée performance et fiabilité.

Travail en équipe pluridisciplinaire et responsabilités allant de l’ingénierie à l’industrialisation. Le candidat idéal possédera 6 ans d’expérience en Data Engineering, maîtrise des flux en temps réel et des pratiques DevOps (Docker, Kubernetes, Terraform).

Qualifications

• Diplôme Bac+5 en informatique, data science, mathématiques appliquées ou école d'ingénieur.
• Expérience: 6 ans minimum en Data Engineering, avec une expertise sur AWS (services data et serverless).
• Python (développement de pipelines, scripts d'automatisation).
• Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).
• Apache Iceberg (création et gestion de tables, optimisation des requêtes).
• JSON (manipulation avancée, schémas, validation).
• Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
• Soft skills : Travail en équipe pluridisciplinaire. Rigoureux, curiosité et esprit d'innovation. Bonne communication technique et pédagogique (français et anglais courant).

Responsibilities

• Concevoir et développer pipelines de données ETL/ELT (batch et streaming) et garantir leur fiabilité.
• Utiliser Kafka pour les flux en temps réel et Iceberg pour le stockage optimisé.
• Optimiser les pipelines sur AWS (Glue, Lambda, EMR, Kinesis) et assurer la sécurité et la qualité des données.
• Collaborer avec DevOps et autres équipes, documenter les architectures et les bonnes pratiques.

Skills

Rigueur

Curiosité

Esprit d'innovation

Bonne communication

Education

Bac +5 en informatique ou équivalent

Tools

AWS

Python

Apache Kafka

Apache Iceberg

JSON

Parquet

Avro

Docker

Kubernetes

Terraform

Job description

Les missions du poste

Alten, la maison des ingénieurs : qui sommes-nous ?

Fort de plus de 35 ans d'expérience, le groupe Alten est présent dans plus de 30 pays. Avec ses 54 000 collaborateurs, dont 88 % d'ingénieurs, Alten s'impose aujourd'hui comme un acteur international de référence et un leader sur son marché.

Attaché au bien-être de ses collaborateurs, le groupe a été certifié Top Employer pour la 12 année consécutive. Cette reconnaissance repose sur un audit exigeant mené par le Top Employer Institute, évaluant plus de 600 pratiques RH, garantissant un environnement de travail de qualité pour tous.

Pourquoi nous rejoindre ?

• Un engagement RSE fort : nos équipes contribuent à des projets porteurs de sens, tournés vers un avenir durable. Alten est notamment engagé dans plusieurs initiatives environnementales telles que Planet Tech'Care, la Charte de l'ingénierie ou encore le Climate Ambition Accelerator.
• Le développement des compétences au cœur de notre stratégie : nous accompagnons chaque collaborateur dans sa montée en compétences tout au long de votre parcours carrière.
• Une culture d'entreprise dynamique : événements fédérateurs, actions solidaires, webinaires innovation, challenges variés... Faites l'expérience d'un environnement stimulant où vous pourrez partager vos talents et vos passions.

Contexte de la mission

Dans le cadre de projets data à forte valeur ajoutée pour nos clients, vous interviendrez en tant que Data Engineer pour concevoir, développer et optimiser des pipelines de données scalables sur AWS. Votre expertise en Python, JSON, Kafka et Apache Iceberg sera essentielle pour garantir la robustesse, la performance et l'évolutivité des solutions mises en place.

Vous serez amené à travailler sur des architectures data-driven, en collaboration avec des équipes pluridisciplinaires (Data Scientists, DevOps, métiers), pour répondre aux enjeux de traitement en temps réel, de stockage optimisé et d'analytique avancée.

Missions principales

1. Conception et développement de pipelines de données

• Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).
• Utiliser Apache Kafka pour la gestion des flux de données en temps réel.
• Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).
• Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

• Travailler avec des formats de données JSON (parsing, validation, transformation).
• Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).
• Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).
• Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).

3. Collaboration et industrialisation

• Collaborer avec les équipes DevOps pour déployer et maintenir les solutions data en environnement cloud (AWS).
• Participer à la mise en place de tests et de validations pour garantir la qualité des données.
• Documenter les processus, les architectures et les bonnes pratiques.
• Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).

4. Veille technologique et innovation

• Suivre les avancées technologiques en Data Engineering (ex : évolutions d'Apache Iceberg, nouvelles fonctionnalités AWS).
• Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).
• Participer à des ateliers ou formations pour monter en compétences.

Missions internes (expertise & contribution)

• Contribuer à la veille technologique et au benchmark des outils et méthodologies.
• Participer à l'amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).
• Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg.
• Soutenir les équipes commerciales en amont des réponses aux appels d'offres.

Le profil recherché

Profil recherchéFormation : Bac +5 en informatique, data science, mathématiques appliquées ou école d'ingénieur.Expérience : 6 ans minimum en Data Engineering, avec une expertise avérée sur :AWS (services data et serverless).Python (développement de pipelines, scripts d'automatisation).Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).Apache Iceberg (création et gestion de tables, optimisation des requêtes).JSON (manipulation avancée, schémas, validation).Compétences techniques :Maîtrise des formats de données (JSON, Parquet, Avro).Expérience en modélisation de données et en SQL avancé.Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).Soft skills :Capacité à travailler en équipe pluridisciplinaire.Rigueur, curiosité et esprit d'innovation.Bonne communication technique et pédagogique (en français et anglais courant).

Bienvenue chez ALTEN

Alten, la maison des ingénieurs : qui sommes-nous ?

Fort de plus de 35 ans d'expérience, le groupe Alten est présent dans plus de 30 pays. Avec ses 54 000 collaborateurs, dont 88 % d'ingénieurs, Alten s'impose aujourd'hui comme un acteur international de référence et un leader sur son marché.

Attaché au bien-être de ses collaborateurs, le groupe a été certifié Top Employer pour la 12 année consécutive. Cette reconnaissance repose sur un audit exigeant mené par le Top Employer Institute, évaluant plus de 600 pratiques RH, garantissant un environnement de travail de qualité pour tous.

Pourquoi nous rejoindre ?

• Un engagement RSE fort : nos équipes contribuent à des projets porteurs de sens, tournés vers un avenir durable. Alten est notamment engagé dans plusieurs initiatives environnementales telles que Planet Tech'Care, la Charte de l'ingénierie ou encore le Climate Ambition Accelerator.
• Le développement des compétences au cœur de notre stratégie : nous accompagnons chaque collaborateur dans sa montée en compétences tout au long de votre parcours carrière.
• Une culture d'entreprise dynamique : événements fédérateurs, actions solidaires, webinaires innovation, challenges variés... Faites l'expérience d'un environnement stimulant où vous pourrez partager vos talents et vos passions.

Contexte de la mission

Dans le cadre de projets data à forte valeur ajoutée pour nos clients, vous interviendrez en tant que Data Engineer pour concevoir, développer et optimiser des pipelines de données scalables sur AWS. Votre expertise en Python, JSON, Kafka et Apache Iceberg sera essentielle pour garantir la robustesse, la performance et l'évolutivité des solutions mises en place.

Vous serez amené à travailler sur des architectures data-driven, en collaboration avec des équipes pluridisciplinaires (Data Scientists, DevOps, métiers), pour répondre aux enjeux de traitement en temps réel, de stockage optimisé et d'analytique avancée.

Profil recherché

• Formation : Bac +5 en informatique, data science, mathématiques appliquées ou école d'ingénieur.
• Expérience : 6 ans minimum en Data Engineering, avec une expertise avérée sur :
  • AWS (services data et serverless).
  • Python (développement de pipelines, scripts d'automatisation).
  • Apache Kafka (conception de topics, producteurs/consommateurs, Kafka Connect).
  • Apache Iceberg (création et gestion de tables, optimisation des requêtes).
  • JSON (manipulation avancée, schémas, validation).
• Compétences techniques :
  • Maîtrise des formats de données (JSON, Parquet, Avro).
  • Expérience en modélisation de données et en SQL avancé.
  • Connaissance des bonnes pratiques DevOps (Docker, Kubernetes, Terraform).
• Soft skills :
  • Capacité à travailler en équipe pluridisciplinaire.
  • Rigueur, curiosité et esprit d'innovation.
  • Bonne communication technique et pédagogique (en français et anglais courant).