Cloud Data Engineer AWS / Streaming temps réel (H/F)

VISIAN; Marseille; On-site; EUR 70,000 - 100,000; Full time

Job summary

Visian recherche un ingénieur data senior pour concevoir et faire évoluer une architecture de streaming, et développer des pipelines de traitement en temps réel et batch avec Flink, Kafka et Kinesis.

Le poste implique le déploiement via CI/CD et Terraform, la migration vers AWS, et l’industrialisation de modèles ML exposés en API, en collaboration avec les équipes data science.

Qualifications

• Formation Bac+5 en informatique, data ou télécommunications.
• Au moins 5 ans d'expérience en data engineering avec AWS.
• Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis).
• Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données.
• Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus
• Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée
• Une certification AWS (Solutions Architect, Data Engineer) est un atout
• Anglais professionnel

Responsibilities

• Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données.
• Développer des pipelines de traitement temps réel et batch avec Flink, Spark et Iceberg.
• Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming.
• Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming).
• Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage.
• Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science.
• Assurer le monitoring, la fiabilité et la performance des traitements en production.

Education

Bac+5 en informatique / data / télécommunications

Tools

Apache Flink

Apache Kafka

Kinesis

Apache Spark

Apache Iceberg

Apache Airflow

MWAA

Snowflake

Terraform

Docker

CI/CD

Python

SQL

AWS S3

AWS Lambda

AWS EKS

AWS ECS

AWS EC2

AWS ECR

AWS IAM

IoT Core

MQTT

Job description

Vos missions

• Concevoir et faire évoluer une architecture de streaming pour la collecte, le traitement et l'analyse des données
• Développer des pipelines de traitement temps réel et batch avec Apache Flink, Apache Spark et Apache Iceberg
• Déployer les pipelines d'ingestion et de traitement en CI/CD et Infrastructure as Code, pour les environnements batch et streaming
• Participer à la migration et au refactoring de l'architecture historique vers AWS (Move to Cloud, ETL/ELT, batch et streaming)
• Contribuer à l'implémentation d'algorithmes de maintenance prédictive et de routage
• Industrialiser et exposer des modèles de Machine Learning sous forme d'API, en lien avec les équipes data science
• Assurer le monitoring, la fiabilité et la performance des traitements en production

Environnement technique

• Streaming et traitement : Apache Flink, Apache Kafka (MSK), Kinesis, Apache Spark, Apache Iceberg
• Orchestration : Apache Airflow (MWAA)
• Cloud AWS : S3, Lambda, EKS, ECS, EC2, ECR, IAM, IoT Core
• IoT : MQTT, données capteurs remontées par satellite
• Data warehouse : Snowflake
• DevOps / IaC : Terraform, Docker, CI/CD
• Langages : Python, SQL

Profil recherché

• Formation Bac+5 (école d'ingénieur ou master) en informatique, data ou télécommunications
• Au moins 5 ans d'expérience en data engineering, dont une part significative sur AWS
• Expérience solide des architectures streaming à forte volumétrie (Flink, Kafka ou Kinesis)
• Maîtrise de Terraform et des pratiques CI/CD appliquées aux pipelines de données
• Une expérience d'industrialisation de modèles ML (MLOps, mise en API, monitoring) est un vrai plus
• Une connaissance des données IoT ou industrielles (maintenance prédictive, capteurs) est appréciée
• Une certification AWS (Solutions Architect, Data Engineer) est un atout
• Anglais professionnel

Savoir-être

• Autonomie et sens des responsabilités sur des systèmes critiques en production
• Capacité à dialoguer avec les équipes métier pour traduire leurs besoins en solutions techniques
• Rigueur, goût de la performance et de la qualité de la donnée
• Esprit d'équipe et envie de partager ses pratiques

Informations pratiques

• Contrat : CDI chez Visian Azur
• Lieu : Marseille, présence régulière sur le site du client
• Démarrage : à définir ensemble
• Rémunération : selon profil et expérience