Data Engineer - Modern Data Stack on Cloud Platforms

Orange Business; Lyon; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Orange Business recherche un Data Engineer pour concevoir et maintenir des pipelines d'ingestion et de transformation en Python et SQL, en mode batch et temps réel, sur des plateformes cloud (Azure, AWS, GCP). Vous industrialiserez les traitements via CI/CD et IaC et contribuerez aux projets IA/ML, tout en maîtrisant les coûts et les performances.

Le poste implique une collaboration avec les équipes data et métiers et une expérience confirmée sur le déploiement en environnement cloud et des

Qualifications

• Expérience 5 ans minimum en data engineering et production de pipelines dans le cloud.
• Maîtrise Python et SQL avancé.
• Connaissance des outils d’intégration: dbt, Spark/PySpark, Kafka, Nifi, Talend et équivalents.
• Orchestration: Airflow, Dagster, Prefect, Azure Data Factory.
• Connaissance des architectures cloud et hybrid cloud et notions FinOps, coût/performances.

Responsabilités

• Concevoir, développer et maintenir des pipelines d'ingestion et de transformation de données en Python et SQL.
• Mettre en oeuvre des Modern Data Platforms sur le cloud: Data Lake, Data Warehouse, zones raw/ cleansed/ business.
• Industrialiser les traitements : orchestration, CI/CD, tests, reprise sur erreur, déploiement via IaC.
• Mettre en place les contrôles de qualité de données et l’observabilité associée.
• Contribuer aux projets liés à la donnée et à l’IA (LLM chatbot, RAG, Azure AI/ML services).
• Optimiser les performances et les coûts des traitements (partitionnement, formats defichiers, FinOps), y compris architectures hybrides on-premise.

Connaissances

5+ ans data engineering

Python

SQL avancé

dbt

Spark / PySpark

Kafka / Kafka Connect

Nifi

Airbyte

Talend

Airflow

Dagster

Prefect

Azure Data Factory

Terraform

AWS CDK

Bicep

GitHub Actions

GitLab CI/CD

Jenkins

MLOps / AI platforms

Parquet / Delta Lake / Iceberg

Cloud hybride (on-premise)

Outils

dbt

Spark

Talend

Kafka Connect

Nifi

Airbyte

Airflow

Dagster

Prefect

Azure Data Factory

Terraform

AWS CDK

Bicep

GitHub Actions

GitLab CI/CD

Jenkins

Description du poste

Orange Business recherche un Data Engineer pour concevoir et maintenir des pipelines d'ingestion et de transformation en Python et SQL, en mode batch et temps réel, sur des plateformes cloud (Azure, AWS, GCP). Vous industrialiserez les traitements via CI/CD et IaC et contribuerez aux projets IA/ML, tout en maîtrisant les coûts et les performances.

Le poste implique une collaboration avec les équipes data et métiers et une expérience confirmée sur le déploiement en environnement cloud et des