Data Engineer | Python, Databricks & Spark on AWS

skiils; Suresnes; Hybride; EUR 65 000 - 95 000; Plein temps

Avantages offerts par ce poste

Mutuelle

Titre de transport remboursé à 100%

Télétravail partiel

Projets à fort impact

Résumé du poste

Data Factorii recherche un Data Engineer Python / Databricks pour concevoir et faire évoluer des plateformes de données et des pipelines de traitement robustes.

Vous développerez des APIs d’ingestion en Python/Django et mènerez des traitements Big Data avec Spark et Databricks, tout en déployant sur AWS/Azure et en gérant des environnements Kubernetes. Télétravail partiel et projets à fort impact.

Qualifications

• 4 à 8 ans d'expérience en Data Engineer.
• Maîtrise Python, idéalement avec Django.
• Expérience sur Apache Spark et Databricks.
• Bonnes compétences SQL et PostgreSQL.
• Expérience des environnements AWS et/ou Azure.
• Bonne connaissance de Kubernetes (EKS), Rancher et architectures conteneurisées.
• Expérience des outils CI/CD (GitLab, Jenkins, Docker, Harbor).
• Connaissance des systèmes de messagerie (MQ).
• Méthodologies Agile / Scrum.

Responsabilités

• Développer et faire évoluer des plateformes de données.
• Concevoir des pipelines de traitement robustes.
• Développer des APIs et services d’ingestion en Python/Django.
• Réaliser des traitements Big Data avec Spark et Databricks.
• Contribuer à l’évolution des infrastructures Cloud sur AWS et Azure.
• Industrialiser les développements via CI/CD et DevOps.
• Collaborer avec les équipes Data, Développement et Infrastructure.

Connaissances

Python

Django

SQL

PostgreSQL

Spark

Databricks

Kubernetes

AWS

Azure

CI/CD

Outils

GitLab

Jenkins

Docker

Harbor

Rancher

Kubernetes (EKS)

MQ

Description du poste

Data Factorii recherche un Data Engineer Python / Databricks pour concevoir et faire évoluer des plateformes de données et des pipelines de traitement robustes.

Vous développerez des APIs d’ingestion en Python/Django et mènerez des traitements Big Data avec Spark et Databricks, tout en déployant sur AWS/Azure et en gérant des environnements Kubernetes. Télétravail partiel et projets à fort impact.