Data Engineer | Databricks, AWS & Spark

skiils; Suresnes; Hybride; EUR 70 000 - 95 000; Plein temps

Avantages offerts par ce poste

Mutuelle prise en charge 100%

Titre de transport pris en charge 100%

Télétravail partiel

Résumé du poste

Data Factorii recherche un Data Engineer Python / Databricks pour concevoir et faire évoluer des plateformes de données, développer des pipelines robustes et exposer des services via des APIs Python/Django.

Vous travaillerez sur Spark et Databricks, déployerez sur AWS et Azure, et participerez à l’industrialisation par les bonnes pratiques DevOps et CI/CD, en collaboration avec les équipes Data, Développement et Infra.

Qualifications

• Maîtrise avancée de Python, idéalement avec Django.
• Expérience avec Apache Spark et Databricks.
• Bonne connaissance SQL et PostgreSQL.
• Expérience sur AWS et/ou Azure et Kubernetes (EKS) ou Rancher.
• Connaissance des outils CI/CD (GitLab, Jenkins, Docker, Harbor).
• Connaissance des systèmes de message MQ appréciée.
• Méthodologies Agile/Scrum.

Responsabilités

• Développer et faire évoluer des plateformes de données et APIs Python/Django.
• Concevoir des pipelines de traitement robustes et performants.
• Travailler sur des traitements Big Data avec Spark et Databricks.
• Contribuer à l’évolution des infrastructures Cloud (AWS/Azure) et déployer des environnements Kubernetes.
• Industrialiser les développements et améliorer les chaînes CI/CD.
• Collaborer avec les équipes Data, Développement et Infrastructure pour assurer la qualité et la fiabilité des solutions.

Connaissances

Autonomie

Rigueur

Esprit d’analyse

Curiosité

Travail en équipe

Outils

Python

Django

Apache Spark

Databricks

SQL

PostgreSQL

AWS

Azure

Kubernetes (EKS)

Rancher

Docker

GitLab

Jenkins

Harbor

Description du poste

Data Factorii recherche un Data Engineer Python / Databricks pour concevoir et faire évoluer des plateformes de données, développer des pipelines robustes et exposer des services via des APIs Python/Django.

Vous travaillerez sur Spark et Databricks, déployerez sur AWS et Azure, et participerez à l’industrialisation par les bonnes pratiques DevOps et CI/CD, en collaboration avec les équipes Data, Développement et Infra.