Data Engineer - Spark, Databricks & AWS Cloud

skiils; Suresnes; Hybride; EUR 70 000 - 90 000; Plein temps

Avantages offerts par ce poste

Salaire attractif

Projets Data à fort impact

Environnement Cloud/Big Data/DevOps

Montée en compétences

Mutuelle

Titre de transport

Télétravail partiel

Résumé du poste

Data Factorii recherche un Data Engineer Python / Databricks pour rejoindre son équipe en Île-de-France. Vous contribuerez à la conception et à l’évolution des plateformes de données, au développement de pipelines et à la mise à disposition des données via des APIs Python/Django.

Vous travaillerez sur Spark, Databricks, et les environnements AWS/Azure, avec des pratiques DevOps et une approche CI/CD, dans un cadre hybride et stimulant.

Qualifications

• 4 à 8 ans d’expérience en Data Engineer.
• Maîtrise avancée de Python, idéalement avec Django.
• Forte expérience sur Apache Spark et Databricks.
• Bonne maîtrise de SQL et PostgreSQL.
• Expérience AWS et/ou Azure.
• Connaissance Kubernetes (EKS), Rancher et architectures conteneurisées.
• Expérience CI/CD (GitLab, Jenkins, Docker, Harbor…).
• Connaissance des systèmes de messagerie MQ est appréciée.
• Approche Agile / Scrum sur les projets.

Responsabilités

• Concevoir et faire évoluer des plateformes de données, développer les pipelines de traitement et fournir des APIs en Python/Django.
• Mettre en œuvre des traitements Big Data distribués avec Spark et Databricks.
• Participer au déploiement et à l’administration des environnements Cloud (AWS/Azure) et des conteneurs Kubernetes.
• Industrialiser les développements via CI/CD et bonnes pratiques DevOps.
• Collaborer avec les équipes Data, Développement et Infra pour garantir qualité et performance des solutions mises en œuvre.

Connaissances

Python

Django

Apache Spark

Databricks

SQL

PostgreSQL

AWS

Azure

Kubernetes

Rancher

CI/CD

GitLab

Jenkins

Docker

MQ

Agile / Scrum

Outils

Docker

GitLab

Jenkins

Harbor

Kubernetes (EKS)

Rancher

Description du poste

Data Factorii recherche un Data Engineer Python / Databricks pour rejoindre son équipe en Île-de-France. Vous contribuerez à la conception et à l’évolution des plateformes de données, au développement de pipelines et à la mise à disposition des données via des APIs Python/Django.

Vous travaillerez sur Spark, Databricks, et les environnements AWS/Azure, avec des pratiques DevOps et une approche CI/CD, dans un cadre hybride et stimulant.