Data Engineer Databricks / AWS / Spark (H/F) - Paris

skiils; Suresnes; Hybride; EUR 65 000 - 95 000; Plein temps

Avantages offerts par ce poste

Mutuelle

Titre de transport remboursé à 100%

Télétravail partiel

Projets à fort impact

Résumé du poste

Data Factorii recherche un Data Engineer Python / Databricks pour concevoir et faire évoluer des plateformes de données et des pipelines de traitement robustes.

Vous développerez des APIs d’ingestion en Python/Django et mènerez des traitements Big Data avec Spark et Databricks, tout en déployant sur AWS/Azure et en gérant des environnements Kubernetes. Télétravail partiel et projets à fort impact.

Qualifications

• 4 à 8 ans d'expérience en Data Engineer.
• Maîtrise Python, idéalement avec Django.
• Expérience sur Apache Spark et Databricks.
• Bonnes compétences SQL et PostgreSQL.
• Expérience des environnements AWS et/ou Azure.
• Bonne connaissance de Kubernetes (EKS), Rancher et architectures conteneurisées.
• Expérience des outils CI/CD (GitLab, Jenkins, Docker, Harbor).
• Connaissance des systèmes de messagerie (MQ).
• Méthodologies Agile / Scrum.

Responsabilités

• Développer et faire évoluer des plateformes de données.
• Concevoir des pipelines de traitement robustes.
• Développer des APIs et services d’ingestion en Python/Django.
• Réaliser des traitements Big Data avec Spark et Databricks.
• Contribuer à l’évolution des infrastructures Cloud sur AWS et Azure.
• Industrialiser les développements via CI/CD et DevOps.
• Collaborer avec les équipes Data, Développement et Infrastructure.

Connaissances

Python

Django

SQL

PostgreSQL

Spark

Databricks

Kubernetes

AWS

Azure

CI/CD

Outils

GitLab

Jenkins

Docker

Harbor

Rancher

Kubernetes (EKS)

MQ

Description du poste

Tu es passionné(e) par la Data Engineering et tu souhaites contribuer à des projets ayant un impact concret sur des infrastructures critiques ? Tu aimes développer des plateformes de données, concevoir des pipelines performants et travailler sur des architectures cloud modernes ? Rejoins Data Factorii en tant que Data Engineer Python / Databricks et participe à des projets stratégiques autour de la valorisation des données.

Mais qu’est-ce que l’équipe Data Factorii adresse ?

En tant Data Engineer H/F, tes missions seront de :

• Développer et faire évoluer des plateformes de données : Concevoir de nouveaux cas d’usage, maintenir les applications existantes et contribuer à l’évolution des plateformes Data au service des métiers.

• Concevoir des pipelines de traitement de données : Développer des traitements robustes et performants pour collecter, transformer et mettre à disposition les données auprès des différentes applications.

• Participer au développement des services Data : Concevoir des APIs et des services d’ingestion en Python/Django afin de faciliter l’exploitation des données.

• Développer des traitements Big Data : Mettre en œuvre des traitements distribués avec Apache Spark et Databricks pour répondre aux enjeux de volumétrie et de performance.

• Contribuer à l’évolution des infrastructures Cloud : Participer au déploiement et à l’administration des environnements Kubernetes sur AWS et Azure, tout en garantissant leur disponibilité et leur évolutivité.

• Industrialiser les développements : Intégrer les bonnes pratiques DevOps et participer à l’amélioration des chaînes CI/CD afin d’automatiser les déploiements et de sécuriser les mises en production.

• Collaborer avec les équipes techniques : Travailler en étroite collaboration avec les équipes Data, Développement et Infrastructure afin de garantir la qualité, la performance et la fiabilité des solutions mises en œuvre.

Ce que nous t’offrons ?

• Un salaire attractif, évolutif selon ton expérience et tes compétences.

• Des projets Data à fort impact métier, autour d’infrastructures stratégiques.

• Un environnement technique moderne mêlant Cloud, Big Data et DevOps.

• Une montée en compétences sur les technologies les plus recherchées du marché.

• Une mutuelle et un titre de transport pris en charge à 100 %.

• Du télétravail partiel pour favoriser un bon équilibre entre vie professionnelle et personnelle.

• Et surtout, des projets ambitieux où tu pourras contribuer concrètement à la transformation des systèmes d’information.

Concrètement, qu’est-ce qu’on demande ?

En 1er, un savoir-être en phase avec notre culture :

• Tu es autonome, rigoureux(se) et force de proposition.

• Tu apprécies travailler en équipe sur des projets complexes.

• Tu possèdes un excellent esprit d’analyse et sais résoudre des problématiques techniques.

• Tu es curieux(se) et en veille permanente sur les technologies Data et Cloud.

• Tu accordes une grande importance à la qualité du code et à l’amélioration continue.

En 2nd, un bagage technique solide :

• Une expérience de 4 à 8 ans en tant que Data Engineer.

• Une excellente maîtrise de Python, idéalement avec Django.

• Une solide expérience sur Apache Spark et Databricks.

• Une bonne maîtrise de SQL et de PostgreSQL.

• Une expérience des environnements AWS et/ou Microsoft Azure.

• Une bonne connaissance de Kubernetes (EKS), Rancher et des architectures conteneurisées.

• Une expérience des outils CI/CD (GitLab, Jenkins, Docker, Harbor…).

• Une connaissance des systèmes de messagerie (MQ) serait appréciée.

• Une expérience des méthodologies Agile / Scrum.

Les petits plus qui feront la différence :

• Une expérience sur des plateformes Data critiques ou à forte volumétrie.

• Une bonne compréhension des architectures distribuées et des environnements cloud.

• Une expérience dans le secteur ferroviaire, des transports ou des infrastructures critiques sera fortement appréciée.

Et surtout, tu souhaites mettre tes compétences Data au service de projets à fort impact, dans un environnement technique stimulant et en constante évolution ?Alors rejoins Data Factorii et participe à la conception des plateformes Data de demain !