Data Engineer Databricks / AWS / Spark (H/F)

Skiils; France; Hybride; EUR 55 000 - 75 000; Plein temps

Avantages offerts par ce poste

Mutuelle

Titre de transport pris en charge

Télétravail partiel

Résumé du poste

Data Factorii recherche un Data Engineer Python / Databricks pour concevoir et faire évoluer des plateformes de données et pipelines robustes. Vous développerez des APIs en Python/Django, travaillerez sur Spark et Databricks, et participerez à l’industrialisation via CI/CD dans un environnement Cloud (AWS/Azure).

Le poste offre du télétravail partiel, une mutuelle et des titres de transport pris en charge, et des projets data à fort impact métier.

Qualifications

• Au moins 4 à 8 ans d’expérience en Data Engineering.
• Maîtrise avancée de Python, idéalement avec Django.
• Solide expérience sur Apache Spark et Databricks.
• Bonne maîtrise de SQL et PostgreSQL.
• Expérience AWS et/ou Microsoft Azure.
• Connaissance de Kubernetes (EKS), Rancher et architectures conteneurisées.
• Expérience CI/CD (GitLab, Jenkins, Docker, Harbor).
• Connaissance des systèmes de messagerie (MQ) appréciée.
• Connaissance des méthodes Agile/Scrum.

Responsabilités

• Développer et faire évoluer des plateformes de données.
• Concevoir des pipelines de traitement robustes et performants.
• Développer des APIs et des services d’ingestion Python/Django.
• Mettre en œuvre des traitements Big Data avec Spark et Databricks.
• Contribuer à l’évolution des infrastructures Cloud (Kubernetes sur AWS et Azure).
• Industrialiser les développements et améliorer les chaînes CI/CD.
• Collaborer avec les équipes Data, Développement et Infrastructure.

Outils

Python

Django

Apache Spark

Databricks

SQL

PostgreSQL

AWS

Azure

Kubernetes (EKS)

Rancher

CI/CD (GitLab)

Jenkins

Docker

Harbor

MQ

Description du poste

Tu es passionné(e) par la Data Engineering et tu souhaites contribuer à des projets ayant un impact concret sur des infrastructures critiques ? Tu aimes développer des plateformes de données, concevoir des pipelines performants et travailler sur des architectures cloud modernes ? Rejoins Data Factorii en tant que Data Engineer Python / Databricks et participe à des projets stratégiques autour de la valorisation des données.

Mais qu’est-ce que l’équipe Data Factorii adresse ?

En tant que Data Engineer H/F, tes missions seront de :

• Développer et faire évoluer des plateformes de données : Concevoir de nouveaux cas d’usage, maintenir les applications existantes et contribuer à l’évolution des plateformes Data au service des métiers.
• Concevoir des pipelines de traitement de données : Développer des traitements robustes et performants pour collecter, transformer et mettre à disposition les données auprès des différentes applications.
• Participer au développement des services Data : Concevoir des APIs et des services d’ingestion en Python/Django afin de faciliter l’exploitation des données.
• Développer des traitements Big Data : Mettre en œuvre des traitements distribués avec Apache Spark et Databricks pour répondre aux enjeux de volumétrie et de performance.
• Contribuer à l’évolution des infrastructures Cloud : Participer au déploiement et à l’administration des environnements Kubernetes sur AWS et Azure, tout en garantissant leur disponibilité et leur évolutivité.
• Industrialiser les développements : Intégrer les bonnes pratiques DevOps et participer à l’amélioration des chaînes CI/CD afin d’automatiser les déploiements et de sécuriser les mises en production.
• Collaborer avec les équipes techniques : Travailler en étroite collaboration avec les équipes Data, Développement et Infrastructure afin de garantir la qualité, la performance et la fiabilité des solutions mises en œuvre.

Ce que nous t’offrons ?

• Un salaire attractif, évolutif selon ton expérience et tes compétences.
• Des projets Data à fort impact métier, autour d’infrastructures stratégiques.
• Un environnement technique moderne mêlant Cloud, Big Data et DevOps.
• Une montée en compétences sur les technologies les plus recherchées du marché.
• Une mutuelle et un titre de transport pris en charge à 100 %.
• Du télétravail partiel pour favoriser un bon équilibre entre vie professionnelle et personnelle.
• Et surtout, des projets ambitieux où tu pourras contribuer concrètement à la transformation des systèmes d’information.

Concrètement, qu’est-ce qu’on demande ?

En 1er, un savoir-être en phase avec notre culture :

• Tu es autonome, rigoureux(se) et force de proposition.
• Tu apprécies travailler en équipe sur des projets complexes.
• Tu possèdes un excellent esprit d’analyse et sais résoudre des problématiques techniques.
• Tu es curieux(se) et en veille permanente sur les technologies Data et Cloud.
• Tu accordes une grande importance à la qualité du code et à l’amélioration continue.

En 2nd, un bagage technique solide :

• Une expérience de 4 à 8 ans en tant que Data Engineer.
• Une excellente maîtrise de Python, idéalement avec Django.
• Une solide expérience sur Apache Spark et Databricks.
• Une bonne maîtrise de SQL et de PostgreSQL.
• Une expérience des environnements AWS et/ou Microsoft Azure.
• Une bonne connaissance de Kubernetes (EKS), Rancher et des architectures conteneurisées.
• Une expérience des outils CI/CD (GitLab, Jenkins, Docker, Harbor…).
• Une connaissance des systèmes de messagerie (MQ) serait appréciée.
• Une expérience des méthodologies Agile / Scrum.

Les petits plus qui feront la différence :

• Une expérience sur des plateformes Data critiques ou à forte volumétrie.
• Une bonne compréhension des architectures distribuées et des environnements cloud.
• Une expérience dans le secteur ferroviaire, des transports ou des infrastructures critiques sera fortement appréciée.

Et surtout, tu souhaites mettre tes compétences Data au service de projets à fort impact, dans un environnement technique stimulant et en constante évolution ?Alors rejoins Data Factorii et participe à la conception des plateformes Data de demain !