Data Engineer Databricks / AWS / Spark (H/F)

SKIILS; Puteaux; Hybride; EUR 60 000 - 90 000; Plein temps

Avantages offerts par ce poste

Mutuelle prise en charge

Titre de transport pris en charge

Télétravail partiel

Résumé du poste

Data Factorii recherche un Data Engineer H/F passionné par Python, Databricks et les architectures cloud pour concevoir et faire évoluer des plateformes de données critiques.

Vous développerez des pipelines robustes, des APIs en Django et faciliterez l’exploitation des données via des services d’ingestion, tout en déployant sur Kubernetes (AWS/Azure) et en renforçant les pratiques DevOps et CI/CD.

Vous évoluerez en équipe et bénéficierez d’un télétravail partiel.

Qualifications

• Expérience de 4 à 8 ans en Data Engineering.
• Maîtrise avancée de Python et Django.
• Solide expérience avec Spark et Databricks.
• Bonnes connaissances de SQL et PostgreSQL.
• Expérience sur AWS et/ou Azure.
• Bonne connaissance de Kubernetes (EKS) et architectures conteneurisées.
• Maîtrise des outils CI/CD (GitLab, Jenkins, Docker, Harbor).
• Connaissance des systèmes de messagerie (MQ) appréciée.
• Méthodologies Agile / Scrum.

Responsabilités

• Concevoir et faire évoluer des plateformes de données.
• Développer des pipelines de traitement de données.
• Concevoir des APIs et services d’ingestion en Python/Django.
• Mettre en œuvre des traitements Big Data avec Spark et Databricks.
• Participer au déploiement et à l’administration des environnements Kubernetes sur AWS/Azure.
• Intégrer les bonnes pratiques DevOps et CI/CD pour automatiser les déploiements.
• Collaborer avec les équipes Data, Développement et Infra.
• Assurer qualité, performance et fiabilité des solutions.
• Contribuer à l’évolution des infrastructures Cloud.

Connaissances

Python

Databricks

Spark

SQL

PostgreSQL

AWS

Azure

Kubernetes

CI/CD

GitLab

Jenkins

Docker

Harbor

Django

Agile/Scrum

Veille technologique

Outils

Docker

Kubernetes

GitLab

Jenkins

Harbor

Description du poste

Tu es passionné(e) par la Data Engineering et tu souhaites contribuer à des projets ayant un impact concret sur des infrastructures critiques ? Tu aimes développer des plateformes de données, concevoir des pipelines performants et travailler sur des architectures cloud modernes ? Rejoins Data Factorii en tant que Data Engineer Python / Databricks et participe à des projets stratégiques autour de la valorisation des données.

Mais qu'est-ce que l'équipe Data Factorii adresse ?

En tant que Data Engineer H/F, tes missions seront de :

Développer et faire évoluer des plateformes de données : Concevoir de nouveaux cas d'usage, maintenir les applications existantes et contribuer à l'évolution des plateformes Data au service des métiers.

Concevoir des pipelines de traitement de données : Développer des traitements robustes et performants pour collecter, transformer et mettre à disposition les données auprès des différentes applications.

Participer au développement des services Data : Concevoir des APIs et des services d'ingestion en Python/Django afin de faciliter l'exploitation des données.

Développer des traitements Big Data : Mettre en œuvre des traitements distribués avec Apache Spark et Databricks pour répondre aux enjeux de volumétrie et de performance.

Contribuer à l'évolution des infrastructures Cloud : Participer au déploiement et à l'administration des environnements Kubernetes sur AWS et Azure, tout en garantissant leur disponibilité et leur évolutivité.

Industrialiser les développements : Intégrer les bonnes pratiques DevOps et participer à l'amélioration des chaînes CI/CD afin d'automatiser les déploiements et de sécuriser les mises en production.

Collaborer avec les équipes techniques : Travailler en étroite collaboration avec les équipes Data, Développement et Infrastructure afin de garantir la qualité, la performance et la fiabilité des solutions mises en œuvre.

Ce que nous t'offrons ?

Un salaire attractif, évolutif selon ton expérience et tes compétences.

Des projets Data à fort impact métier, autour d'infrastructures stratégiques.

Un environnement technique moderne mêlant Cloud, Big Data et DevOps.

Une montée en compétences sur les technologies les plus recherchées du marché.

Une mutuelle et un titre de transport pris en charge à 100 %.

Du télétravail partiel pour favoriser un bon équilibre entre vie professionnelle et personnelle.

Et surtout, des projets ambitieux où tu pourras contribuer concrètement à la transformation des systèmes d'information.

Concrètement, qu'est-ce qu'on demande ?

En 1er, un savoir-être en phase avec notre culture :

• Tu es autonome, rigoureux(se) et force de proposition.
• Tu apprécies travailler en équipe sur des projets complexes.
• Tu possèdes un excellent esprit d'analyse et sais résoudre des problématiques techniques.
• Tu es curieux(se) et en veille permanente sur les technologies Data et Cloud.
• Tu accordes une grande importance à la qualité du code et à l'amélioration continue.

En 2nd, un bagage technique solide :

• Une expérience de 4 à 8 ans en tant que Data Engineer.
• Une excellente maîtrise de Python, idéalement avec Django.
• Une solide expérience sur Apache Spark et Databricks.
• Une bonne maîtrise de SQL et de PostgreSQL.
• Une expérience des environnements AWS et/ou Microsoft Azure.
• Une bonne connaissance de Kubernetes (EKS), Rancher et des architectures conteneurisées.
• Une expérience des outils CI/CD (GitLab, Jenkins, Docker, Harbor...).
• Une connaissance des systèmes de messagerie (MQ) serait appréciée.
• Une expérience des méthodologies Agile / Scrum.

Les petits plus qui feront la différence :

• Une expérience sur des plateformes Data critiques ou à forte volumétrie.
• Une bonne compréhension des architectures distribuées et des environnements cloud.
• Une expérience dans le secteur ferroviaire, des transports ou des infrastructures critiques sera fortement appréciée.

Et surtout, tu souhaites mettre tes compétences Data au service de projets à fort impact, dans un environnement technique stimulant et en constante évolution ?

Alors rejoins Data Factorii et participe à la conception des plateformes Data de demain !

Chez nous, aucun process de recrutement ne doit prendre plus de 15 jours et il est super simple !

1. LE MATCHING : Votre dossier est sélectionné, C’est l’élément déclencheur de l’aventure.

2. LA RENCONTRE : Axé sur le savoir être, car nous souhaitons avant tout travailler avec des personnalités

3. LA VALIDATION: Axée sur le savoir-faire, et là c’est notre leader technique qui prend le relais

4. … Il n’y a pas de 4ème étape ! A partir de la validation, ton onboarding est finalisé