Développeur Hadoop / Spark

DGTL Performance; Lille; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une société spécialisée en données recherche un professionnel pour développer et maintenir des pipelines de données sur Databricks et Hadoop/Spark. Les candidats doivent avoir des compétences avancées en SQL et PySpark, ainsi qu'une expérience avec Power BI et l'environnement cloud. Ce poste est crucial pour assurer la qualité et la gouvernance des données. Les certifications Databricks sont un plus.

Qualifications

• Maîtrise des fonctions analytiques et optimisation de requêtes SQL.
• Expérience sur le framework Databricks avec PySpark.
• Développement d'applications Scala sur Hadoop/Spark.

Responsabilités

• Concevoir et maintenir des pipelines de données robustes.
• Migrer et optimiser des architectures de données vers le cloud.
• Créer des tableaux de bord et rapports interactifs sous Power BI.

Connaissances

SQL avancé

PySpark

Scala

Linux

Databricks

Power BI

AWS

Description du poste

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.

Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.

Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.

Site : www.dgtl-performance.com

Description du poste

Activités clés

• Concevoir, développer et maintenir des pipelines de données robustes et performants sur les environnements Databricks et Hadoop / Spark
• Participer activement à la migration et à l'optimisation des architectures de données vers le cloud (AWS, Databricks)
• Mettre en place et maintenir des tableaux de bord et rapports interactifs sous Power BI pour la restitution des données
• Assurer la qualité, la sécurité et la gouvernance des données tout au long du cycle de vie
• Réaliser une veille technologique continue et contribuer à l'amélioration des pratiques de l'équipe
• Documenter les développements, garantir la traçabilité et le partage des connaissances
• Être force de proposition sur l'optimisation des processus et l'automatisation des tâches récurrentes

Profil recherché

Compétences techniques requises :

• SQL avancé : maîtrise des fonctions analytiques, optimisation de requêtes
• PySpark : expérience sur le framework Databricks
• Scala : développement sur l'écosystème Hadoop / Spark
• Linux : aisance sur la navigation et l'utilisation de la couche Hadoop
• Databricks : certification Associate appréciée, formation possible
• Power BI : conception de rapports et de dashboards interactifs
• Environnement cloud : AWS (atout supplémentaire)