Data Engineer expérimenté

DGTL Performance; Colombes; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise spécialisée dans le développement de solutions Data recherche un expert pour concevoir et maintenir des traitements de données complexes en Java, Python et Apache Spark. Vous serez responsable de la construction de pipelines de données robustes avec une attention particulière à la qualité et aux performances. Si vous avez une forte expertise en ELT/ETL, DevOps et en conformité des données, cette opportunité est pour vous. Un excellent environnement d'apprentissage vous attend.

Qualifications

• Expertise en développement et traitement Data complexes en Java, Python et Apache Spark.
• Compétences en construction de pipelines de données au sein d'architectures distribuées.
• Maîtrise des performances de traitements batch et temps réel.

Responsabilités

• Concevoir, développer et maintenir des traitements Data complexes.
• Construire et industrialiser des pipelines de données.
• Participer à la définition et amélioration des standards d'ingénierie de la donnée.

Connaissances

Expertise ELT / ETL sous ODI

Solide maîtrise de DevOps : GitLab CI / CD, conteneurisation Docker

Très bonne connaissance Apache Spark

Connaissance des enjeux de sécurité et conformité des données

Description du poste

DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA.

Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc.

Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.

https : / / www.dgtl-performance.com

Description du poste :

Missions et responsabilités

Développement avancé :

Concevoir, développer et maintenir des traitements Data complexes en Java, Python et Apache Spark

Implémenter des transformations de données performantes et scalables

Mise en place de pipelines robustes :

Construire et industrialiser des pipelines de données au sein d'architectures distribuées

Garantir la qualité, la fiabilité et la continuité de service des flux

Optimiser les performances des traitements batch et temps réel

Contribution aux patterns Data et bonnes pratiques :

Participer à la définition et amélioration des standards d'ingénierie de la donnée

Promouvoir une approche engineering de haut niveau (observabilité, logging, monitoring)

Participation aux comités techniques :

Être force de proposition sur les choix technologiques

Leadership technique et accompagnement :

Conseiller les équipes sur l'architecture et le design des solutions data

Assurer le mentoring et la montée en compétences des profils plus juniors

Profil recherché :

Compétences requises :

Expertise ELT / ETL sous ODI (Oracle Data Integrator)

Solide maîtrise de DevOps : GitLab CI / CD, conteneurisation Docker

Très bonne connaissance Apache Spark (performance, optimisation)

Connaissance des enjeux de sécurité et conformité des données : RGPD, CNIL