Data Engineer Confirmé(e) (FHX)

AVIV Group; Paris; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise dans le domaine de la technologie à Paris recherche un(e) Data Engineer passionné(e) pour optimiser et améliorer les pipelines de données sur AWS. Le candidat idéal a une solide expérience en AWS et maîtrise des outils tels que Python et PySpark. Rejoignez une équipe dynamique qui valorise l'innovation et l'amélioration continue.

Prestations

Restaurant d’entreprise

Formations (LinkedIn Learning, etc.)

16 jours de RTT

Qualifications

• Solide expérience avec les services AWS, notamment S3, ECS et particulièrement Lambda et Glue.
• Excellente maîtrise de Python pour la manipulation de données, le scripting et le développement de pipelines.
• Expertise dans l’utilisation de PySpark pour le traitement distribué des données.

Responsabilités

• Améliorer les performances et la fiabilité des pipelines de données existants.
• Faire évoluer les pipelines batch / snapshot vers des pipelines de gestion des deltas.
• Développer et maintenir des modules Terraform pour la gestion de l'infrastructure sur AWS.

Connaissances

AWS

Python

PySpark

SQL

Terraform

CircleCI

DataDog

Outils

Apache Hive

Hadoop

Redshift

Spark

Kafka

Scala

Description du poste

Overview

Nous recherchons un(e) Data engineer pour rejoindre notre équipe dynamique. Vous jouerez un rôle clé dans la construction, l'optimisation et l'amélioration des pipelines de données pour l'ingestion, l'enrichissement et l'exposition de données classifiées et transactionnelles sur AWS. Vous travaillez sous la direction de notre Team Lead Data Engineer.

Vos missions

• Optimisation des pipelines : Améliorer les performances et la fiabilité des pipelines de données existants.
• Transformation des pipelines : Faire évoluer les pipelines batch / snapshot vers des pipelines de gestion des deltas.
• Infrastructure as Code : Développer et maintenir des modules Terraform pour la gestion de l'infrastructure sur AWS.
• Migration des pipelines : Migrer les pipelines de données de Google Cloud Platform vers AWS.
• Monitoring et alertes : Concevoir et implémenter des tableaux de bord DataDog et des systèmes d’alertes pour assurer un suivi proactif des performances des pipelines de données.

Qualifications

Compétences requises

• AWS : Solide expérience avec les services AWS, notamment S3, ECS et particulièrement Lambda et Glue.
• Python : Excellente maîtrise de Python pour la manipulation de données, le scripting et le développement de pipelines.
• PySpark : Expertise dans l’utilisation de PySpark pour le traitement distribué des données.
• SQL : Maîtrise du SQL pour l’interrogation et la transformation de grands ensembles de données.
• Terraform : Expérience dans la création et la gestion d’infrastructures avec Terraform. Terragrunt est un atout.
• CircleCI : Maîtrise des workflows et de la gestion de configuration.
• DataDog : Connaissance de DataDog pour le monitoring, les alertes et la création de tableaux de bord.

Ce que nous attendons

Vous êtes capable de gérer vos projets, l’infrastructure de production et l’accès aux données de manière autonome. Vous aimez être fier de votre travail tout en restant ouvert(e) aux améliorations, proposer des solutions pratiques et fournir du code de haute qualité en respectant les meilleures pratiques. Le travail en équipe et la communication ouverte sont indispensables, et vous savez gérer les ressources efficacement tout en évitant les coûts inutiles. Vous mettez l’accent sur les tests et adoptez une approche orientée client.

Informations supplé­mentaires

Ce que nous vous proposons :

Ravi de vous accueillir dans nos locaux au cœur de Paris (2 rue des Italiens 75009 Paris). Vous y trouverez : notre restaurant d’entreprise, un grand espace de vie, et des tickets restaurant avec Restoflash de 950.

Des formations (LinkedIn Learning, etc.).

16 jours de RTT (congés) ; télétravail partiel ou à temps plein selon les accords.

et bien d’autres avantages…

A propos d’Aviv

Chez Aviv nous respectons l’égalité des chances. Nous encourageons vivement les personnes en situation de handicap, toutes les minorités et les parents ou soignants à postuler. Si vous avez besoin d’ajustements raisonnables à tout moment de la procédure de candidature ou si vous souhaitez discuter de vos besoins en matière de temps partiel ou de travail flexible, veuillez nous le faire savoir. Dans votre candidature, n’hésitez pas à indiquer les pronoms que vous utilisez.

Notre ambition est d’être le premier employeur dans le domaine de la PropTech en Europe. C’est le moment idéal pour nous rejoindre et trouver l’emploi idéal ! Nous n’attendons plus que votre candidature.

Remote Work : No

Employment Type : Full-time

Key Skills

Apache Hive, S3, Hadoop, Redshift, Spark, AWS, Apache Pig, NoSQL, Big Data, Data Warehouse, Kafka, Scala

Experience : years

Vacancy : 1