Senior Data Engineer

WeeFin; Paris; Hybrid; EUR 90,000 - 130,000; Full time

Benefits offered by this job

Full remote (France)

Évolution vers le management

Job summary

WeeFin recherche un Senior Data Engineer pour renforcer son pôle Data. Vous concevrez et aurez en charge les pipelines, les modèles de données et l’architecture data, avec une forte dimension automatisation et sécurité, dans un cadre remote français.

Vous utiliserez Python, pandas/Numpy, dbt, AWS Athena/Step Functions, Terraform et des bases comme PostgreSQL. Opportunités d’évolution vers du management après 1 an.

Qualifications

• Expérience confirmée en Data Engineering dans un environnement cloud.
• Conception et optimisation de pipelines de données.
• Maîtrise de Python et frameworks principaux (pandas, numpy).
• Orchestration de pipelines avec dbt, Step Functions, ou Airflow.
• Connaissance bases SQL et NoSQL (PostgreSQL, DynamoDB équivalents).
• Infrastructure as Code (Terraform) et déploiement automatisé.

Responsibilities

• Concevoir et développer une architecture data performante et scalable.
• Maintenir et optimiser les pipelines data et l’ingestion des données.
• Créer des outils internes de navigation et de monitoring des données.
• Participer aux revues de code et à l’amélioration des pratiques de développement.
• Assurer sécurité et conformité des flux de données.

Skills

Python

Pandas

AWS

dbt

Terraform

Airflow

PostgreSQL

NoSQL

Tools

S3

Iceberg/Parquet

Job description

La plateforme de WeeFin a pour vocation de faciliter la validation, l’exploitation et l’enrichissement des données fournisseurs dans le contexte particulier de chacun de nos clients. Cela conduit notre équipe de développeurs à mettre en place des pipelines data, une librairie de calculs configurables par les utilisateurs et des features permettant d’encadrer les processus ESG.

Nous sommes en pleine croissance et construisons une équipe engagée pour relever ces défis. C’est dans ce contexte que nous recherchons un Senior Data Engineer pour renforcer notre pôle technique et accompagner l’évolution de notre architecture data.

Les enjeux du poste

Au sein du pôle Data de l’équipe Tech, et rattaché(e) directement au Data Lead, tu seras au cœur des enjeux de structuration et d’optimisation de nos pipelines de données.

Les missions de l’équipe Data

• Concevoir les modèles de données des futures fonctionnalités pour assurer un stockage et une interrogation efficaces

• Garantir le bon fonctionnement des pipelines data et leur optimisation continue

• Créer des outils internes permettant aux autres équipes de naviguer facilement dans les données

Les challenges de l’équipe

• Travailler avec des volumes de données importants tout en optimisant les temps de traitement

• Organiser et rendre configurables des processus de calculs complexes

• Comprendre et implémenter les méthodologies ESG au sein de notre architecture data

Les missions

Au sein du pôle Data de l’équipe Tech, et rattaché.e directement au Data Lead, le.la futur.e Senior Data Software Engineer aura les missions suivantes :

1. Concevoir et développer une architecture data performante

• Concevoir, développer et maintenir les pipelines data, en exploitant AWS Athena et dbt

• Mettre en place et optimiser l’architecture des pipelines et du stockage des données

• Assurer le déploiement et la gestion d’infrastructure via Terraform

• Diffuser les bonnes pratiques et partager les connaissances au sein de l’équipe Tech

2. Créer et améliorer des outils internes

• Développer des outils de monitoring et de navigation dans les données pour les autres équipes

• Être à l’écoute des besoins des équipes métier et adapter les outils en conséquence

3. Garantir la qualité et la performance de la plateforme

• Améliorer la stack technique et optimiser les performances des pipelines de données

• Implémenter des tests unitaires, d’intégration et de performance

• Participer aux revues de code et à la définition des best practices de développement

• Travailler sur la sécurité et la conformité des flux de données

Overview de la stack technique :

• Pipeline Data: AWS Athena, dbt, AWS Step Function, Lambda, ECS

• Frameworks python: AWS SDK for pandas (awswrangler), pandas, numpy

• Data Base: S3 (Iceberg, parquet), PostgreSQL, DynamoDB

• Backend: Lambda Python/NodeJS, AWS API Gateway

• Authentification: Cognito

• Infra as Code: Terraform

Pourquoi nous rejoindre ?

• Une équipe décentralisée en full remote (France)

• Une forte expertise technique

• Un rôle stratégique avec un fort impact sur l’évolution de notre architecture data

• Un environnement technique stimulant, avec des défis complexes et variés

• Une entreprise en pleine croissance, avec des perspectives d’évolution

Tu es passionné par la data et l’optimisation des architectures cloud. Tu as une solide expérience en développement et architecture data, et tu cherches à évoluer dans un environnement technique exigeant et stimulant.Tu as une expérience confirmée d’au moins 8 ans en Data Engineering dans un environnement cloud et tu sais concevoir des pipelines de données performants et scalables.Tu maîtrises Python ainsi que ses principaux frameworks, comme pandas, numpy et AWS SDK for pandas, pour manipuler efficacement les données.Tu sais orchestrer des pipelines de données en utilisant des outils comme dbt, AWS StepFunction, ou Airflow afin d’assurer des traitements fluides et automatisés.Tu as une connaissance approfondie des bases de données SQL et NoSQL, telles que PostgreSQL, et tu sais choisir la meilleure solution en fonction des besoins du projet.Tu as de l’expérience en Infrastructure as Code (Terraform) et tu sais déployer et gérer des architectures cloud de manière automatisée et sécurisée.Tu comprends les enjeux de performance et d’optimisation des coûts dans un environnement cloud et tu sais ajuster les ressources en fonction des besoins.Tu maîtrises les bonnes pratiques de développement et tu sais mettre en place des tests de charge pour garantir la robustesse et l’évolutivité des solutions développées.Tu auras l’opportunité de faire évoluer ce poste vers une dimension managériale au cours de la première année, selon l’évolution de l’activité. Une expérience managériale serait donc un plus.Les qualités qui feront la différence :Tu es curieux et tu as une forte appétence pour la data.Tu as un esprit analytique et tu adores résoudre des problématiques complexes.Tu sais communiquer efficacement et collaborer avec différentes équipes.Tu es rigoureux et attentif aux détails pour garantir la fiabilité des traitements de données.

Notre entreprise est engagée pour la diversité et l’inclusion. Toutes les candidatures sont examinées avec la même attention, dans un esprit d’équité et sans discrimination.