Senior Data Engineer

WeeFin; Paris (TX); Remote; USD 79,000 - 125,000; Full time

Benefits offered by this job

Remote France

Expertise technique

Rôle stratégique

Évolution possible

Job summary

WeeFin recherche un Senior Data Engineer pour renforcer son pôle Data et accompagner l’évolution de son architecture data. Vous concevrez des pipelines robustes et optimiserez les processus ESG au sein d’un cadre cloud.

Vous travaillerez sur des pipelines avec AWS, dbt, Terraform et Python, en étroite collaboration avec le Data Lead et les équipes métiers, tout en promouvant les meilleures pratiques et la sécurité des flux de données.

Qualifications

• Expérience confirmée d’au moins 8 ans en Data Engineering dans un environnement cloud.
• Maîtrise de Python et des frameworks principaux comme pandas et numpy.
• Bonne connaissance des pipelines data avec dbt, AWS Step Functions et Airflow.

Responsibilities

• Concevoir et développer une architecture data performante et scalable.
• Créer et améliorer des outils internes et des dashboards pour les équipes.
• Assurer qualité et performance des pipelines et contribuer aux tests et Revues de code.

Skills

Python

Pandas

Numpy

AWS SDK for pandas

dbt

Airflow

Terraform

SQL/NoSQL

PostgreSQL

Tools

AWS Athena

dbt

Terraform

Pandas

DynamoDB

Job description

La plateforme de WeeFin a pour vocation de faciliter la validation, l’exploitation et l’enrichissement des données fournisseurs dans le contexte particulier de chacun de nos clients. Cela conduit notre équipe de développeurs à mettre en place des pipelines data, une librairie de calculs configurables par les utilisateurs et des features permettant d’encadrer les processus ESG.

Nous sommes en pleine croissance et construisons une équipe engagée pour relever ces défis. C’est dans ce contexte que nous recherchons un Senior Data Engineer pour renforcer notre pôle technique et accompagner l’évolution de notre architecture data.

Les enjeux du poste

Au sein du pôle Data de l’équipe Tech, et rattaché(e) directement au Data Lead, tu seras au cœur des enjeux de structuration et d’optimisation de nos pipelines de données.

Les missions de l’équipe Data

• Concevoir les modèles de données des futures fonctionnalités pour assurer un stockage et une interrogation efficaces

• Garantir le bon fonctionnement des pipelines data et leur optimisation continue

• Créer des outils internes permettant aux autres équipes de naviguer facilement dans les données

Les challenges de l’équipe

• Travailler avec des volumes de données importants tout en optimisant les temps de traitement

• Organiser et rendre configurables des processus de calculs complexes

• Comprendre et implémenter les méthodologies ESG au sein de notre architecture data

Les missions

Au sein du pôle Data de l’équipe Tech, et rattaché.e directement au Data Lead, le.la futur.e Senior Data Software Engineer aura les missions suivantes :

1. Concevoir et développer une architecture data performante

• Concevoir, développer et maintenir les pipelines data, en exploitant AWS Athena et dbt

• Mettre en place et optimiser l’architecture des pipelines et du stockage des données

• Assurer le déploiement et la gestion d’infrastructure via Terraform

• Diffuser les bonnes pratiques et partager les connaissances au sein de l’équipe Tech

2. Créer et améliorer des outils internes

• Développer des outils de monitoring et de navigation dans les données pour les autres équipes

• Être à l’écoute des besoins des équipes métier et adapter les outils en conséquence

3. Garantir la qualité et la performance de la plateforme

• Améliorer la stack technique et optimiser les performances des pipelines de données

• Implémenter des tests unitaires, d’intégration et de performance

• Participer aux revues de code et à la définition des best practices de développement

• Travailler sur la sécurité et la conformité des flux de données

Overview de la stack technique :

• Pipeline Data: AWS Athena, dbt, AWS Step Function, Lambda, ECS

• Frameworks python: AWS SDK for pandas (awswrangler), pandas, numpy

• Data Base: S3 (Iceberg, parquet), PostgreSQL, DynamoDB

• Backend: Lambda Python/NodeJS, AWS API Gateway

• Authentification: Cognito

• Infra as Code: Terraform

Pourquoi nous rejoindre ?

• Une équipe décentralisée en full remote (France)

• Une forte expertise technique

• Un rôle stratégique avec un fort impact sur l’évolution de notre architecture data

• Un environnement technique stimulant, avec des défis complexes et variés

• Une entreprise en pleine croissance, avec des perspectives d’évolution

Tu es passionné par la data et l’optimisation des architectures cloud. Tu as une solide expérience en développement et architecture data, et tu cherches à évoluer dans un environnement technique exigeant et stimulant.Tu as une expérience confirmée d’au moins 8 ans en Data Engineering dans un environnement cloud et tu sais concevoir des pipelines de données performants et scalables.Tu maîtrises Python ainsi que ses principaux frameworks, comme pandas, numpy et AWS SDK for pandas, pour manipuler efficacement les données.Tu sais orchestrer des pipelines de données en utilisant des outils comme dbt, AWS StepFunction, ou Airflow afin d’assurer des traitements fluides et automatisés.Tu as une connaissance approfondie des bases de données SQL et NoSQL, telles que PostgreSQL, et tu sais choisir la meilleure solution en fonction des besoins du projet.Tu as de l’expérience en Infrastructure as Code (Terraform) et tu sais déployer et gérer des architectures cloud de manière automatisée et sécurisée.Tu comprends les enjeux de performance et d’optimisation des coûts dans un environnement cloud et tu sais ajuster les ressources en fonction des besoins.Tu maîtrises les bonnes pratiques de développement et tu sais mettre en place des tests de charge pour garantir la robustesse et l’évolutivité des solutions développées.Tu auras l’opportunité de faire évoluer ce poste vers une dimension managériale au cours de la première année, selon l’évolution de l’activité. Une expérience managériale serait donc un plus.Les qualités qui feront la différence :Tu es curieux et tu as une forte appétence pour la data.Tu as un esprit analytique et tu adores résoudre des problématiques complexes.Tu sais communiquer efficacement et collaborer avec différentes équipes.Tu es rigoureux et attentif aux détails pour garantir la fiabilité des traitements de données. Si tu te reconnais dans cette description et que tu veux contribuer à transformer la finance, nous serions ravis d’échanger avec toi.Notre entreprise est engagée pour la diversité et l’inclusion. Toutes les candidatures sont examinées avec la même attention, dans un esprit d’équité et sans discrimination.