Data Engineer / Developper Python

QuickSign; Paris; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise innovante en data à Paris recherche un Data Engineer pour rejoindre ses équipes. Vous développerez des microservices pour le traitement de documents et l'identification de comportements frauduleux. Le candidat idéal doit avoir une solide expérience en Big Data et des compétences dans des outils tels qu'Apache Hive et Spark. Le poste est à plein temps avec de nouvelles opportunités dans un environnement dynamique.

Qualifications

• Expérience avec les systèmes d'ingestion de données (images, json, texte).
• Compétences en développement de pipelines de machine learning.
• Connaissance des services cloud et des outils Big Data.

Responsabilités

• Développer des systèmes d'ingestion de données.
• Optimiser les performances des services de détection de fraude.
• Fournir des données à l'équipe Finance pour la facturation.

Connaissances

Apache Hive

S3

Hadoop

Redshift

Spark

AWS

Apache Pig

NoSQL

Big Data

Data Warehouse

Kafka

Scala

Description du poste

Overview

Le poste est rattaché à l'équipe Data décomposée en 4 équipes :

• Doc & fraude: développer des microservices pour le traitement de documents et l'identification de comportement frauduleux


• AI Platform: mettre en place des environnements pour l'entraînement et le déploiement de services intégrant de l'IA


• Data Run: dédiée à la gestion de la data plateforme actuelle (maintien en condition, évolution, scaling, etc.) : reporting financier et BI


• Data Platform: équipe dédiée à la refonte de la data plateforme pour assurer le suivi de performance et la livraison des informations de facturation à l'équipe Finance.

Nous ouvrons 3 postes de Data Engineer, un dans chaque équipe suivante : Doc & fraude, AI Platform et Data Run.

Deux profils senior / staff sont également présents pour appuyer les équipes sur les sujets Data et IA ainsi que deux Product Owner IA et Data.

Actuellement il existe 2 équipes : une pour la gestion documentaire et l'autre pour les problématiques data, et nous sommes en train de modifier cette organisation avec de nouveaux projets innovants.

Sous la direction du lead de l'équipe, les missions sont (en fonction du poste) :

AI Platform

• Développer les systèmes d ingestion de données (images, json, texte, données tabulaires) dans la plateforme IA


• Maintenir et faire évoluer le système d orchestration des pipelines ML (entrainement, valuation, etc)


• Mettre en place des outils pour faciliter l ensemble des activités d entrainement et d industrialisation de modèle


• Mettre à disposition des services sur les usages d IA interne (LLM)

Doc &fraude

• Maintenir et faire évoluer nos services de détection de fraude et de traitement de documents


• Travailler de paire avec le Machine Learning Engineer pour industrialiser les travaux des Data Scientists


• Optimiser les performances des services en lien avec nos SLA

Data Run

• Fournir à l équipe Finance les données permettant d assurer la facturation de nos clients ainsi que le reporting financier de l entreprise


• Etre garant de la qualité des données livrées


• Développer et fiabiliser les pipelines de transformation de données


• Accompagner l Analytics Engineer et le Data Analyst dans leur développement

Commun

• Appuyer l équipe d exploitation infrastructure et développement dans la mise en production des services de l équipe


• Assurer un monitoring de fonctionnement des services dans l ensemble des environnements


• Faire évoluer l ensemble des services avec la montée en charge de nos clients


• Réaliser une veille technologique régulière et documenter les projets

Key Skills

• Apache Hive


• S3


• Hadoop


• Redshift


• Spark


• AWS


• Apache Pig


• NoSQL


• Big Data


• Data Warehouse


• Kafka


• Scala

Employment Type

Full-Time

Experience

years

Vacancy

1