Data Engineer

Voxalia; Lille; Hybride; EUR 60 000 - 90 000; Plein temps

Résumé du poste

Voxalia recherche un Data Engineer pour concevoir, déployer et maintenir des pipelines de données robustes alimentant nos systèmes analytiques et opérationnels. Le poste implique une collaboration étroite avec Data Analysts et Data Scientists afin d'assurer des données fiables et scalables.

Vous travaillerez sur des flux ETL/ELT, l'intégration multi-sources, et l'optimisation des stockages dans le cloud (AWS/GCP/Azure) tout en garantissant qualité et conformité réglementaire (GDPR/CCPA).

Qualifications

• 3 ans d'expérience minimum en Data Engineering dans un environnement Big Data.
• Expérience avec les pipelines ETL/ELT et orchestration (Airflow, Luigi, Prefect).
• Maîtrise des bases de données relationnelles et non relationnelles et du cloud.

Responsabilités

• Concevoir et maintenir des pipelines de données ETL/ELT robustes et optimisés.
• Intégrer des données issues de multiples sources et concevoir des architectures scalables sur le cloud.
• Mettre en œuvre la gouvernance et la qualité des données (GDPR/CCPA).
• Identifier et résoudre les goulets d'étranglement et assurer une faible latence en temps réel.

Connaissances

Esprit analytique

Rigueur

Curiosité technique

Proactivité

Communication claire

Esprit collaboratif

Formation

Bac+5 ingénieur ou équivalent

Outils

Python

Scala

PostgreSQL

MySQL

MongoDB

Cassandra

Apache Spark

Hadoop

Flink

AWS Glue

GCP Dataflow

Azure Data Factory

Apache Airflow

Luigi

Prefect

Snowflake

BigQuery

Redshift

Talend

Informatica

Description du poste

En tant que Data Engineer au sein de Voxalia, vous jouerez un rôle central dans la conception, la mise en oeuvre et la maintenance des pipelines de données qui alimentent les systèmes analytiques et opérationnels de nos client. Vous travaillerez en étroite collaboration avec les Data Analysts, Data Scientists et les équipes IT pour assurer l'accès à des données fiables, scalables et optimisées.

Vos responsabilités principales :

Conception et maintenance des pipelines de données :

Développer et maintenir des flux de données ETL/ELT robustes et optimisés en utilisant des outils comme Apache Airflow, Talend, ou DBT.

Intégrer des données issues de multiples sources (bases relationnelles, APIs, fichiers, systèmes tiers)

Architecture et infrastructure :

Concevoir des architectures de données scalables sur le cloud (AWS, GCP, Azure).

Optimiser les systèmes de stockage (Data Lakes, Data Warehouses) à l'aide d'outils comme BigQuery, Snowflake ou Redshift.

Qualité et gouvernance des données :

Mettre en oeuvre des mécanismes de validation et de monitoring pour assurer la fiabilité et la cohérence des données.

Collaborer avec les Data Stewards pour garantir la conformité réglementaire (GDPR, CCPA).

Performance et optimisation :

Identifier et résoudre les goulots d'étranglement dans les pipelines et les bases de données.

Automatiser les processus de traitement et garantir une faible latence pour les besoins temps réel.

Nous recherchons un(e) ingénieur(e) spécialisé(e) en gestion des flux de données, avec une solide expertise technique et une capacité à construire des solutions durables et performantes.

Formation et expérience :

Diplôme Bac +5 (école d'ingénieur, école de commerce ou équivalent universitaire).

Expérience de 3 ans minimum(EXIGE) en tant que Data Engineer hors stage et alternancedans un environnement Big Data.

Compétences techniques :

Langages de programmation : Expertise en Python et/ou Scala pour le traitement des données.

Bases de données : Maîtrise des bases relationnelles (PostgreSQL, MySQL) et non relationnelles (MongoDB, Cassandra).

Big Data : Connaissance des écosystèmes Apache Spark, Hadoop, ou Flink.

Cloud : Expérience pratique avec les services cloud (AWS Glue, GCP Dataflow, Azure Data Factory).

Orchestration : Maîtrise des outils comme Apache Airflow, Luigi, ou Prefect.

Data Warehousing : Expertise avec Snowflake, BigQuery, Redshift, ou équivalents.

Outils d'intégration : Expérience avec Talend, Informatica, ou des solutions similaires.

Compétences fonctionnelles :

Optimisation : Capacité à concevoir des architectures de données performantes, durables et évolutives.

Analyse des besoins : Travailler avec les parties prenantes pour comprendre les exigences métier et les transformer en solutions techniques.

Pour réussir dans ce poste, vous devez démontrer les qualités suivantes :

Esprit analytique : Capacité à résoudre des problématiques techniques complexes et à anticiper les besoins futurs.

Rigueur : Vous garantissez des pipelines fiables, des données de qualité et une documentation exhaustive.

Curiosité technique : Passion pour l'exploration de nouvelles technologies et méthodes d'ingénierie des données.

Communication claire : Capacité à expliquer vos choix techniques à des équipes non techniques.

Proactivité : Être force de proposition pour améliorer les architectures et les flux de données.

Esprit collaboratif : Travailler efficacement avec des équipes pluridisciplinaires dans un environnement agile.