Data Engineer - Ingénieur Data H / F

Lutessa; Malakoff; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise innovante recherche un Data Engineer pour concevoir et maintenir des solutions de gestion des données. Les responsabilités incluent l'analyse des besoins, la conception d'architectures robustes et le développement de pipelines. Vous aurez besoin d'une expérience de 3 ans en data et de compétences en environnement Cloud comme Azure et AWS. Ce poste offre une opportunité de travailler sur des projets variés avec une équipe pluridisciplinaire.

Qualifications

• Justifier de 3 ans d'expérience significative en data.
• Bonne compréhension des pipelines et MLOPS.
• Capacité à former et soutenir les utilisateurs internes.

Responsabilités

• Concevoir des solutions de gestion des données.
• Développer et orchestrer des pipelines de données.
• Former les utilisateurs internes aux solutions déployées.

Connaissances

Compréhension des enjeux techniques data

Capacité à communiquer avec des équipes pluridisciplinaires

Organisation et leadership

Anglais professionnel

Outils

Azure

AWS

GCP

Snowflake

Databricks

Python

Scala

Description du poste

Fiche de Mission - Data Engineer Objectif de la mission Concevoir, développer et maintenir des solutions de gestion et de valorisation des données, depuis l'analyse des besoins métiers jusqu'au RUN des plateformes data, en s'appuyant sur des environnements Cloud (Azure, AWS, GCP), des solutions modernes de datawarehouse (Snowflake, Databricks) et / ou des développements ETL custom. Responsabilités principales Analyse des besoins - Recueillir et formaliser les besoins métiers avec les parties prenantes (Data, IT, Métier). - Identifier les cas d'usage et opportunités de mise en valeur des données (POC, industrialisation). - Définir les KPIs et les objectifs de performance des pipelines. Conception de l'architecture - Concevoir des architectures data robustes et scalables. - Définir les flux de données (batch, streaming) et les règles de gouvernance associées. - Choisir et dimensionner les solutions (Snowflake, Databricks, ETL custom, Fabric). - Mettre en place la sécurité, la qualité et la traçabilité des données (RGPD, lineage). Développement & Intégration - Développer et orchestrer des pipelines de données (ingestion, transformation, exposition). - Implémenter des traitements distribués et optimisés (PySpark, SQL, Python, Scala). - Intégrer les données issues de sources variées (API, ERP, CRM, IoT, fichiers, bases relationnelles). - Automatiser les workflows avec des orchestrateurs (Airflow, Fabric, Databricks Workflows, Talend). Création d'applications & restitution - Développer des applications d'exposition de données (API, microservices, dashboards). - Construire des modèles de restitution et de data visualisation. - Optimiser l'ergonomie et la performance des solutions BI. Tests et validation - Définir et exécuter des plans de tests (unitaires, intégration, performance). - Mettre en place des mécanismes de monitoring et d'alerting sur les pipelines. - Garantir la qualité, la complétude et la fraîcheur des données. Documentation - Rédiger la documentation technique et fonctionnelle. - Maintenir des guides d'utilisation pour les équipes Data & Métier. - Alimenter un référentiel de bonnes pratiques et standards. Formation & support RUN - Former les utilisateurs internes (data teams, métiers) aux solutions déployées. - Assurer le support et la maintenance évolutive (RUN). - Suivre les incidents, proposer des solutions durables et optimiser les performances. Stack technologique Cloud & Data Platform Cloud : Azure, AWS, GCP Datawarehouse / Lakehouse : Snowflake, Databricks (priorité) Orchestration : Microsoft Fabric, Airflow, Databricks Workflows ETL / Ingestion Talend, Informatica, Dataiku Développements custom en Python / Scala / SQL Visualisation & Apps Power BI, Tableau, Looker, Qlik Sense / QlikView, Superset, Grafana, Power Apps Data Quality & Tests Dataiku, Talend, Informatica, Griffin, dbt

Passionné de data, justifiant de 3 ans d'expérience signicative (hors stages et apprentissages) Bonne compréhension des enjeux techniques data (pipeline, qualité, MLOPS), et capacité à communiquer avec des équipes pluridisciplinaires Organisation, leadership, sens du service Anglais professionnel (oral et écrit)