Data & Analytics Engineer (IT) / Freelance

Free-Work; Paris; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Free-Work recherche un Data Engineer pour concevoir et faire évoluer des pipelines de données, migrer des flux historiques vers une nouvelle Data Platform et répondre aux besoins métiers via la Self-BI. Vous reprendrez des traitements existants et travaillerez sur des flux importants.

Vous interviendrez sur Snowflake, dbt et Airflow, avec utilisation de Dataiku DSS et Oracle Exadata selon les contextes, afin d’assurer la continuité et la performance des traitements migrés.

Qualifications

• Expérience en conception et développement de pipelines de données.
• Maîtrise de Snowflake et dbt, et connaissance d’Airflow.
• Compétences en Python pour traitements spécifiques.

Responsabilités

• Concevoir et développer des pipelines d’ingestion et de transformation de données complexes et volumineuses.
• Construire les tables et modèles de données destinés aux utilisateurs de la Self-BI.
• Développer principalement en SQL sur Snowflake et dbt.
• Utiliser Python pour certains traitements spécifiques.
• Mettre en place et maintenir l’orchestration des traitements avec Airflow.
• Optimiser les traitements pour de gros volumes et assurer performance.
• Respecter les standards de la Data Platform et l’urbanisation.

Connaissances

SQL

Snowflake

dbt

Python

Airflow

Dataiku DSS

Oracle Exadata

Modélisation de données

Outils

Dataiku DSS

Oracle Exadata

Description du poste

Notre client, acteur majeur du secteur de l’énergie, renforce son équipe Data afin d’accompagner la transformation et la modernisation de son écosystème de données.

Au sein d’une équipe d’expertise Data, vous interviendrez sur la conception, l’évolution et l’automatisation de chaînes de traitement de données, dans un contexte de migration progressive vers une nouvelle Data Platform.

L’objectif est notamment de reprendre des traitements existants, de migrer les flux historiques vers la plateforme cible et de développer de nouveaux besoins Data exprimés par les métiers.

La mission nécessite une opérationnalité immédiate : vous serez amené(e) à reprendre des chaînes de traitement existantes et à intervenir directement sur des sujets métier en cours.

Missions :

• Concevoir et développer des pipelines d’ingestion et de transformation de données complexes et/ou volumineuses ;
• Construire les tables et modèles de données destinés aux utilisateurs de la Self-BI ;
• Développer principalement en SQL sur Snowflake et dbt ;
• Utiliser Python pour certains traitements spécifiques ;
• Mettre en place et maintenir l’orchestration des traitements avec Airflow ;
• Optimiser les traitements afin de garantir leur performance sur de très gros volumes de données ;
• Respecter les principes d’urbanisation et les standards de la Data Platform.

Les données traitées peuvent représenter des volumétries très importantes, jusqu’à plusieurs dizaines de milliards de lignes.

Modélisation et valorisation des données

Une partie importante de la mission consiste à accompagner la migration de traitements historiques vers la nouvelle Data Platform.

À ce titre, vous serez amené(e) à :

• Lire, comprendre et reprendre des flows Dataiku DSS existants ;
• Analyser les traitements historiques développés sur Oracle Exadata ;
• Participer à leur migration vers Snowflake / dbt ;
• Garantir la continuité et la cohérence fonctionnelle des traitements migrés ;
• Documenter les travaux de migration ;
• Identifier les éventuels écarts ou adaptations nécessaires.

La plateforme cible repose principalement sur Snowflake, dbt et Airflow, tandis que certains traitements historiques doivent encore être repris depuis Dataiku DSS et Oracle Exadata.