Freelance : Data engineer Python

Ikivia; Aix-en-Provence; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Ikivia recherche un Expert Technique Data Engineer spécialisé en Data Ingestion pour concevoir et développer une solution d’extraction et d’ingestion entre IFS (Oracle distante) et Snowflake, 100% Python et open source.

Vous couvrirez l’analyse, l’architecture, le développement et le déploiement en production, avec un focus sur l’ingestion de données et la fiabilisation des flux.

Qualifications

• Maîtrise du développement de pipelines d’ingestion de données en Python.
• Connaissance avancée d’Oracle et requêtes SQL complexes.
• Expérience concrète avec Snowflake et les pipelines d’ingestion vers Snowflake.
• Conception et développement d’ETL robustes et scalables.
• Maîtrise des mécanismes de synchronisation et de delta load.

Responsabilités

• Analyser l’existant et concevoir une solution d’ingestion de données en Python.
• Développer et déployer des pipelines ETL Oracle → Snowflake.
• Assurer fiabilité, logs et supervision des flux d’ingestion.
• Documenter la solution et garantir sa pérennité.

Connaissances

Python avancé

Oracle

Snowflake

ETL

Data Ingestion

Data architecture

Backend development

Outils

oracledb

cx_Oracle

SQLAlchemy

Snowflake Connector

Description du poste

Nature de la mission :

Expertise technique, architecture et développement Data Ingestion.

Nous recrutons un(e)

Expert Technique Data Engineer Python & Snowflake

Dans le cadre d'un projet stratégique d'optimisation de notre infrastructure Data, nous recherchons un(e) Expert(e) Technique Data Engineer spécialisé(e) en Data Ingestion, pour concevoir et développer une solution d'extraction et d'intégration de données entre un ERP IFS (base Oracle distante) et Snowflake.

Attention : nous recherchons un véritable profil technique / développeur backend orienté Data Engineering. Ce poste ne concerne ni la BI, ni la Data Visualisation, ni la Data Science.

Notre environnement actuel repose sur un dispositif permettant d'extraire des données depuis notre ERP IFS, hébergé sur une base de données Oracle externalisée.

Cette solution présente aujourd'hui certaines limites, notamment en matière de fréquence de rafraîchissement et d'évolutivité.

L'objectif est de concevoir et développer une nouvelle solution sur mesure, 100 % Python et basée exclusivement sur des technologies Open Source gratuites, permettant d'extraire les données de la base Oracle distante et de les ingérer de manière fiable, sécurisée et fréquente dans Snowflake.

Vous interviendrez sur l'ensemble du cycle de vie du projet, de la réflexion architecturale jusqu'au déploiement en production.

1. Architecture & cadrage technique

• Analyser l'existant et identifier les limites de la solution actuelle.
• Étudier et proposer une architecture d'ingestion de données entièrement développée en Python.
• Évaluer les librairies et technologies Open Source adaptées au besoin.
• Concevoir une solution sécurisée et évolutive pour accéder à une base Oracle externalisée.
• Définir le planning, les charges de développement, le budget et les étapes de déploiement.

2. Développement des pipelines Data Ingestion

• Concevoir et développer des pipelines ETL robustes et performants.
• Développer des scripts Python avancés pour la connexion, l'extraction et le chargement des données.
• Assurer l'intégration des données depuis Oracle vers Snowflake.
• Mettre en place des mécanismes de gestion des deltas et de synchronisation des données.
• Optimiser les performances d'extraction et la fréquence de rafraîchissement.
• Étudier les mécanismes adaptés : incrémental, CDC, API, etc.

3. Déploiement & fiabilisation

• Mettre en production les flux d'ingestion IFS / Oracle vers Snowflake.
• Mettre en place la gestion des erreurs, les logs et la supervision technique.
• Garantir la robustesse, la performance et la fiabilité des pipelines.
• Assurer la documentation technique et la pérennité de la solution.

Nous recherchons un(e) Expert(e) Technique Python / Data Engineer, disposant d'une solide expérience dans le développement de solutions d'ingestion de données.

Compétences techniques indispensables :

• Python avancé : excellente maîtrise du développement de scripts et de solutions d'ingestion de données.
• Oracle : maîtrise des connexions et des interactions avec des bases de données Oracle complexes.
• Snowflake : expérience concrète de l'ingestion de données (Snowflake Connector for Python, Snowpipe, chargements de masse, etc.).
• ETL / Data Ingestion : maîtrise de la conception et du développement de pipelines de données.
• Écosystème Python : connaissance de librairies telles que oracledb, cx_Oracle, SQLAlchemy et des connecteurs Snowflake.
• Optimisation : capacité à optimiser les requêtes et les extractions sur des bases distantes, sans impacter les performances de production.
• Architecture technique : maîtrise des problématiques de flux, de synchronisation, de gestion des volumes et de fiabilisation des traitements.

Les compétences qui feront la différence :

• Connaissance d'un ERP industriel, idéalement IFS.
• Expérience sur des architectures Data distribuées.
• Maîtrise des mécanismes CDC (Change Data Capture) et des stratégies d'ingestion incrémentale.
• Expérience dans la conception de solutions Data sur mesure en environnement contraint.

Un profil autonome, pragmatique et orienté développement, capable de :

• Comprendre rapidement un environnement technique existant.
• Faire les bons choix d'architecture.
• Concevoir une solution adaptée aux contraintes d'accès à une base Oracle distante.
• Développer une solution Python performante et industrialisable.
• Piloter techniquement son projet et respecter les délais et le budget.

Qui sommes nous ?

Ikivia est une société de conseil en IT & Digital autour de quatre grandes expertises métiers que sont : la gestion de projet, le développement, la Big Data et l’infrastructure IT. Nous mettons au service de nos clients notre expertise en recrutement pour leurs trouver les meilleurs profils aux plus proches de leurs besoins !

Nos valeurs ?

Nous sommes convaincus que le milieu professionnel doit permettre à chacun de s’épanouir. Pour ce faire, nous nous appuyons sur le modèle Ikigai. Issu de la tradition japonaise, ce modèle propose une approche autour de 4 éléments clés pour accompagner chacun dans la découverte de sa “raison d’être”. Appliquée au milieu professionnel, cette recherche se traduit par une activité qui a du sens, pour nous, comme pour le monde en replaçant l’humain au centre de notre activité.

Nos petits plus ?

-Des événements mensuels : qu’ils soient professionnels ou simplement conviviaux, ces événements permettent à nos collaborateurs de se créer un véritable réseau dans le secteur de l’IT et de développer des relations humaines fortes.

-Un suivi régulier : l’accompagnement est indispensable pour nous. Chacun de nos consultants est suivi par un IA et un RH de façon régulière pour avancer main dans la main.

Certification Great Place To Work : ce label témoigne de l’importance que nous accordons au bien-être de nos collaborateurs et à la création d’un environnement où chacun peut s’épanouir, collaborer et grandir.

-Une entreprise à taille humaine : nous accordons une importance toute particulière à l’humain. C’est pourquoi nous t’aidons dans ta préparation à l’entretien, nous te permettons d’accéder à des formations… Bref, nous mettons tout en place pour que tu t’épanouisses dans ton projet.