Data Engineer Senior – Python / AWS / IA / Secteur Energie (H/F) (IT) / Freelance

Free-Work; Aubigny-sur-Nère; Sur place; EUR 70 000 - 95 000; Plein temps

Résumé du poste

Free-Work recherche un Data Engineer Senior pour renforcer une squad axée sur la performance énergétique et une plateforme Data organisée en Data Mesh.

Vous interviendrez sur l’ingénierie des données, le développement Python, le Cloud AWS et l’industrialisation de solutions Data & IA, avec un rôle opérationnel et référent technique.

Qualifications

• Expérience en ingénierie des données et développement Python pour des pipelines robustes.
• Conception et développement d’API et services Python (FastAPI).
• Maitrise AWS (Glue, Lambda, SQS, SNS, Redshift, API Gateway).
• Conception et optimisation des traitements SQL et modèles sur Redshift.
• Mise en œuvre de dbt et orchestrations Airflow.
• Industrialisation, tests automatisés, monitoring et supervision.

Responsabilités

• Concevoir et développer des pipelines de données robustes et maintenables.
• Développer des API et services Python (FastAPI).
• Évoluer des solutions sur AWS et Redshift et optimiser les traitements SQL.
• Promouvoir dbt pour les modèles de données et maintenir Airflow.
• Mettre en place tests automatisés, monitoring et alerting.
• Contribuer à Data Products dans un environnement Data Mesh.
• Contribuer à des cas Data Science/ML et à l’industrialisation IA.
• Assurer le Run et la fiabilité des produits de données.

Connaissances

Python

Data Engineering

APIs

Cloud AWS

Airflow

Tests et monitoring

Data Mesh

Outils

FastAPI

AWS (Glue, Lambda, SQS, SNS, Redshift)

dbt

Airflow

Description du poste

Nous recherchons un Data Engineer Senior pour renforcer une squad dédiée à la performance énergétique, au sein d'une plateforme Data organisée en Data Mesh.

Vous interviendrez sur des sujets à forte dominante Data Engineering, développement Python, Cloud AWS et industrialisation de solutions Data & IA, avec un rôle à la fois opérationnel et de référent technique.

Vos missions :

• Concevoir et développer des pipelines de données robustes, industrialisés et maintenables.

• Développer des API et services Python, notamment avec FastAPI.

• Concevoir et faire évoluer des solutions sur AWS : Glue, Lambda, SQS, SNS, Redshift, API Gateway…

• Concevoir et optimiser les traitements SQL et les modèles de données sur Redshift.

• Participer à la mise en œuvre et à l'évolution des modèles de données avec dbt.

• Concevoir et maintenir les orchestrations avec Airflow.

• Mettre en place les tests automatisés, le monitoring, l'alerting et la supervision.

• Contribuer à la construction et à l'évolution de Data Products dans un environnement Data Mesh.

• Participer à des cas d'usage Data Science, Machine Learning et IA appliquée.

• Contribuer à l'industrialisation et à la mise en production de modèles et solutions IA.

• Prendre en charge le Run, analyser les incidents et garantir la fiabilité des produits de données.

• Participer aux choix techniques, benchmarks, POC et spikes.

• Travailler en proximité avec les Data Analysts, Analytics Engineers, Data Scientists, Architectes et Product Owners.