CDI ou pré embauche - Data engineer

Mobile Tech People; Marseille; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise technologique près de Marseille recherche un Data Engineer pour renforcer son équipe. Le candidat idéal doit être expert en Python et avoir de l'expérience sur des clouds publics comme GCP, AWS ou Azure. Les responsabilités incluent le développement de pipelines de données et la supervision des environnements en production. Ce poste est en CDI à temps plein avec possibilité de télétravail partiel.

Qualifications

• 2 à 5 ans d’expérience en Data Engineering, idéalement dans un contexte Big Data ou scientifique.
• Expérience en gestion de projets en autonomie, du recueil des besoins jusqu’à la mise en production.
• Une connaissance du domaine environnemental, scientifique ou climatique est un plus.

Responsabilités

• Développer des scripts et workflows en Python pour récupérer, transformer et stocker des données.
• Packager les applications dans des conteneurs Docker.
• Superviser les pipelines et gérer les incidents.
• Adapter les architectures pour garantir la scalabilité et la performance.

Connaissances

Python expert (polars, xarray, pandas, netCDF4…)

Expérience sur un cloud public (GCP, AWS ou Azure)

Docker

Kubernetes

Argo

GitLab CI / CD

Terraform

Formation

Bac+5 en Informatique, Data Science ou Ingénierie

Outils

Dask

Git

Jenkins

Description du poste

Contexte

Nous recherchons un Data Engineer pour renforcer une équipe dédiée à l’exploitation et à la valorisation de données environnementales.

L’objectif de la mission est de contribuer à l’industrialisation et à l’optimisation des processus d’ingestion, de traitement et de publication d’indicateurs liés aux données scientifiques.

Missions principales

Conception & développement de pipelines

• Développer des scripts et workflows en Python pour récupérer, transformer et stocker des données volumineuses.
• Orchestrer les tâches avec Argo, Prefect ou un outil équivalent.

Industrialisation & automatisation

• Packager les applications dans des conteneurs Docker.
• Déployer et faire évoluer les environnements sur Kubernetes (hébergés dans un cloud public).
• Mettre en place et maintenir la CI / CD (GitLab CI, Jenkins ou similaire).

Maintenance & support

• Superviser les pipelines et les services en production.
• Gérer les incidents et mettre en œuvre les correctifs nécessaires.

Optimisation & montée en charge

• Adapter les architectures pour garantir la scalabilité, la performance et la maîtrise des coûts.
• Proposer et mettre en œuvre des améliorations continues (refactoring, modularisation, tests unitaires et d’intégration).

Documentation & transfert de compétences

• Rédiger et maintenir la documentation technique (README, runbooks).
• Former et accompagner les équipes internes sur les bonnes pratiques Data Engineering et DevOps.

Profil recherché

Compétences techniques essentielles

• Langages : Python expert (polars, xarray, pandas, netCDF4…), Dask.
• Cloud & infrastructures : expérience sur un cloud public (GCP, AWS ou Azure).
• Conteneurisation & orchestration : Docker, Kubernetes.
• Orchestration de workflows : Argo, Prefect, ou équivalent.
• CI / CD & DevOps : Git, GitLab CI / CD ou Jenkins, gestion des secrets, déploiements automatisés.
• Méthodologies : OOP, tests unitaires, GitOps, Infrastructure as Code (Terraform, Helm, etc.).

Expérience et formation

• Bac+5 en Informatique, Data Science ou Ingénierie.
• 2 à 5 ans d’expérience en Data Engineering, idéalement dans un contexte Big Data ou scientifique.
• Expérience en gestion de projets en autonomie, du recueil des besoins jusqu’à la mise en production.
• Une connaissance du domaine environnemental, scientifique ou climatique est un plus.

Qualités personnelles

• Rigueur et sens de l’organisation.
• Esprit d’équipe et bonnes capacités de communication.
• Curiosité et proactivité dans l’adoption de nouvelles technologies.

Conditions

• Type de contrat : CDI, temps plein.
• Localisation : Près de Marseille (télétravail partiel possible).