Data Engineer F/H

Siège de l'AP-HP; Paris; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Un établissement de santé public basé à Paris recherche un(e) Data Engineer pour intégrer son équipe d'Ingénierie des Données. Le candidat devra assembler et mettre en œuvre des solutions pour la collecte de données en imagerie médicale, en utilisant des technologies comme Spark et Hadoop. Une expérience dans le domaine scientifique et une maîtrise de l'anglais sont indispensables. Le poste inclut aussi la participation à des projets Open Source et à des missions d'optimisation des performances.

Qualifications

• Expérience dans le domaine médical ou scientifique.
• Maîtrise de l'anglais indispensable (écrit et oral).
• Capacité à travailler en équipe.

Responsabilités

• Assembler et mettre en œuvre les composants nécessaires à la collecte et exploitation des données.
• Concevoir et développer des solutions complexes de traitement de données.
• Optimiser la performance des outils/pipelines dans un contexte big data.

Connaissances

Développement Python

Big Data technologies

Gestion et configuration des serveurs

Collaboration

Analyse des données

Formation

Bac +5 en sciences de l'informatique

Outils

Spark

Hadoop

Kubernetes

Docker

Description du poste

Veuillez pour partager sur Facebook, Twitter et LinkedIn.

• Fonction publique : Fonction publique Hospitalière

Veuillez pour partager sur Facebook, Twitter et LinkedIn.

• Nature de l’emploi Emploi ouvert aux titulaires et aux contractuels
• Expérience souhaitée Non renseigné

Rémunération Fourchette indicative pour les contractuels Non renseignée Fourchette indicative pour les fonctionnaires Non renseignée

• Catégorie Non renseigné
• Management Non renseigné
• Télétravail possible Non renseigné

Nous sommes à la recherche d’un(e) Data Engineer pour rejoindre notre équipe Ingénierie des Données au sein de l’Entrepôt de Données (EDS) de l’AP-HP, le plus grand en Europe.

Vous serez spécifiquement en charge d’assembler et mettre en œuvre l’ensemble des composants nécessaires à la collecte, l’exploitation des données et le transfert des données spécifiques à l’imagerie médicale. Cela sera réalisé au travers de développements spécifiques, d’intégration d’outils pré-existants et libre ainsi que d’outils et logiciels mis à disposition par les partenaires académiques ou industriels du consortium, tout en s’appuyant sur l’ensemble des compétences et sur l’expertise des équipes de l’EDS.

Les travaux se font en équipe, et vous évoluerez au sein de feature teams composées de Data analysts, PO Data et Data Engineer, généralement accompagnés d’un chef de projet.

Détails des missions :
- Rédiger des spécifications techniques à partir des besoins exprimés par les utilisateurs.
- Concevoir et développer des solutions complexes de traitement de données de la source applicative vers l’EDS incluant la standardisation, la modélisation et le choix de stockage des données en tenant compte de la typologie spécifique des données.
- Intégrer, en fonction du besoin utilisateur, des algorithmes d’analyse, des méthodes statistiques, des algorithmes de Machine Learning/Deep Learning au sein des pipelines de traitement de données
- Optimiser la performance des outils/pipelines dans un contexte big data, en utilisant des technologies telles que Spark, Polars, etc..
- Assurer la sécurisation des applications ou outils développés, en garantissant la protection des données sensibles et le respect des réglementations en vigueur.
- Assurer la maintenance en condition opérationnelle des outils développés et mettre en place les outils nécessaires pour garantir leur performance et leur disponibilité continue.
- Rédiger la documentation technique ainsi que la documentation utilisateur, pour assurer une compréhension et une utilisation optimale des outils développés.
- Participer à l'animation de la communauté Open Source autour des projets créés, en résolvant des bugs, en gérant les suggestions de modification du code (Pull/Request), et en proposant des améliorations.
- Intervenir sur la conception d’outils pour l’annotation de données médicales d’imagerie, permettant aux chercheurs d’entraîner des modèles de Machine - Learning/Deep Learning, contribuant ainsi à l’émergence de l’Intelligence Artificielle à l’AP-HP.
- Réaliser une veille technique dans son domaine d’activité et assurer un transfert de compétence au sein de l’équipe, pour maintenir une expertise technique à jour et partagée.

Profil recherché

Compétences :
- Développement Python, Java, SQL, Scala, Bash
- Technologies Big Data : Hadoop, Spark, Hive, Deltalake, Kafka
- Gestion et configuration des serveurs
- Déploiement et Automatisation : scripts, Kubernetes, dockerisation, CI/CD
- Monitoring et Optimisation : Surveillance de la performance des systèmes

Prérequis :
- Profil bac +5 en sciences de l'informatique, sciences des données ou statistiques.
- Expérience dans le domaine médical ou scientifique
- Maîtrise de l'anglais indispensable (écrit et oral)

Savoir-faire et savoir être :
- Passionné(e) par la data et les nouveaux usages
- Organisé(e), méthodique, flexible et agile
- Analyse des Données : Capacité à interpréter et analyser des ensembles de données complexes
- Collaboration : Capacité à travailler en équipe avec d'autres parties prenantes
- Capacité rédactionnelle pour la documentation

Spécialiste méthode et outils / qualité / sécurité

Des offres d'emplois recommandées pour vous

• Fonction publique : Fonction publique de l'État
• Employeur : Bibliothèque Nationale de France (BNF)
• Fonction publique : Fonction publique de l'État
• Employeur : Secrétariat général - Service du numérique
• Fonction publique : Fonction publique de l'État
• Employeur : Direction de la Recherche, des Etudes, de l'Evaluation et des Statistiques (DREES)
• Fonction publique : Fonction publique de l'État
• Employeur : Direction de la transformation numérique
• Fonction publique : Fonction publique de l'État
• Fonction publique : Fonction publique de l'État