Ingénieur/e Data - Services Publics - Toulouse

Soprasteria1; Colomiers; Sur place; EUR 70 000 - 95 000; Plein temps

Résumé du poste

Sopra Steria recrute un Ingénieur Data au sein de la communauté Data de la division Services Publics, pour accompagner les grands programmes de transformation et la maintenance des plateformes de données.

Vous travaillerez sur collecte, ETL, intégration et restitution des données, avec des technologies Big Data et BI, tout en garantissant sécurité et conformité.

Qualifications

• Expérience minimum 5 ans sur poste Data similaire.
• Projets Data Big Data, BI ou Data Science réalisés.
• Connaissance des pipelines ETL et de la sécurité des données.
• Capacité à travailler avec équipes Data et Architectes.

Responsabilités

• Collecter des données issues de sources internes et externes.
• Réaliser ETL et charger les entrepôts de données.
• Gérer données structurées et non structurées.
• Maintenir les pipelines et superviser les flux.
• Collaborer avec Data Scientists et Architectes Data.
• Garantir conformité et sécurité des données.
• Assurer performance et évolutivité des solutions.

Connaissances

Big Data

Data Science

BI

Datavisualisation

ETL

Python

SQL

Linux

DevOps

Security

Formation

Diplômé d'une école d'Ingénieurs

Outils

Sqoop

Spark

Hadoop

Airflow

Kubernetes

PowerBI

Tableau

Description du poste

Mission

La communauté Data de la division « Services Publics » de Sopra Steria accompagne les organismes, les administrations et autres entités de la sphère publique sur des grands programmes de transformation et de maintenance dans le domaine de l'informatique décisionnelle , de la datavisualisation , de la datascience , de l'IA ainsi que des technologies et architectures Big Data (Datalake, Lakehouse).

Notre présence globale dans l'écosystème depuis de nombreuses années et la connaissance approfondie des métiers de nos clients sont un atout majeur pour répondre aux grands enjeux de transformation impliqués par les réformes de l'Etat :

• Souveraineté ;
• Move to Cloud ;
• Mise en place de plateforme de données ;
• Gestion des données à caractère personnel ou sensibles ;
• Modernisation de socle technologique ;
• Maitrise des coûts SI ;
• Gestion de la dette technique.

En tant qu'Ingénieur Data, vous intégrerez une communauté d'experts au service de la valorisation de donnée de nos clients. En fonction de votre spécialisation et/ou appétence dans les métiers de la Data parmi la BI (informatique décisionnelle), la datavisualisation , le Big Data , la data science , vous serez amené à travailler sur les activités suivantes :

• Collecte de Données - Vous aurez la charge de collecter des données à partir de diverses sources internes et externes. Cela peut inclure des bases de données, des fichiers, des API, des flux de données en continu, etc.
• Extraction, Transformation et Chargement - Vous effectuerez des opérations de type ETL pour extraire les données des sources, les transformer en fonction des besoins (nettoyage, normalisation, agrégation, enrichissement, etc.) et les charger dans les entrepôts de données ou magasins du système décisionnel ou dans des formats optimisés pour le Big Data.
• Intégration des Données Structurées et Non Structurées - Vous gèrerez à la fois des données structurées (bases de données relationnelles, fichiers CSV, etc.) et des données non structurées (textes, images, vidéos) et les intégrerez sur une plateforme de donnée
• Gestion des Flux de Données en Continu - Vous traiterez les flux de données en continu provenant de sources telles que les capteurs IoT ou les journaux d'événements en temps réel, en garantissant leur disponibilité et leur intégrité
• Sécurité des Données - Vous veillerez à ce que les données collectées et intégrées soient sécurisées, en appliquant des mécanismes de chiffrement, de contrôle d'accès et de gestion des identités lorsque cela est nécessaire.
• Restitution des données - Vous construirez pour les analystes des solutions d'exposition (API), de reporting et de visualisation des données consolidées dans les datamarts métiers à l'aide d'outils ou de librairies de datavisualisation .
• Gestion des Métadonnées - Vous documenterez et gèrerez les métadonnées associées aux sources de données, aux transformations effectuées et aux schémas de données, en vue de faciliter la compréhension des données pour les Data Scientists et les analystes.
• Performance et Évolutivité - Vous optimiserez les processus d'intégration des données pour garantir des performances élevées et une évolutivité afin de gérer des volumes de données en croissance constante.
• Collaboration avec les autres équipes - Vous collaborerez étroitement avec les Data Scientists, les experts fonctionnels, les Architectes Data et les autres membres de l'équipe pour répondre aux besoins spécifiques de chaque projet.
• Gestion des accès aux données - Vous veillerez à ce que chaque profil utilisateur ait accès aux données adéquates, en conformité avec le système d'habilitations en place. Vous sécuriserez les transferts de fichiers entrants et sortants de l'environnement de travail afin de garantir la confidentialité des données sensibles.
• Planification et Automatisation - Vous planifierez les tâches d'intégration des données en fonction des besoins métier et mettrez en place des mécanismes d'automatisation pour réduire les délais et minimiser les erreurs humaines.
• Maintenance et Surveillance - Vous assurerez la maintenance continue des pipelines d'intégration des données et surveillerez les flux de données pour détecter et résoudre rapidement les problèmes.

Diplômé(e) d'une école d'Ingénieurs ou formation équivalente, vous avez déjà participé à un projet Data (Big Data, BI, data science) et vous avez une expérience de minimum 5 ans sur un poste similaire. Vous savez rechercher des solutions innovantes , en comprenant les

Environnement technique :

Big Data : Sqoop, Spark, Nifi, Hadoop, Cloudera, Hive, HDFS, S3, MinIO, Parquet, Ranger, Atlas, Kerberos, Yarn, Iceberg, Dremio, Trino, Keycloak, Kubernetes, Airflow

Data science : Python (et librairies), PySpark, R (et packages), SAS, Dataiku, Jupyter, Spark MLlib, FastAPI, Flask

BI / datavisualisation : Shell, SQL, PL/SQL, Oracle, PostgreSQL, Talend, MicroStrategy, DataStage, Microsoft SSIS, PowerBI, Qlik, DigDash, Suadeo, SuperSet, R Shiny

Transverse : Gitlab, JIRA, Confluence, Linux, DevOps