Cybersecurite à France

La mission va se dérouler au sein du département IT Data Management & Business Intelligence, plus précisément dans l'équipe Big Data & API / Squad Financing & Risk. Cette équipe est actuellement responsable du développement et de la gestion d'un datalake nommé RiskLake. Ce datalake sert de plateforme de données centralisée pour les équipes IT et métiers. Il permet de stocker, traiter et analyser de grandes quantités de données de manière efficace et sécurisée.

L'objectif principal de la mission est d'assurer le rôle de Data Engineer pour le RiskLake. Les responsabilités incluent :

1. Gestion de la production
2. Gestion de la dette technique
3. Revoir l'architecture actuelle et proposer des évolutions
4. Développements liés aux projets

Profil candidat :

Technologies utilisées :

• Spark : Framework de calcul distribué pour le traitement de grandes quantités de données.
• PySpark : API Python pour Spark, permettant d'écrire des applications Spark en Python.
• Scala : Langage de programmation utilisé pour le développement d'applications Spark.
• Hadoop : Framework pour le stockage et le traitement de grandes quantités de données sur une infrastructure on-premise.
• Hive : Data warehouse pour Hadoop, permettant de requêter et gérer de grandes bases de données.
• SQL / HQL : Langages de requête pour interroger les bases de données relationnelles et Hive.
• Starburst : Moteur de requête SQL pour les données big data.
• Indexima : Plateforme de gestion de données en temps réel.
• Jenkins : Outil d'automatisation pour les pipelines CI / CD.
• Unix / Bash : Système d'exploitation et langage de script pour l'administration système.
• Jira : Outil de gestion de projet et de suivi des bugs.
• Pipeline CI / CD : Processus d'intégration et de déploiement continus.
• XLDeploy / XLRelease : Outils de déploiement et de gestion des releases pour les applications.