Big Data Engineer, Madrid

Overview

Buscamos un profesional para participar en la creación de un nuevo dashboard en Kibana, incluyendo tareas de preprocesamiento Big Data en el Data Lake (SCIB). Formará parte de un equipo de trabajo especializado en Market Risk, colaborando tanto en el desarrollo de procesos en tecnologías Big Data (Spark, Scala) como en tareas comunes del área.

Tecnologías clave: Kibana, Elasticsearch, Logstash, Hadoop, Spark, Scala.

Responsabilidades

• El rol implica trabajar con tecnologías del ecosistema ELK (Kibana, Elasticsearch, Logstash), procesamiento de datos en entornos distribuidos (Hadoop, Spark), y contribuir a la construcción de soluciones analíticas que ayuden a la gestión de riesgos del mercado.
• Desarrollo y mantenimiento de procesos de ingesta y transformación de datos en Spark (Scala).
• Diseño y construcción de dashboards en Kibana para la visualización de datos de Market Risk.
• Preprocesamiento y gestión de datos en el Data Lake (SCIB).
• Colaboración con el equipo para tareas comunes del área de Big Data.
• Aplicación de buenas prácticas de desarrollo y documentación de procesos.

Requisitos obligatorios

• Experiencia previa en proyectos tecnológicos, preferentemente de datos o analítica.
• Conocimiento técnico y experiencia en Scala y Apache Spark.
• Conocimiento de Hadoop.
• Manejo de sentencias SQL.
• Conocimiento básico de Shell scripting.
• Conocimiento básico de Kibana y del entorno ELK (Elasticsearch, Logstash, Kibana).

Requisitos deseables

• Conocimiento técnico de Azure Databricks.
• Experiencia previa en sector bancario o en Riesgos de Mercado.
• Conocimiento de Airflow como gestor de workflows / pipelines.

Condiciones

• Ubicación: Preferencia por ciudades donde tengamos sedes; posibilidad de valorar perfiles deslocalizados.
• Tarifa: Se definirá según experiencia y conocimientos.
• Inglés: Nivel B2 requerido.