Big Data Engineer, Madrid

Krell Consulting & Training; Madrid; Híbrido; EUR 50.000 - 70.000; Jornada completa

Descripción de la vacante

Una empresa consultora busca un profesional en Madrid para desarrollar un dashboard en Kibana, implicando tareas en el Data Lake. Se requiere experiencia en Scala, Apache Spark y conocimientos en Hadoop. La colaboración en un equipo especializado es clave, así como el manejo de herramientas del ecosistema ELK. Se valoran perfiles deslocalizados pero preferencia por ciudades con sedes.

Formación

• Experiencia previa en proyectos tecnológicos, preferentemente de datos o analítica.
• Conocimiento técnico y experiencia en Scala y Apache Spark.
• Conocimiento de Hadoop.
• Manejo de sentencias SQL.
• Conocimiento básico de Shell scripting.
• Conocimiento básico de Kibana y del entorno ELK.

Responsabilidades

• Trabajar con tecnologías del ecosistema ELK para soluciones analíticas.
• Desarrollar y mantener procesos de ingesta y transformación de datos.
• Diseñar y construir dashboards en Kibana.
• Preprocesar y gestionar datos en el Data Lake.
• Colaborar con el equipo de Big Data.
• Aplicar buenas prácticas de desarrollo.

Conocimientos

Experiencia previa en proyectos tecnológicos

Conocimiento técnico en Scala

Apache Spark

Conocimiento de Hadoop

Manejo de sentencias SQL

Conocimiento de Shell scripting

Conocimiento de Kibana

Herramientas

Kibana

Elasticsearch

Logstash

Hadoop

Spark

Scala

Descripción del empleo

Overview

Buscamos un profesional para participar en la creación de un nuevo dashboard en Kibana, incluyendo tareas de preprocesamiento Big Data en el Data Lake (SCIB). Formará parte de un equipo de trabajo especializado en Market Risk, colaborando tanto en el desarrollo de procesos en tecnologías Big Data (Spark, Scala) como en tareas comunes del área.

Tecnologías clave: Kibana, Elasticsearch, Logstash, Hadoop, Spark, Scala.

Responsabilidades

• El rol implica trabajar con tecnologías del ecosistema ELK (Kibana, Elasticsearch, Logstash), procesamiento de datos en entornos distribuidos (Hadoop, Spark), y contribuir a la construcción de soluciones analíticas que ayuden a la gestión de riesgos del mercado.
• Desarrollo y mantenimiento de procesos de ingesta y transformación de datos en Spark (Scala).
• Diseño y construcción de dashboards en Kibana para la visualización de datos de Market Risk.
• Preprocesamiento y gestión de datos en el Data Lake (SCIB).
• Colaboración con el equipo para tareas comunes del área de Big Data.
• Aplicación de buenas prácticas de desarrollo y documentación de procesos.

Requisitos obligatorios

• Experiencia previa en proyectos tecnológicos, preferentemente de datos o analítica.
• Conocimiento técnico y experiencia en Scala y Apache Spark.
• Conocimiento de Hadoop.
• Manejo de sentencias SQL.
• Conocimiento básico de Shell scripting.
• Conocimiento básico de Kibana y del entorno ELK (Elasticsearch, Logstash, Kibana).

Requisitos deseables

• Conocimiento técnico de Azure Databricks.
• Experiencia previa en sector bancario o en Riesgos de Mercado.
• Conocimiento de Airflow como gestor de workflows / pipelines.

Condiciones

• Ubicación: Preferencia por ciudades donde tengamos sedes; posibilidad de valorar perfiles deslocalizados.
• Tarifa: Se definirá según experiencia y conocimientos.
• Inglés: Nivel B2 requerido.