Big Data Engineer Spark, Scala, ELK, hibrido

Krell Consulting & Training; Madrid; Presencial; EUR 50.000 - 70.000; Jornada completa

Descripción de la vacante

Una empresa de consultoría en tecnologías busca un Big Data Engineer para desarrollar dashboards en Kibana y trabajar con tecnologías como Spark y Scala. Se requiere experiencia en proyectos de datos y un nivel de inglés B2. La remuneración será acordada según la experiencia. Se valoran conocimientos en Azure Databricks y entorno bancario.

Formación

• Experiencia previa en proyectos tecnológicos, preferentemente de datos o analítica.
• Conocimiento técnico y experiencia en Scala y Apache Spark.
• Conocimiento básico de Shell scripting.

Responsabilidades

• Desarrollo y mantenimiento de procesos de ingesta y transformación de datos en Spark.
• Diseño y construcción de dashboards en Kibana para la visualización de datos.
• Preprocesamiento y gestión de datos en el Data Lake.

Conocimientos

Scala

Apache Spark

SQL

Kibana

Elasticsearch

Herramientas

Hadoop

Azure Databricks

Apache Airflow

Descripción del empleo

Overview

Big Data Engineer Spark, Scala, ELK

Ubicación: Preferencia por ciudades con sede (flexible para candidatos deslocalizados si el perfil encaja)

Modalidad: A convenir

Tarifa: Acorde a experiencia y conocimientos del perfil

Nivel de inglés: B2

Descripción del puesto

Buscamos un profesional para participar en la creación de un nuevo dashboard en Kibana, incluyendo tareas de preprocesamiento Big Data en el Data Lake (SCIB). Formará parte de un equipo de trabajo especializado en Market Risk, colaborando tanto en el desarrollo de procesos en tecnologías Big Data (Spark, Scala) como en tareas comunes del área.

El rol implica trabajar con tecnologías del ecosistema ELK (Kibana, Elasticsearch, Logstash), procesamiento de datos en entornos distribuidos (Hadoop, Spark), y contribuir a la construcción de soluciones analíticas que ayuden a la gestión de riesgos del mercado.

Responsabilidades

• Desarrollo y mantenimiento de procesos de ingesta y transformación de datos en Spark (Scala).
• Diseño y construcción de dashboards en Kibana para la visualización de datos de Market Risk.
• Preprocesamiento y gestión de datos en el Data Lake (SCIB).
• Colaboración con el equipo para tareas comunes del área de Big Data.
• Aplicación de buenas prácticas de desarrollo y documentación de procesos.

Requisitos OBLIGATORIOS

• Experiencia previa en proyectos tecnológicos, preferentemente de datos o analítica.
• Conocimiento técnico y experiencia en Scala y Apache Spark.
• Conocimiento de Hadoop.
• Manejo de sentencias SQL.
• Conocimiento básico de Shell scripting.
• Conocimiento básico de Kibana y del entorno ELK (Elasticsearch, Logstash, Kibana).

Requisitos DESEABLES (no obligatorios)

• Conocimiento técnico de Azure Databricks.
• Experiencia previa en sector bancario o en Riesgos de Mercado.
• Conocimiento de Airflow como gestor de workflows / pipelines.

Condiciones

Ubicación: Preferencia por ciudades donde tengamos sedes posibilidad de valorar perfiles deslocalizados.

Tarifa: Se definirá según experiencia y conocimientos.

Inglés: Nivel B2 requerido.

Palabras clave: Apache Spark, Scala, Hadoop, Kibana, Elasticsearch, Logstash, SQL, Shell scripting, Azure Databricks, Apache Airflow