Big Data Engineer

Aldia; Barcelona; Presencial; EUR 60.000 - 85.000; Jornada completa

Descripción de la vacante

ALDIA busca un/a Ingeniero/a de Big Data y Cloud para unirse a su equipo de consultoría en Barcelona. Trabajarás en pipelines de datos con Spark/Scala, pruebas y monitorización de plataformas en Azure, asegurando ingesta, transformación y procesamiento de datos robustos.

Se valorará experiencia en Hadoop/Hive y scripting. Se prevé incorporación indefinida y entorno de consultoría tecnológica a nivel internacional desde Barcelona.

Formación

• Mínimo 2 años de experiencia como ingeniero de software.
• Experiencia en programación funcional (preferiblemente Scala).
• Más de 1 año de experiencia en Apache Spark 2.0 o superior.
• Conocimiento de patrones de diseño de software.
• Capacidad para escribir consultas SQL complejas.
• Buena comprensión de la computación distribuida.

Responsabilidades

• Desarrollar pipelines de procesamiento de datos usando Spark/Scala.
• Desarrollar pruebas usando Spark/Scala.
• Desarrollar y monitorizar la plataforma en la nube Azure y componentes para ingesta, transformación y procesamiento de datos.
• Diagnosticar y resolver problemas complejos de la infraestructura de datos; optimizar rendimiento.
• Diseñar e implementar programas según requisitos funcionales y no funcionales.
• Desarrollar y mantener documentación técnica y seguir control de cambios.

Conocimientos

Software engineering

Functional programming (Scala)

Apache Spark

SQL

Distributed computing

Design patterns

Herramientas

Spark

Azure

Scala

Descripción del empleo

ALDIA es una multinacional con sede central en Londres y con presencia en algunos de los principales países de la Unión Europea (Inglaterra, Suecia, España, Francia y Alemania). Nos especializamos en la consultoría tecnológica y de ingeniería. Nuestro core de actividad se centra en las áreas claves de las industrias de Seguros, Finanzas, Comunicación, Infraestructura, Multimedia, Entretenimiento, Automoción, Ferroviario, Turbinas Eólicas y Oil & Gas.

ALDIA trabaja con su propio grupo de consultores para mejorar la calidad, crear estabilidad, minimizar riesgos y aportar soluciones tecnológicas e innovadoras formando parte de todas las fases del ciclo completo de vida de los procesos incorporando la metodología ágil en cada uno de ellos.

En la actualidad, estamos buscando un/a Big Data and Cloud Engineer para que se incorpore a nuestro equipo de consultores de forma indefinida.

Un/a Big Data Engineer para realizar la siguientes funciones:

• Desarrollar pipelines de procesamiento de datos usando Spark / Scala.
• Desarrollar pruebas usando Spark / Scala.
• Desarrollar y monitorizar de la plataforma en la nube Azure y varios componentes asociados para la ingesta, transformación y procesamiento de datos.
• Diagnosticar, aislar y resolver de forma eficaz problemas complejos relacionados con la infraestructura de datos, incluido el ajuste y la optimización del rendimiento.
• Diseñar y implementar de programas según requisitos funcionales y no funcionales.
• Desarrollar y mantener documentación técnica.
• Seguir los procesos de configuración / control de cambios establecidos.
• Más de 2 años de experiencia trabajando como ingeniero de software.
• Experiencia en programación funcional (preferiblemente Scala - gran ventaja).
• Más de 1 año de experiencia en Apache Spark 2.0 (gran ventaja).
• Conocimiento de patrones de diseño.
• Capacidad para escribir consultas SQL complejas.
• Una buena comprensión de la computación distribuida.

Se valora

• Experiencia en programación R.
• Experiencia con tecnologías Hadoop (Sqoop, Hive, Flume, etc.).
• Experiencia en exploración de datos utilizando cuadernos (cuadernos de Databricks).
• Experiencia en la automatización de tareas regulares (actualizaciones de datos, etc.)usando scripting bash y python.