Desarrollador Spark/Scala

buscojobs España; Jaén; Presencial; EUR 35.000 - 50.000; Jornada completa

Descripción de la vacante

Una plataforma enfocada en oportunidades laborales busca un ingeniero de datos que se una a un equipo de alto rendimiento. El candidato ideal dominará herramientas como Databricks y Apache Airflow, y se encargará de diseñar y optimizar procesos de transformación de datos. La posición requiere experiencia en Python, SQL y herramientas de orquestación, así como un nivel de inglés C1.

Formación

• Experiencia en entornos de procesamiento de datos distribuidos.
• Conocimientos sólidos en orquestación de workflows.

Responsabilidades

• Diseñar, desarrollar y optimizar procesos de transformación de datos en Scala.
• Implementar y mantener pipelines de datos eficientes.

Conocimientos

Python

SQL

Apache Spark

Orquestación de flujos de datos

Databricks

Apache Airflow

Big Data

Inglés C1

Descripción del empleo

Con experiencia en entornos de procesamiento de datos distribuidos, para integrarse a un equipo de ingeniería de datos de alto rendimiento. El candidato ideal tendrá sólidos conocimientos de:

• Orquestación de workflows y experiencia trabajando en Databricks.
• Diseñar, desarrollar y optimizar procesos de transformación de datos en Scala.
• Implementar y mantener pipelines de datos eficientes y escalables.
• Trabajar con herramientas de orquestación como Apache Airflow para gestionar flujos de trabajo complejos.
• Desarrollar y ejecutar consultas SQL sobre grandes volúmenes de datos.
• Participar en el diseño y despliegue de soluciones sobre plataformas como Databricks.
• Colaborar con científicos de datos, analistas y otros equipos técnicos.
• Garantizar la calidad, documentación y trazabilidad de los procesos desarrollados.

Requisitos:

• Python avanzado.
• Experiencia comprobada en desarrollo con Apache Spark.
• Conocimientos sólidos en SQL avanzado.
• Conocimientos de herramientas de planificación de Jobs.
• Experiencia en orquestación de flujos de datos con Apache Airflow.
• Conocimiento práctico de entornos en la nube, preferentemente Azure Databricks.
• Experiencia trabajando con grandes volúmenes de datos (Big Data).
• Nivel de inglés C1.

Requisitos deseables: experiencia en metodologías ágiles (Scrum, Kanban), y conocimiento en otras tecnologías relevantes.

¿Cómo aplicar?

Crear una alerta de empleo para esta búsqueda