Data Engineer Lead

buscojobs España; España; Presencial; EUR 40.000 - 60.000; Jornada completa

Descripción de la vacante

A leading company in the field of Data, Cloud, and AI is seeking a Data Engineer to lead a team of six on a banking project. The role involves designing data pipelines, managing complex ETL workflows, and collaborating with stakeholders. Ideal candidates will have extensive experience with Python, Spark, and AWS, along with leadership skills.

Formación

• 5+ years experience as a Data Engineer.
• Leading teams and managing complex ETL workflows.

Responsabilidades

• Design and implement data pipelines using Apache Spark/Pyspark in AWS.
• Lead a Data Engineering team and manage task assignments.

Conocimientos

Python

Spark

Pyspark

SQL

PostgreSQL

CI/CD

Herramientas

AWS

Descripción del empleo

Scalian es una empresa de más de 6.000 personas con una dimensión internacional, con oficinas en Europa y América del Norte. Estamos especializados en ofrecer servicios a diferentes clientes enfocados en Data, Cloud e Inteligencia Artificial.

Buscamos un perfil de Ingeniero/a de datos que pueda liderar un squad de 6 personas para uno de nuestros proyectos en el sector bancario.

Responsabilidades:

1. Diseño e implementación de pipelines de datos con Apache Spark / Pyspark en AWS.
2. Gestión de workflows ETL complejos.
3. Realizar transformaciones complejas y cálculos intensivos sobre grandes volúmenes de datos con Apache Spark.
4. Modelado de datos, diseño de esquemas optimizados y manejo de datos a gran escala.
5. Implementación de procesos de CI / CD y despliegues automatizados en AWS.
6. Colaborar con el área de Cloud y TechHub para optimizar la infraestructura de AWS que soporta los procesos ETL.
7. Actuar como punto de contacto con stakeholders, responsable de producto y otros líderes técnicos, para alinear los modelos de datos con el reporting y los objetivos del negocio.
8. Liderar al equipo de Data Engineering, asignando tareas y revisando entregas, promoviendo la mejora técnica dentro del equipo.
9. Requisitos mínimos:

• Experiencia de al menos 5 años como Data Engineer trabajando con Python, Spark y Pyspark.
• Habilidades avanzadas con la herramienta AWS.
• Experiencia avanzada con SQL y PostgreSQL.
• Familiaridad con procesos de CI / CD.
• Experiencia en modelado, ingesta y transformación de datos.
• Experiencia previa liderando equipos.

Habilidades deseables:

• Experiencia con procesamiento de datos en tiempo real.

Ubicación:

Lleida, Provincia de Lleida, España.