Senior Data Engineer Big Data & Cloud

Tecdata Engineering; Madrid; Hybrid; EUR 55,000 - 75,000; Full time

Job summary

Tecdata Engineering en Madrid busca un Data Engineer senior para liderar la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data con Cloudera, Spark y integración en Google Cloud Platform.

Se ofrece trabajo híbrido en Madrid, contrato indefinido, y participación en diseño de ingesta, almacenamiento y procesamiento; se trabajará con Spark/Scala, dbt/SQL/Python y gobierno de datos, reportando al Product Owner y colaborando con IT y negocio.

Qualifications

• Más de 3 años de experiencia en Data Engineering y plataformas de datos.
• Diseño y desarrollo de arquitecturas de datos batch y real time con Cloudera y Spark.
• Experiencia en Google Cloud Platform.

Responsibilities

• Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y GCP.
• Implantar y mantener plataformas de ingesta, almacenamiento y agregación de datos con Spark y BigQuery.
• Desarrollar, probar, desplegar y documentar procesos en Spark/Scala y en dbt/SQL/Python.
• Definir las bases arquitecturales y los procesos de gobierno del dato.
• Estimar la complejidad de las funcionalidades y ayudar al Product Owner a priorizar el backlog.
• Ser el interlocutor técnico con el cliente, IT y negocio, y participar en las demos.
• Resolver incidencias de producción y optimizar procesos productivos.
• Planificar y supervisar la ejecución de procesos con Control-M. Orientar técnicamente al resto del equipo y velar por las buenas prácticas y las normas del cliente.

Skills

Big Data

Cloudera

Spark

GCP

Scala

SQL

Python

dbt

Tools

dbt

Job description

Senior Data Engineer Big Data & Cloud

Trabajo Hibrido en madrid

Contrato indefinido

Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform.

Responsabilidades

• Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y GCP.
• Implantar y mantener plataformas de ingesta, almacenamiento y agregación de datos con Spark y BigQuery.
• Desarrollar, probar, desplegar y documentar procesos en Spark/Scala y en dbt/SQL/Python.
• Definir las bases arquitecturales y los procesos de gobierno del dato.
• Estimar la complejidad de las funcionalidades y ayudar al Product Owner a priorizar el backlog. Ser el interlocutor técnico con el cliente, IT y negocio, y participar en las demos.
• Resolver incidencias de producción y optimizar procesos productivos.
• Planificar y supervisar la ejecución de procesos con Control-M. Orientar técnicamente al resto del equipo y velar por las buenas prácticas y las normas del cliente.