Data Engineer Big Data (Spark / PySpark / Azure Databricks)

Metrica

Madrid

Remote

EUR 31,000 - 37,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Benefits offered by this job

Trabajo remoto
Contrato indefinido
Formación continua

Job summary

Métrica España busca un Data Engineer con experiencia en entornos Big Data para diseñar y optimizar pipelines con Spark, PySpark y Azure Databricks. Trabajo 100% remoto desde España, enfocado en soluciones escalables y eficientes.

Se valorará la capacidad de colaborar directamente con clientes, aplicar IA para acelerar el desarrollo y entregar mejoras continuas en rendimiento y coste. Contrato indefinido y desarrollo profesional.

Qualifications

  • Experiencia mínima de 3 años en entornos Big Data y procesamiento distribuido.
  • Conocimiento de Apache Spark, PySpark y Azure Databricks.
  • Capacidad para trabajar directamente con cliente y diseñar soluciones de datos eficientes y escalables.

Responsibilities

  • Diseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.
  • Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.
  • Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, cache, ejecución de DAG, stages y gestión de memoria.
  • Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.
  • Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.
  • Optimización de workloads, tiempos de ejecución, consumo de recursos y costes asociados a los procesos de datos.
  • Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.
  • Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming.
  • Uso de herramientas de IA aplicadas al desarrollo —GenAI, Copilot y LLMs— para revisión de código, generación de pruebas, validación y mejora de la productividad.
  • Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.
  • Documentación técnica de los desarrollos, pipelines y procesos implementados.
  • Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

Skills

Apache Spark
PySpark
Python
Azure Databricks

Tools

Azure Databricks
Delta Lake
GenAI
Copilot

Job description

Data Engineer Big Data (Spark / PySpark / Azure Databricks)

Modalidad:100% remoto

Experiencia:Mínimo 3 años

SBA: 34.000€

En Métrica España, buscamos un/a Data Engineer con experiencia en entornos Big Data, procesamiento distribuido y optimización de cargas con Apache Spark, PySpark y Azure Databricks.

Buscamos una persona proactiva, autónoma y resolutiva, con una sólida base técnica y capacidad para trabajar directamente con cliente. Si te interesa diseñar soluciones de datos eficientes, escalables y robustas, y utilizar herramientas de IA para agilizar el desarrollo, ¡esta es tu oportunidad!

Responsabilidades Principales

  • Diseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.
  • Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.
  • Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, caché, ejecución de DAG, stages y gestión de memoria.
  • Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.
  • Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.
  • Optimización de workloads, tiempos de ejecución, consumo de recursos y costes asociados a los procesos de datos.
  • Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.
  • Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming, cuando sea necesario.
  • Uso de herramientas de IA aplicadas al desarrollo —GenAI, Copilot y LLMs— para revisión de código, generación de pruebas, validación y mejora de la productividad.
  • Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.
  • Documentación técnica de los desarrollos, pipelines y procesos implementados.
  • Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

¿Qué ofrecemos?

  • Contrato indefinido.
  • Salario competitivo, acorde a la experiencia y conocimientos aportados.
  • Oportunidades de desarrollo profesional y formación continua.
  • Participación en proyectos de alto impacto tecnológico.
  • Entorno de trabajo colaborativo e innovador.
  • Flexibilidad horaria y modalidad de trabajo a definir.

Si eres un/a profesional de datos con experiencia en Spark, PySpark, Python y Azure Databricks, te motiva resolver retos de rendimiento y quieres trabajar directamente con cliente, ¡te invitamos a unirte a nuestro equipo en Métrica España!

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer (Spark, Scala, Java, Azure Databricks)
Data Engineer (Spark, Scala, Java, Azure Databricks)

Metrica • Madrid

Remote
EUR 32,000 - 39,000
Contrato indefinido
Salario competitivo
Formación continua
+1
Big Data Developer (Java, Spark & Azure Databricks) 100% Remoto
Big Data Developer (Java, Spark & Azure Databricks) 100% Remoto

Zemsania • Madrid

Remote
EUR 45,000 - 65,000
Big Data Developer | Python, PySpark y Databricks | 100 % remoto
Big Data Developer | Python, PySpark y Databricks | 100 % remoto

Metrica España • Madrid

Remote
EUR 30,000 - 35,000
Remoto 100%
Salario 30–35k brutos
Pagas 12/14
+3
Senior Spark PySpark Data Engineer Remote Azure Databricks
Senior Spark PySpark Data Engineer Remote Azure Databricks

Metrica • Madrid

Remote
EUR 31,000 - 37,000
Trabajo remoto
Contrato indefinido
Formación continua
Data Engineer – Spark | Azure & Aws | 100% Remoto
Data Engineer – Spark | Azure & Aws | 100% Remoto

Mensoft Consultores • Madrid

Remote
EUR 40,000 - 60,000
Ingeniero Azure Databricks - (remoto, 33-38k)
Ingeniero Azure Databricks - (remoto, 33-38k)

SQUAD Technology Solutions • Andalucía

Remote
EUR 42,000 - 62,000
Contrato indefinido
Incorporación inmediata
Proyecto estable a largo plazo
Databricks Data Engineer
Databricks Data Engineer

Ad4 Octogono • Madrid

On-site
EUR 30,000 - 38,000
Data Engineer 100% remoto España
Data Engineer 100% remoto España

Zemsania • Madrid

Remote
EUR 42,000 - 65,000
Senior Data Engineer (Databricks & PySpark)
Senior Data Engineer (Databricks & PySpark)

SDG Group España • Barcelona

Hybrid
EUR 45,000 - 75,000
Ticket restaurante
Ticket guardería
Ayuda al transporte
+1
Data Engineer
Data Engineer

Krimda • Spain

Remote
EUR 55,000 - 85,000