Senior Spark PySpark Data Engineer Remote Azure Databricks

Metrica; Madrid; A distancia; EUR 31.000 - 37.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Trabajo remoto

Contrato indefinido

Formación continua

Descripción de la vacante

Métrica España busca un Data Engineer con experiencia en entornos Big Data para diseñar y optimizar pipelines con Spark, PySpark y Azure Databricks. Trabajo 100% remoto desde España, enfocado en soluciones escalables y eficientes.

Se valorará la capacidad de colaborar directamente con clientes, aplicar IA para acelerar el desarrollo y entregar mejoras continuas en rendimiento y coste. Contrato indefinido y desarrollo profesional.

Formación

• Experiencia mínima de 3 años en entornos Big Data y procesamiento distribuido.
• Conocimiento de Apache Spark, PySpark y Azure Databricks.
• Capacidad para trabajar directamente con cliente y diseñar soluciones de datos eficientes y escalables.

Responsabilidades

• Diseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.
• Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.
• Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, cache, ejecución de DAG, stages y gestión de memoria.
• Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.
• Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.
• Optimización de workloads, tiempos de ejecución, consumo de recursos y costes asociados a los procesos de datos.
• Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.
• Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming.
• Uso de herramientas de IA aplicadas al desarrollo —GenAI, Copilot y LLMs— para revisión de código, generación de pruebas, validación y mejora de la productividad.
• Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.
• Documentación técnica de los desarrollos, pipelines y procesos implementados.
• Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

Conocimientos

Apache Spark

PySpark

Python

Azure Databricks

Herramientas

Azure Databricks

Delta Lake

GenAI

Copilot

Descripción del empleo

Métrica España busca un Data Engineer con experiencia en entornos Big Data para diseñar y optimizar pipelines con Spark, PySpark y Azure Databricks. Trabajo 100% remoto desde España, enfocado en soluciones escalables y eficientes.

Se valorará la capacidad de colaborar directamente con clientes, aplicar IA para acelerar el desarrollo y entregar mejoras continuas en rendimiento y coste. Contrato indefinido y desarrollo profesional.