Data Engineer Big Data (Spark / PySpark / Azure Databricks)

Metrica; Madrid; A distancia; EUR 31.000 - 37.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Trabajo remoto

Contrato indefinido

Formación continua

Descripción de la vacante

Métrica España busca un Data Engineer con experiencia en entornos Big Data para diseñar y optimizar pipelines con Spark, PySpark y Azure Databricks. Trabajo 100% remoto desde España, enfocado en soluciones escalables y eficientes.

Se valorará la capacidad de colaborar directamente con clientes, aplicar IA para acelerar el desarrollo y entregar mejoras continuas en rendimiento y coste. Contrato indefinido y desarrollo profesional.

Formación

• Experiencia mínima de 3 años en entornos Big Data y procesamiento distribuido.
• Conocimiento de Apache Spark, PySpark y Azure Databricks.
• Capacidad para trabajar directamente con cliente y diseñar soluciones de datos eficientes y escalables.

Responsabilidades

• Diseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.
• Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.
• Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, cache, ejecución de DAG, stages y gestión de memoria.
• Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.
• Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.
• Optimización de workloads, tiempos de ejecución, consumo de recursos y costes asociados a los procesos de datos.
• Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.
• Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming.
• Uso de herramientas de IA aplicadas al desarrollo —GenAI, Copilot y LLMs— para revisión de código, generación de pruebas, validación y mejora de la productividad.
• Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.
• Documentación técnica de los desarrollos, pipelines y procesos implementados.
• Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

Conocimientos

Apache Spark

PySpark

Python

Azure Databricks

Herramientas

Azure Databricks

Delta Lake

GenAI

Copilot

Descripción del empleo

Data Engineer Big Data (Spark / PySpark / Azure Databricks)

Modalidad:100% remoto

Experiencia:Mínimo 3 años

SBA: 34.000€

En Métrica España, buscamos un/a Data Engineer con experiencia en entornos Big Data, procesamiento distribuido y optimización de cargas con Apache Spark, PySpark y Azure Databricks.

Buscamos una persona proactiva, autónoma y resolutiva, con una sólida base técnica y capacidad para trabajar directamente con cliente. Si te interesa diseñar soluciones de datos eficientes, escalables y robustas, y utilizar herramientas de IA para agilizar el desarrollo, ¡esta es tu oportunidad!

Responsabilidades Principales

• Diseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.
• Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.
• Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, caché, ejecución de DAG, stages y gestión de memoria.
• Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.
• Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.
• Optimización de workloads, tiempos de ejecución, consumo de recursos y costes asociados a los procesos de datos.
• Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.
• Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming, cuando sea necesario.
• Uso de herramientas de IA aplicadas al desarrollo —GenAI, Copilot y LLMs— para revisión de código, generación de pruebas, validación y mejora de la productividad.
• Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.
• Documentación técnica de los desarrollos, pipelines y procesos implementados.
• Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

¿Qué ofrecemos?

• Contrato indefinido.
• Salario competitivo, acorde a la experiencia y conocimientos aportados.
• Oportunidades de desarrollo profesional y formación continua.
• Participación en proyectos de alto impacto tecnológico.
• Entorno de trabajo colaborativo e innovador.
• Flexibilidad horaria y modalidad de trabajo a definir.

Si eres un/a profesional de datos con experiencia en Spark, PySpark, Python y Azure Databricks, te motiva resolver retos de rendimiento y quieres trabajar directamente con cliente, ¡te invitamos a unirte a nuestro equipo en Métrica España!