Data Engineer Big Data (Spark / PySpark / Azure Databricks)

METRICA; United States; On-site; USD 23,000 - 38,000; Full time

Job summary

En Métrica España buscamos un/a Data Engineer con al menos 3 años de experiencia en entornos Big Data para diseñar, desarrollar y optimizar procesos distribuidos utilizando Apache Spark, PySpark y Azure Databricks. El rol implica colaborar con clientes y equipos, y aplicar IA para revisión de código y pruebas.

Se ofrece contrato indefinido, salario competitivo y oportunidades de desarrollo profesional. Trabajo 100% remoto, con flexibilidad horaria y proyectos de alto impacto tecnológico.

Qualifications

• Experiencia demostrable de al menos 3 años en Data Engineering, Big Data o desarrollo de soluciones de procesamiento distribuido.
• Experiencia sólida con Apache Spark y PySpark.
• Conocimientos avanzados de optimización en Spark: Particionado y shuffles; Persistencia y caché; DAG y stages; Gestión de memoria; Optimización de ejecución y rendimiento.
• Dominio de Python aplicado al tratamiento y procesamiento de datos.
• Experiencia con PySpark, Pandas y NumPy.
• Experiencia en diseño y desarrollo de procesos ETL/ELT, pipelines de datos y datasets.
• Experiencia con Azure Databricks y Delta Lake.
• Conocimientos de procesamiento de datos columnar con Pandas UDF, Vectorized UDF y Apache Arrow.
• Experiencia o conocimientos en algoritmos distribuidos e iterativos.
• Uso práctico de herramientas de IA para desarrollo de software, como GitHub Copilot, GenAI o LLMs, orientado a agilizar revisiones, pruebas y validaciones.
• Capacidad para comunicarse de manera técnica, clara y eficaz con cliente y equipos multidisciplinares.

Responsibilities

• Diseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.
• Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.
• Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, caché, ejecución de DAG, stages y gestión de memoria.
• Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.
• Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.
• Optimización de workloads, tiempos de ejecución, consumo de recursos y costes asociados a los procesos de datos.
• Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.
• Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming, cuando sea necesario.
• Uso de herramientas de IA aplicadas al desarrollo ---GenAI, Copilot y LLMs--- para revisión de código, generación de pruebas, validación y mejora de la productividad.
• Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.
• Documentación técnica de los desarrollos, pipelines y procesos implementados.
• Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

Skills

Apache Spark

PySpark

Python

Azure Databricks

Delta Lake

ETL/ELT

Pandas

NumPy

AI-assisted development

Spark optimization

Tools

Azure Databricks

Delta Lake

Pandas

NumPy

GitHub Copilot

GenAI

LLMs

Job description

Modalidad: 100% remoto

Experiencia: Mínimo 3 años

SBA : 34.000€

En Métrica España, buscamos un/a Data Engineer con experiencia en entornos Big Data, procesamiento distribuido y optimización de cargas con Apache Spark, PySpark y Azure Databricks.

Responsabilidades Principales

• Diseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.
• Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.
• Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, caché, ejecución de DAG, stages y gestión de memoria.
• Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.
• Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.
• Optimización de workloads, tiempos de ejecución, consumo de recursos y costes asociados a los procesos de datos.
• Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.
• Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming, cuando sea necesario.
• Uso de herramientas de IA aplicadas al desarrollo ---GenAI, Copilot y LLMs--- para revisión de código, generación de pruebas, validación y mejora de la productividad.
• Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.
• Documentación técnica de los desarrollos, pipelines y procesos implementados.
• Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

¿Qué ofrecemos?

• Contrato indefinido.
• Salario competitivo, acorde a la experiencia y conocimientos aportados.
• Oportunidades de desarrollo profesional y formación continua.
• Participación en proyectos de alto impacto tecnológico.
• Entorno de trabajo colaborativo e innovador.
• Flexibilidad horaria y modalidad de trabajo a definir.

Requisitos:

Requisitos Técnicos Indispensables

• Experiencia demostrable de al menos 3 años en Data Engineering, Big Data o desarrollo de soluciones de procesamiento distribuido.
• Experiencia sólida con Apache Spark y PySpark.
• Conocimientos avanzados de optimización en Spark:
• Particionado y shuffles.
• Persistencia y caché.
• DAG y stages.
• Gestión de memoria.
• Optimización de ejecución y rendimiento.
• Dominio de Python aplicado al tratamiento y procesamiento de datos.
• Experiencia con PySpark, Pandas y NumPy.
• Experiencia en diseño y desarrollo de procesos ETL/ELT, pipelines de datos y datasets.
• Experiencia con Azure Databricks y Delta Lake.
• Conocimientos de procesamiento de datos columnar con Pandas UDF, Vectorized UDF y Apache Arrow.
• Experiencia o conocimientos en algoritmos distribuidos e iterativos.
• Uso práctico de herramientas de IA para desarrollo de software, como GitHub Copilot, GenAI o LLMs, orientado a agilizar revisiones, pruebas y validaciones.
• Capacidad para comunicarse de manera técnica, clara y eficaz con cliente y equipos multidisciplinares.

Se valorará

• Conocimientos de Approximate Computing: HyperLogLog, Bloom Filters, sketching y estadísticas de datos en streaming.
• Experiencia en optimización de costes y rendimiento de cargas de trabajo en Azure Databricks.
• Conocimientos de arquitecturas Lakehouse y gestión de datos con Delta Lake.
• Experiencia trabajando en entornos Agile.