Senior Azure Data Engineer - Remote Data Pipelines Expert

Recodme; España; Remote; EUR 70,000 - 110,000; Full time

Job summary

Recodme busca un/a Senior Azure Data Engineer remoto en España, con amplia experiencia en desarrollo y optimización de soluciones de datos en Microsoft Azure. Diseñarás y mantendrás pipelines escalables con Azure Databricks, PySpark, Spark SQL y Delta Lake.

Participarás en migraciones, aplicarás la arquitectura Medallion y gobernanza con Unity Catalog, y gestionarás integraciones mediante APIs REST desde Databricks.

Qualifications

• Experiencia sólida como Data Engineer en entornos Microsoft Azure.
• Dominio práctico de Azure Databricks, PySpark y Spark SQL.
• Experiencia con Delta Lake y pipelines basados en arquitecturas Lakehouse.
• Experiencia en Azure Data Factory (ADF) para orquestación ETL/ELT.
• Conocimiento de arquitecturas Medallion y gestión de capas de datos.
• Experiencia con Unity Catalog, gobernanza y control de acceso a los datos.
• Experiencia en integración de sistemas mediante APIs REST, usando PySpark.
• Capacidad para analizar y resolver problemas de rendimiento y calidad de datos.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de datos escalables utilizando Azure Databricks, PySpark, Spark SQL, Delta Lake y Azure Data Factory (ADF).
• Participar en proyectos de migración de datos, asegurando la integridad, calidad y consistencia de la información.
• Implementar arquitecturas de datos basadas en el modelo Medallion (Bronze, Silver y Gold).
• Gestionar y aplicar buenas prácticas de gobernanza, seguridad y control de acceso mediante Unity Catalog.
• Optimizar el rendimiento de los procesos de transformación y procesamiento de datos, mejorando la eficiencia de los pipelines.
• Integrar servicios y sistemas externos mediante APIs REST, implementando llamadas síncronas y asíncronas desde Databricks utilizando PySpark.
• Garantizar la fiabilidad, escalabilidad y mantenibilidad de las soluciones desplegadas en entornos productivos.

Tools

Azure Databricks

PySpark

Spark SQL

Delta Lake

Azure Data Factory

Medallion architecture

Unity Catalog

REST APIs

Job description

Recodme busca un/a Senior Azure Data Engineer remoto en España, con amplia experiencia en desarrollo y optimización de soluciones de datos en Microsoft Azure. Diseñarás y mantendrás pipelines escalables con Azure Databricks, PySpark, Spark SQL y Delta Lake.

Participarás en migraciones, aplicarás la arquitectura Medallion y gobernanza con Unity Catalog, y gestionarás integraciones mediante APIs REST desde Databricks.