Data Engineer

Recodme; España; Remote; EUR 70,000 - 110,000; Full time

Job summary

Recodme busca un/a Senior Azure Data Engineer remoto en España, con amplia experiencia en desarrollo y optimización de soluciones de datos en Microsoft Azure. Diseñarás y mantendrás pipelines escalables con Azure Databricks, PySpark, Spark SQL y Delta Lake.

Participarás en migraciones, aplicarás la arquitectura Medallion y gobernanza con Unity Catalog, y gestionarás integraciones mediante APIs REST desde Databricks.

Qualifications

• Experiencia sólida como Data Engineer en entornos Microsoft Azure.
• Dominio práctico de Azure Databricks, PySpark y Spark SQL.
• Experiencia con Delta Lake y pipelines basados en arquitecturas Lakehouse.
• Experiencia en Azure Data Factory (ADF) para orquestación ETL/ELT.
• Conocimiento de arquitecturas Medallion y gestión de capas de datos.
• Experiencia con Unity Catalog, gobernanza y control de acceso a los datos.
• Experiencia en integración de sistemas mediante APIs REST, usando PySpark.
• Capacidad para analizar y resolver problemas de rendimiento y calidad de datos.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de datos escalables utilizando Azure Databricks, PySpark, Spark SQL, Delta Lake y Azure Data Factory (ADF).
• Participar en proyectos de migración de datos, asegurando la integridad, calidad y consistencia de la información.
• Implementar arquitecturas de datos basadas en el modelo Medallion (Bronze, Silver y Gold).
• Gestionar y aplicar buenas prácticas de gobernanza, seguridad y control de acceso mediante Unity Catalog.
• Optimizar el rendimiento de los procesos de transformación y procesamiento de datos, mejorando la eficiencia de los pipelines.
• Integrar servicios y sistemas externos mediante APIs REST, implementando llamadas síncronas y asíncronas desde Databricks utilizando PySpark.
• Garantizar la fiabilidad, escalabilidad y mantenibilidad de las soluciones desplegadas en entornos productivos.

Tools

Azure Databricks

PySpark

Spark SQL

Delta Lake

Azure Data Factory

Medallion architecture

Unity Catalog

REST APIs

Job description

En ReCodme, aceleramos el desarrollo tecnológico de nuestros clientes y partners a través de soluciones especializadas, aportando valor a su continuidad y crecimiento.

Creemos en estar cerca de nuestra gente y en el valor añadido que cada persona aporta a nuestro equipo y proyectos.

¡Un ReCoder es un apasionado de la tecnología, la clave de nuestro éxito, la clave de nuestra fortaleza!

Actualmente estamos buscando un/a Senior Azure Data Engineer con amplia experiencia práctica en el desarrollo, diseño y optimización de soluciones de ingeniería de datos en Microsoft Azure.

Modalidad: Remota

• Experiencia sólida como Data Engineer en entornos Microsoft Azure.
• Dominio práctico de Azure Databricks, PySpark y Spark SQL.
• Experiencia trabajando con Delta Lake y desarrollando pipelines de datos basados en arquitecturas La.kehouse.
• Experiencia en Azure Data Factory (ADF) para la orquestación y automatización de procesos ETL/ELT.
• Conocimiento y experiencia en arquitecturas Medallion y gestión de capas de datos.
• Experiencia con Unity Catalog, incluyendo gobernanza, permisos y control de acceso a los datos.
• Experiencia en integración de sistemas mediante APIs REST, tanto síncronas como asíncronas, utilizando PySpark.
• Capacidad para analizar y resolver problemas complejos relacionados con el rendimiento y la calidad de los datos.

Responsabilidades principales:

• Diseñar, desarrollar y mantener pipelines de datos escalables utilizando Azure Databricks, PySpark, Spark SQL, Delta Lake y Azure Data Factory (ADF).
• Participar en proyectos de migración de datos, asegurando la integridad, calidad y consistencia de la información.
• Implementar arquitecturas de datos basadas en el modelo Medallion (Bronze, Silver y Gold).
• Gestionar y aplicar buenas prácticas de gobernanza, seguridad y control de acceso mediante Unity Catalog.
• Optimizar el rendimiento de los procesos de transformación y procesamiento de datos, mejorando la eficiencia de los pipelines.
• Integrar servicios y sistemas externos mediante APIs REST, implementando llamadas síncronas y asíncronas desde Databricks utilizando PySpark.
• Garantizar la fiabilidad, escalabilidad y mantenibilidad de las soluciones desplegadas en entornos productivos.

En Recodme, defendemos la igualdad y valoramos la diversidad. Creemos en un entorno seguro e inclusivo, donde todas las oportunidades son equitativas para nuestros colaboradores.

No discriminamos por edad, etnia, orientación sexual, género, discapacidad ni ningún otro factor no relacionado con el mérito.

¡Todas las candidaturas que cumplan con los requisitos son bienvenidas!