Azure Data Engineer: Build Scalable Data Pipelines

Capgemini; Madrid; Híbrido; EUR 70.000 - 90.000; Jornada completa

Descripción de la vacante

Capgemini utiliza la tecnología para transformar organizaciones, con un equipo de Data & AI en Madrid. Buscamos un Azure Data Engineer para diseñar, desarrollar y optimizar arquitecturas de datos y pipelines en entornos cloud, asegurando flujo eficiente y seguro entre sistemas.

Participarás en proyectos end-to-end, colaborarás en arquitecturas modernas basadas en Azure y trabajarás con PySpark, Delta Lake y Databricks.

Formación

• Experiencia sólida con Azure Data Factory (ADF).
• Experiencia con Azure Synapse Analytics.
• Experiencia en Azure SQL Database.
• Conocimientos y experiencia trabajando con Azure Data Lake Storage (ADLS).
• Experiencia desarrollando y manteniendo procesos en PySpark.
• Experiencia como Ingeniero/a de Datos participando en todo el ciclo del dato: ingesta, transformación, almacenamiento, despliegue y monitorización.
• Conocimientos fundamentales de Azure DevOps y procesos CI/CD.
• Conocimientos en arquitecturas Medallion (Bronze, Silver y Gold).
• Conocimientos de seguridad y gestión de accesos.
• Nivel fluido de inglés oral y escrito.
• Conocimientos de Databricks y ecosistemas Big Data.
• Experiencia trabajando en arquitecturas Lakehouse.

Responsabilidades

• Diseñar, desarrollar y optimizar arquitecturas de datos y pipelines en entornos cloud.
• Garantizar un flujo eficiente, seguro y escalable de la información entre sistemas y equipos.
• Participar en proyectos end-to-end, desde definición hasta puesta en producción.
• Colaborar en el diseño de arquitecturas de datos modernas basadas en Azure.
• Desarrollar y mantener notebooks en PySpark para procesos de transformación y explotación de datos.
• Aplicar buenas prácticas de CI/CD.
• Colaborar en la implementación de arquitecturas Lakehouse y modelos Medallion.
• Velar por la seguridad y gobierno del dato mediante modelos de control de acceso y gestión de permisos.

Conocimientos

Azure Data Factory

Azure Synapse Analytics

Azure SQL Database

ADLS

PySpark

Azure DevOps

CI/CD

Lakehouse

Security and access management

Delta Lake

Databricks

GitHub Foundations

Herramientas

Databricks

Descripción del empleo

Capgemini utiliza la tecnología para transformar organizaciones, con un equipo de Data & AI en Madrid. Buscamos un Azure Data Engineer para diseñar, desarrollar y optimizar arquitecturas de datos y pipelines en entornos cloud, asegurando flujo eficiente y seguro entre sistemas.

Participarás en proyectos end-to-end, colaborarás en arquitecturas modernas basadas en Azure y trabajarás con PySpark, Delta Lake y Databricks.