Senior Azure Data Engineer: Spark & Delta Lake

Encora Inc.; Santa Fe Capital; A distancia; ARS 2.000.000 - 4.000.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Remote work

Descripción de la vacante

Encora Inc. busca un Data Engineer para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando ingesta y disponibilidad de datos para analítica y modelos.

Se trabajará con Azure Data Factory, Databricks y Delta Lake, implementando buenas prácticas de calidad, rendimiento y gobernanza. El rol implica desarrollo de pipelines reproducibles, monitorización y colaboración con equipos de BI y producto para definir SLAs y requisitos de calidad.

Formación

• Experiencia comprobable como Data Engineer (mín. 3 años) trabajando con Azure Data Factory y Azure Databricks.
• Dominio de Apache Spark y PySpark para procesamiento distribuido y optimización de jobs.
• Sólidos conocimientos de SQL: modelado, tuning y optimización de consultas.
• Experiencia en diseño e implementación de pipelines ETL/ELT y en integración de datos.
• Conocimiento práctico de Azure Blob Storage y Azure Data Lake (Gen2), incluyendo formatos como Parquet/Delta Lake.
• Familiaridad con herramientas de orquestación, monitorización y CI/CD aplicadas a datos.
• Inglés técnico: nivel intermedio (lectura de documentación y comunicación con equipos técnicos).
• Residir en Argentina.
• Experiencia con Delta Lake, optimizaciones de storage y compaction.
• Conocimientos en seguridad y gobernanza de datos: RBAC, Data Catalog, políticas de enmascaramiento.
• Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow o equivalentes).
• Experiencia con performance tuning de Spark y troubleshooting de jobs en Databricks.
• Certificaciones Azure relacionadas con datos

Responsabilidades

• Diseñar y desarrollar pipelines de ingestión y transformación de datos utilizando Azure Data Factory y Azure Databricks.
• Implementar procesos ETL/ELT con Apache Spark y PySpark para procesamiento por lotes y en tiempo casi real.
• Modelar y optimizar consultas SQL y estructuras de datos para consumo analítico y reporting.
• Gestionar y organizar datos en Azure Blob Storage y Azure Data Lake (Gen2), definiendo particionamiento, formatos y políticas de retención.
• Construir pipelines reproducibles, parametrizables y observables; instrumentar logging, métricas y alertas.
• Colaborar con equipos de ciencia de datos, BI y producto para definir contratos de datos, SLAs y requisitos de calidad.
• Automatizar despliegues y pruebas de pipelines; aplicar control de versiones y prácticas CI/CD para artefactos de datos.
• Garantizar cumplimiento de políticas de seguridad y privacidad en el manejo de datos sensibles.
• Documentar arquitecturas, pipelines y runbooks; transferir conocimiento al equipo y participar en on-call rotativo cuando aplique.

Conocimientos

Azure Data Factory

Azure Databricks

Apache Spark

PySpark

SQL

Delta Lake

Parquet

Airflow

CI/CD

Python avanzado

Herramientas

Azure Data Factory

Azure Databricks

Apache Spark

PySpark

Descripción del empleo

Encora Inc. busca un Data Engineer para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando ingesta y disponibilidad de datos para analítica y modelos.

Se trabajará con Azure Data Factory, Databricks y Delta Lake, implementando buenas prácticas de calidad, rendimiento y gobernanza. El rol implica desarrollo de pipelines reproducibles, monitorización y colaboración con equipos de BI y producto para definir SLAs y requisitos de calidad.