Remote Data Engineer: Azure ETL & Spark Analytics

Agileengine, Llc.; Municipio de Rincón de los Sauces; Remote; ARS 1,200,000 - 1,900,000; Full time

Job summary

Agileengine, Llc. busca un Data Engineer para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando ingesta, transformación y disponibilidad de datos para analítica y BI. Se trabajará con Azure Data Factory, Azure Databricks y almacenamiento en Blob/Data Lake Gen2, aplicando governanza y buenas prácticas.

Debe manejar Spark y PySpark para batch y near-real-time, y colaborar con ciencia de datos, BI y producto; se valoran certificaciones DP-203 o Databricks y experiencia en CI/CD.

Qualifications

• Experiencia comprobable como Data Engineer (mín. 3 años) con Azure Data Factory y Azure Databricks.
• Dominio de Apache Spark y PySpark para procesamiento distribuido.
• Sólidos conocimientos de SQL: modelado, tuning y optimización.
• Conocimiento práctico de Azure Blob Storage y Azure Data Lake Gen2 (Parquet/Delta Lake).
• Familiaridad con herramientas de orquestación, monitoreo y CI/CD aplicadas a datos.
• Inglés técnico intermedio.
• Residir en Argentina.
• Experiencia con Delta Lake y optimizaciones de storage.
• Conocimientos en seguridad y gobernanza de datos: RBAC, Data Catalog.
• Python avanzado y librerías de data (pandas, numpy, Airflow).
• Experiencia en performance tuning de Spark y troubleshooting en Databricks.
• Certificaciones Azure relacionadas con datos (DP-203) o Databricks.
• Experiencia en entornos cloud a gran escala y trabajo ágil.

Responsibilities

• Diseñar y desarrollar pipelines ETL/ELT en Azure Data Factory y Databricks.
• Implementar pipelines con Spark y PySpark para batch y near-real-time.
• Modelar y optimizar consultas SQL para reporting y consumo analítico.
• Gestionar datos en Azure Blob Storage y Data Lake Gen2.
• Construir pipelines reproducibles con logging, métricas y alertas.
• Colaborar con ciencia de datos, BI y producto para contratos de datos y SLAs.
• Automatizar despliegues y pruebas de pipelines con CI/CD.
• Garantizar políticas de seguridad y privacidad de datos.
• Documentar arquitecturas y runbooks; participar en on-call cuando aplique.

Skills

Azure Data Factory

Azure Databricks

SQL

Python

Delta Lake

Apache Spark

Airflow

CI/CD

RBAC

Data governance

Tools

Azure Blob Storage

Azure Data Lake Gen2

Job description

Agileengine, Llc. busca un Data Engineer para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando ingesta, transformación y disponibilidad de datos para analítica y BI. Se trabajará con Azure Data Factory, Azure Databricks y almacenamiento en Blob/Data Lake Gen2, aplicando governanza y buenas prácticas.

Debe manejar Spark y PySpark para batch y near-real-time, y colaborar con ciencia de datos, BI y producto; se valoran certificaciones DP-203 o Databricks y experiencia en CI/CD.