Senior Data Engineer - Remote Data Ingestion & Etl

Bluelight Consulting, Llc; La Pampa; Remote; ARS 1,200,000 - 2,000,000; Full time

Job summary

Bluelight Consulting, Llc busca un Ingeniero de Datos para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, asegurando la ingesta y disponibilidad de datos para analítica corporativa.

La posición requiere experiencia con Azure Data Factory y Azure Databricks, SQL y gobernanza de datos, con trabajo remoto posible desde Argentina. Se valora Delta Lake, Spark, Python y prácticas CI/CD para datos, junto a colaboración estrecha con equipos de BI y producto.

Qualifications

• Experiencia comprobable con diseño e implementación de pipelines ETL/ELT.
• Al menos 3 años trabajando con Azure Data Factory y Azure Databricks.
• Conocimientos sólidos de Apache Spark y PySpark.
• Dominio de SQL y optimización de consultas.
• Conocimiento de Azure Blob Storage y Azure Data Lake Gen2, con formatos Parquet/Delta Lake.
• Experiencia con herramientas de orquestación (Airflow) y prácticas CI/CD para datos.
• Inglés técnico; residir en Argentina.
• Certificaciones DP-203 o Azure Data Engineer Associate o Databricks.
• Experiencia en entornos cloud a gran escala y equipos ágiles.

Responsibilities

• Diseñar y desarrollar pipelines de ingestión y transformación de datos.
• Garantizar la calidad, gobernanza y seguridad de datos.
• Instrumentar logging, métricas y alertas para observabilidad.
• Colaborar con ciencia de datos, BI y producto para contratos de datos y SLAs.
• Automatizar despliegues y pruebas de pipelines con CI/CD.
• Resolver problemas de performance y troubleshooting de jobs en Databricks.
• Documentar arquitecturas, runbooks y transferir conocimiento al equipo.

Skills

ETL/ELT diseño

Gobernanza de datos

Rendimiento y tuning

CI/CD para datos

Trabajo en equipo

Tools

Azure Data Factory

Azure Databricks

Azure Blob Storage

Azure Data Lake Gen2

Apache Spark

PySpark

Delta Lake

SQL

Python (pandas, numpy)

Airflow

Job description

Ubicación: Argentina | Puede ser 100% remoto

Integrarte a un equipo de datos para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando la ingesta, transformación y disponibilidad de datos para consumidores de negocio y modelos analíticos. El rol implica responsabilidad técnica en la implementación de soluciones con Azure Data Factory, Azure Databricks y ecosistemas de almacenamiento (Blob Storage, Data Lake) aplicando buenas prácticas de calidad, rendimiento y gobernanza de datos.

Diseñar y desarrollar pipelines de ingestión y transformación de datos utilizando Azure Data Factory y Azure Databricks.

Implementar procesos ETL/ELT con Apache Spark y PySpark para procesamiento por lotes y en tiempo casi real.

Modelar y optimizar consultas SQL y estructuras de datos para consumo analítico y reporting.

Gestionar y organizar datos en Azure Blob Storage y Azure Data Lake (Gen2), definiendo particionamiento, formatos y políticas de retención.

Construir pipelines reproducibles, parametrizables y observables; instrumentar logging, métricas y alertas.

Colaborar con equipos de ciencia de datos, BI y producto para definir contratos de datos, SLAs y requisitos de calidad.

Automatizar despliegues y pruebas de pipelines; aplicar control de versiones y prácticas CI/CD para artefactos de datos.

Garantizar cumplimiento de políticas de seguridad y privacidad en el manejo de datos sensibles.

Documentar arquitecturas, pipelines y runbooks; transferir conocimiento al equipo y participar en on-call rotativo cuando aplique.

Requisitos excluyentes:

Experiencia comprobable como Data Engineer (mín. 3 años) trabajando con Azure Data Factory y Azure Databricks.

Dominio de Apache Spark y PySpark para procesamiento distribuido y optimización de jobs.

Sólidos conocimientos de SQL: modelado, tuning y optimización de consultas.

Experiencia en diseño e implementación de pipelines ETL/ELT y en integración de datos.

Conocimiento práctico de Azure Blob Storage y Azure Data Lake (Gen2), incluyendo formatos como Parquet/Delta Lake.

Familiaridad con herramientas de orquestación, monitorización y CI/CD aplicadas a datos.

Inglés técnico: nivel intermedio (lectura de documentación y comunicación con equipos técnicos).

Residir en Argentina.

Experiencia con Delta Lake, optimizaciones de storage y compaction.

Conocimientos en seguridad y gobernanza de datos: RBAC, Data Catalog, políticas de enmascaramiento.

Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow o equivalentes).

Experiencia con performance tuning de Spark y troubleshooting de jobs en Databricks.

Certificaciones Azure relacionadas con datos (DP-203, Azure Data Engineer Associate) o Databricks.

Experiencia en entornos cloud a gran escala y en trabajo ágil con equipos multidisciplinarios.