Senior Environmental Data Engineer

Holcim; Neuquén; Remote; ARS 3,000,000 - 5,200,000; Full time

Benefits offered by this job

Contrato full-time

Remoto 100%

Salario competitivo

Licencias y vacaciones

Aprendizaje

Job summary

Darwoft busca incorporar a un Senior Environmental Data Engineer para diseñar y operar pipelines ETL/ELT en Azure. El rol garantiza ingesta, transformación y disponibilidad de datos para consumidores de negocio y modelos analíticos, con énfasis en calidad, rendimiento y gobernanza de datos.

La posición implica trabajar con Azure Data Factory, Azure Databricks y almacenamiento en Azure Blob/Data Lake Gen2, con pipelines reproducibles y prácticas CI/CD.

Qualifications

• Experiencia comprobable como Data Engineer (mín. 3 años) trabajando con Azure Data Factory y Azure Databricks.
• Dominio de Apache Spark y PySpark para procesamiento distribuido y optimización de jobs.
• Sólidos conocimientos de SQL: modelado, tuning y optimización de consultas.
• Experiencia en diseño e implementación de pipelines ETL/ELT y en integración de datos.
• Conocimiento práctico de Azure Blob Storage y Azure Data Lake (Gen2), incluyendo formatos como Parquet/Delta Lake.
• Familiaridad con herramientas de orquestación, monitorización y CI/CD aplicadas a datos.
• Inglés técnico: nivel intermedio (lectura de documentación y comunicación con equipos técnicos).
• Residir en Argentina.
• Experiencia con Delta Lake, optimizaciones de storage y compaction.
• Conocimientos en seguridad y gobernanza de datos: RBAC, Data Catalog, políticas de enmascaramiento.
• Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow o equivalentes).
• Experiencia con performance tuning de Spark y troubleshooting de jobs en Databricks.
• Certificaciones Azure relacionadas con datos (DP-203, Azure Data Engineer Associate) o Databricks.
• Experiencia en entornos cloud a gran escala y en trabajo ágil con equipos multidisciplinarios.

Responsibilities

• Diseñar y desarrollar pipelines de ingestión y transformación de datos utilizando Azure Data Factory y Azure Databricks.
• Implementar procesos ETL/ELT con Apache Spark y PySpark para procesamiento por lotes y en tiempo casi real.
• Modelar y optimizar consultas SQL y estructuras de datos para consumo analítico y reporting.
• Gestionar y organizar datos en Azure Blob Storage y Azure Data Lake (Gen2), definiendo particionamiento, formatos y políticas de retención.
• Construir pipelines reproducibles, parametrizables y observables; instrumentar logging, métricas y alertas.
• Colaborar con equipos de ciencia de datos, BI y producto para definir contratos de datos, SLAs y requisitos de calidad.
• Automatizar despliegues y pruebas de pipelines; aplicar control de versiones y prácticas CI/CD para artefactos de datos.
• Garantizar cumplimiento de políticas de seguridad y privacidad en el manejo de datos sensibles.
• Documentar arquitecturas, pipelines y runbooks; transferir conocimiento al equipo y participar en on-call rotativo cuando aplique.

Skills

Azure Data Factory

Azure Databricks

Apache Spark

PySpark

SQL

Delta Lake

Python

CI/CD for data

Data governance

Data modeling

Tools

Airflow

Git

Azure Blob Storage

Azure Data Lake Gen2

Delta Lake

Job description

• Ofertas de Senior Environmental Data Engineer ...

Ubicación: Argentina | Puede ser 100% remoto

Integrarte a un equipo de datos para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando la ingesta, transformación y disponibilidad de datos para consumidores de negocio y modelos analíticos. El rol implica responsabilidad técnica en la implementación de soluciones con Azure Data Factory, Azure Databricks y ecosistemas de almacenamiento (Blob Storage, Data Lake) aplicando buenas prácticas de calidad, rendimiento y gobernanza de datos.

Diseñar y desarrollar pipelines de ingestión y transformación de datos utilizando Azure Data Factory y Azure Databricks.

Implementar procesos ETL/ELT con Apache Spark y PySpark para procesamiento por lotes y en tiempo casi real.

Modelar y optimizar consultas SQL y estructuras de datos para consumo analítico y reporting.

Gestionar y organizar datos en Azure Blob Storage y Azure Data Lake (Gen2), definiendo particionamiento, formatos y políticas de retención.

Construir pipelines reproducibles, parametrizables y observables; instrumentar logging, métricas y alertas.

Colaborar con equipos de ciencia de datos, BI y producto para definir contratos de datos, SLAs y requisitos de calidad.

Automatizar despliegues y pruebas de pipelines; aplicar control de versiones y prácticas CI/CD para artefactos de datos.

Garantizar cumplimiento de políticas de seguridad y privacidad en el manejo de datos sensibles.

Documentar arquitecturas, pipelines y runbooks; transferir conocimiento al equipo y participar en on-call rotativo cuando aplique.

Requisitos excluyentes

Experiencia comprobable como Data Engineer (mín. 3 años) trabajando con Azure Data Factory y Azure Databricks.

Dominio de Apache Spark y PySpark para procesamiento distribuido y optimización de jobs.

Sólidos conocimientos de SQL: modelado, tuning y optimización de consultas.

Experiencia en diseño e implementación de pipelines ETL/ELT y en integración de datos.

Conocimiento práctico de Azure Blob Storage y Azure Data Lake (Gen2), incluyendo formatos como Parquet/Delta Lake.

Familiaridad con herramientas de orquestación, monitorización y CI/CD aplicadas a datos.

Inglés técnico: nivel intermedio (lectura de documentación y comunicación con equipos técnicos).

Residir en Argentina.

Experiencia con Delta Lake, optimizaciones de storage y compaction.

Conocimientos en seguridad y gobernanza de datos: RBAC, Data Catalog, políticas de enmascaramiento.

Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow o equivalentes).

Experiencia con performance tuning de Spark y troubleshooting de jobs en Databricks.

Certificaciones Azure relacionadas con datos (DP-203, Azure Data Engineer Associate) o Databricks.

Experiencia en entornos cloud a gran escala y en trabajo ágil con equipos multidisciplinarios.

¿Qué te ofrecemos en Darwoft?

• Contrato full-time en relación de dependencia con pago en ARS.
• Trabajo 100% remoto.
• Salario competitivo.
• Licencias legales y vacaciones.
• Días personales adicionales al año.
• Acceso a plataformas de aprendizaje.
• Tarjeta de beneficios y descuentos.
• Welcome kit.
• Programas de reintegros.
• Clases de inglés.
• Programa de referidos.
• Regalo de cumpleaños.
• Healthy Break.
• Celebraciones al estilo Darwoft: aniversarios, fiestas de fin de año, cumpleaños y actividades de integración.