Ingeniero/a de Datos: Azure Databricks & Pipelines

Aliatic S.A.S; Medellín; Ibrido; COP 60.000.000 - 100.000.000; Tempo pieno

Descrizione del lavoro

Aliatic S.A.S busca un Ingeniero/a de Datos con al menos 2 años de experiencia para diseñar, construir y mantener pipelines de datos escalables sobre Azure. Trabajarás con Azure Databricks, PySpark y Azure Data Factory para integrar datos de múltiples fuentes en el lago de datos, garantizando calidad, trazabilidad y rendimiento.

La posición es híbrida en Medellín con contratación indefinida. Se requiere formación en Ingeniería de Sistemas u otras carreras afines y dominio de Python/SQL en

Competenze

• Experiencia mínima de 2 años en ingeniería de datos.
• Diseñar, desarrollar y mantener pipelines de ingesta y transformación en Azure Databricks con PySpark y SQL.
• Conocimientos de orquestación con Azure Data Factory y monitoreo de flujos de datos.
• Conocimientos en Azure Data Lake y estructuras por capas (bronze, silver, gold).
• Buenas prácticas de pruebas de datos y gobierno de datos.

Mansioni

• Diseñar, construir y mantener pipelines de ingesta y transformación (ETL/ELT) en Azure Databricks con PySpark y SQL.
• Orquestar flujos de datos con Azure Data Factory: integración de fuentes, programación, parametrización y monitoreo.
• Modelar y organizar datos en Azure Data Lake bajo architectures por capas (bronze, silver, gold).
• Optimizar procesos de computación distribuida: particionamiento, manejo de skew, uso eficiente de clusters y costos.
• Implementar controles de calidad, validación y trazabilidad de los datos.
• Versionar código con Git y participar en revisiones de código (pull requests).
• Gestionar tareas y despliegues en Azure DevOps (Boards, Repos y pipelines de CI/CD).
• Documentar soluciones y trabajar con analistas, científicos de datos y áreas de negocio.

Conoscenze

Azure Databricks

PySpark

Azure Data Factory

SQL

Python

Git

Azure DevOps

Terraform

Delta Lake

Data modeling

Formazione

Ingeniería de Sistemas

Strumenti

Azure Databricks

Azure Data Factory

Azure DevOps

Git

Terraform

Bicep

Delta Lake

Descrizione del lavoro

Aliatic S.A.S busca un Ingeniero/a de Datos con al menos 2 años de experiencia para diseñar, construir y mantener pipelines de datos escalables sobre Azure. Trabajarás con Azure Databricks, PySpark y Azure Data Factory para integrar datos de múltiples fuentes en el lago de datos, garantizando calidad, trazabilidad y rendimiento.

La posición es híbrida en Medellín con contratación indefinida. Se requiere formación en Ingeniería de Sistemas u otras carreras afines y dominio de Python/SQL en