Ingeniero/a de Datos (Azure Databricks)

Aliatic S.A.S; Medellín; Híbrido; COP 60.000.000 - 100.000.000; Jornada completa

Descripción de la vacante

Aliatic S.A.S busca un Ingeniero/a de Datos con al menos 2 años de experiencia para diseñar, construir y mantener pipelines de datos escalables sobre Azure. Trabajarás con Azure Databricks, PySpark y Azure Data Factory para integrar datos de múltiples fuentes en el lago de datos, garantizando calidad, trazabilidad y rendimiento.

La posición es híbrida en Medellín con contratación indefinida. Se requiere formación en Ingeniería de Sistemas u otras carreras afines y dominio de Python/SQL en

Formación

• Experiencia mínima de 2 años en ingeniería de datos.
• Diseñar, desarrollar y mantener pipelines de ingesta y transformación en Azure Databricks con PySpark y SQL.
• Conocimientos de orquestación con Azure Data Factory y monitoreo de flujos de datos.
• Conocimientos en Azure Data Lake y estructuras por capas (bronze, silver, gold).
• Buenas prácticas de pruebas de datos y gobierno de datos.

Responsabilidades

• Diseñar, construir y mantener pipelines de ingesta y transformación (ETL/ELT) en Azure Databricks con PySpark y SQL.
• Orquestar flujos de datos con Azure Data Factory: integración de fuentes, programación, parametrización y monitoreo.
• Modelar y organizar datos en Azure Data Lake bajo architectures por capas (bronze, silver, gold).
• Optimizar procesos de computación distribuida: particionamiento, manejo de skew, uso eficiente de clusters y costos.
• Implementar controles de calidad, validación y trazabilidad de los datos.
• Versionar código con Git y participar en revisiones de código (pull requests).
• Gestionar tareas y despliegues en Azure DevOps (Boards, Repos y pipelines de CI/CD).
• Documentar soluciones y trabajar con analistas, científicos de datos y áreas de negocio.

Conocimientos

Azure Databricks

PySpark

Azure Data Factory

SQL

Python

Git

Azure DevOps

Terraform

Delta Lake

Data modeling

Educación

Ingeniería de Sistemas

Herramientas

Azure Databricks

Azure Data Factory

Azure DevOps

Git

Terraform

Bicep

Delta Lake

Descripción del empleo

Buscamos un/a Ingeniero/a de Datos con mínimo 2 años de experiencia para diseñar, construir y mantener pipelines de datos escalables sobre Azure. Trabajarás con Azure Databricks, PySpark y Azure Data Factory para llevar datos desde múltiples fuentes hasta el lago de datos, garantizando calidad, trazabilidad y rendimiento.

• Cargo: Ingeniero/a de Datos
• Experiencia: mínimo 2 años en ingeniería de datos
• Ubicación / modalidad: Medellín / Híbrido
• Tipo de contrato: Indefinido
• Diseñar, desarrollar y mantener pipelines de ingesta y transformación (ETL/ELT) en Azure Databricks con PySpark y SQL.
• Orquestar flujos de datos con Azure Data Factory: integración de fuentes, programación, parametrización y monitoreo.
• Modelar y organizar datos en Azure Data Lake bajo arquitecturas por capas (bronze, silver, gold).
• Optimizar procesos de computación distribuida: particionamiento, manejo de skew, uso eficiente de clusters y costos.
• Implementar controles de calidad, validación y trazabilidad de los datos.
• Versionar código con Git y participar en revisiones de código (pull requests).
• Gestionar tareas y despliegues en Azure DevOps (Boards, Repos y pipelines de CI/CD).
• Documentar soluciones y trabajar con analistas, científicos de datos y áreas de negocio para entender sus necesidades.
• Mínimo 2 años de experiencia como Ingeniero/a de Datos o en un rol equivalente.
• Profesional en Ingeniería de Sistemas, Informática, Electrónica, Industrial, Matemáticas, Estadística o carreras afines.
• Azure Databricks: notebooks, jobs/workflows, clusters y Delta Lake.
• PySpark: transformaciones, joins, funciones de ventana y optimización de jobs.
• Computación distribuida: fundamentos de Spark (particiones, shuffles, ejecución perezosa, planes de ejecución).
• Azure Data Factory: pipelines, linked services, datasets, triggers y parametrización.
• Azure Data Lake Storage: organización de zonas, formatos (Parquet, Delta) y permisos.
• Python: código limpio, modular y probado.
• SQL: consultas avanzadas (CTE, funciones de ventana, agregaciones) y modelado de datos.
• Git: ramas, merge/rebase, resolución de conflictos y flujo de pull requests.
• Sólidos fundamentos de ingeniería de datos: ETL/ELT, modelado dimensional, calidad y gobierno de datos.
• Azure DevOps: Repos, Boards y pipelines de CI/CD.
• Unity Catalog y buenas prácticas de gobierno de datos en Databricks.
• Infraestructura como código (Terraform o Bicep) y Databricks Asset Bundles.
• Pruebas automatizadas de datos y código (pytest, Great Expectations o similares).
• Certificaciones de Databricks (Data Engineer Associate/Professional) o de Microsoft (DP-700; DP-203 vigente también es válida).
• Inglés técnico para lectura de documentación.

Competencias personales

• Pensamiento analítico y orientación a la resolución de problemas.
• Autonomía y capacidad para gestionar tareas de principio a fin.
• Comunicación clara con perfiles técnicos y de negocio.
• Trabajo en equipo bajo metodologías ágiles.
• Atención al detalle y compromiso con la calidad del dato.
• Proyectos de datos retadores sobre un stack moderno en Azure.
• Crecimiento profesional y apoyo para certificaciones.