1957 - Ingeniero de Datos Azure – Lakehouse & PySpark

Softgic; Medellín; On-site; COP 60,000,000 - 120,000,000; Full time

Job summary

Softgic busca Ingeniero de Datos con experiencia en soluciones Azure y arquitectura Lakehouse para diseñar, desarrollar y optimizar pipelines de datos en Medellín. El candidato trabajará con Azure Synapse Analytics, PySpark y Delta Lake para construir soluciones escalables y garantizar la calidad de los datos.

Se valorará visión de arquitectura, autonomía técnica y capacidad para resolver problemas complejos, con un fuerte enfoque en rendimiento y gobernanza de datos.

Qualifications

• Experiencia comprobable como Ingeniero de Datos en entornos Microsoft Azure.
• Dominio de Azure Synapse Analytics, PySpark y Delta Lake.
• Experiencia en arquitecturas Lakehouse y patrón Medallion (Bronze, Silver, Gold).
• Conocimientos sólidos en modelado dimensional de datos y diseño de estructuras analíticas.
• Dominio de Python, programación orientada a objetos y desarrollo modular.
• Experiencia en procesos ETL/ELT, integración y transformación de grandes volúmenes de datos.
• Manejo avanzado de SQL y T-SQL, incluyendo optimización de consultas y rendimiento.
• Experiencia en orquestación de pipelines dinámicos orientados a metadatos.
• Capacidad de análisis, resolución de problemas y aplicación de buenas prácticas de ingeniería de datos.
• Buscamos un profesional con sólida visión de arquitectura, autonomía técnica y enfoque en la calidad, eficiencia y escalabilidad de las soluciones de datos.

Responsibilities

• Diseñar, desarrollar y optimizar pipelines de datos utilizando Azure Synapse Analytics y PySpark.
• Implementar y administrar arquitecturas Lakehouse con Delta Lake, garantizando operaciones transaccionales, integridad y calidad de los datos.
• Diseñar estructuras de datos bajo la arquitectura Medallion (Bronze, Silver y Gold) y modelos dimensionales analíticos.
• Desarrollar procesos ETL/ELT y transformaciones de datos eficientes utilizando Python y PySpark.
• Implementar soluciones modulares y reutilizables mediante programación orientada a objetos (POO) en Python.
• Diseñar, integrar y optimizar bases de datos, consultas y procedimientos mediante T-SQL avanzado.
• Construir y mantener procesos de orquestación dinámica basada en metadatos, asegurando escalabilidad, automatización y trazabilidad.

Skills

Azure Synapse Analytics

PySpark

Delta Lake

Lakehouse

Medallion pattern

Python OOP

ETL/ELT

SQL/T-SQL

Metadatos orchestration

Job description

Estamos en búsqueda de un Ingeniero de Datos con experiencia en el diseño, desarrollo y optimización de soluciones de datos sobre el ecosistema Microsoft Azure , especializado en arquitecturas Lakehouse, procesamiento distribuido y construcción de pipelines de datos escalables y eficientes.

RequisitosRequisitos

• Experiencia comprobable como Ingeniero de Datos en entornos Microsoft Azure.
• Dominio de Azure Synapse Analytics, PySpark y Delta Lake .
• Experiencia en arquitecturas Lakehouse y patrón Medallion (Bronze, Silver, Gold).
• Conocimientos sólidos en modelado dimensional de datos y diseño de estructuras analíticas.
• Dominio de Python , programación orientada a objetos y desarrollo modular.
• Experiencia en procesos ETL/ELT, integración y transformación de grandes volúmenes de datos.
• Manejo avanzado de SQL y T-SQL , incluyendo optimización de consultas y rendimiento.
• Experiencia en orquestación de pipelines dinámicos orientados a metadatos.
• Capacidad de análisis, resolución de problemas y aplicación de buenas prácticas de ingeniería de datos.
• Buscamos un profesional con sólida visión de arquitectura, autonomía técnica y enfoque en la calidad, eficiencia y escalabilidad de las soluciones de datos.

Responsabilidades

• Diseñar, desarrollar y optimizar pipelines de datos utilizando Azure Synapse Analytics y PySpark .
• Implementar y administrar arquitecturas Lakehouse con Delta Lake , garantizando operaciones transaccionales, integridad y calidad de los datos.
• Diseñar estructuras de datos bajo la arquitectura Medallion (Bronze, Silver y Gold) y modelos dimensionales analíticos.
• Desarrollar procesos ETL/ELT y transformaciones de datos eficientes utilizando Python y PySpark.
• Implementar soluciones modulares y reutilizables mediante programación orientada a objetos (POO) en Python .
• Diseñar, integrar y optimizar bases de datos, consultas y procedimientos mediante T-SQL avanzado .
• Construir y mantener procesos de orquestación dinámica basada en metadatos , asegurando escalabilidad, automatización y trazabilidad.