Ingeniero de Datos Azure: Arquitecto de Pipelines Lakehouse

Softgic; Medellín; Sur place; COP 60 000 000 - 120 000 000; Plein temps

Résumé du poste

Softgic busca Ingeniero de Datos con experiencia en soluciones Azure y arquitectura Lakehouse para diseñar, desarrollar y optimizar pipelines de datos en Medellín. El candidato trabajará con Azure Synapse Analytics, PySpark y Delta Lake para construir soluciones escalables y garantizar la calidad de los datos.

Se valorará visión de arquitectura, autonomía técnica y capacidad para resolver problemas complejos, con un fuerte enfoque en rendimiento y gobernanza de datos.

Qualifications

• Experiencia comprobable como Ingeniero de Datos en entornos Microsoft Azure.
• Dominio de Azure Synapse Analytics, PySpark y Delta Lake.
• Experiencia en arquitecturas Lakehouse y patrón Medallion (Bronze, Silver, Gold).
• Conocimientos sólidos en modelado dimensional de datos y diseño de estructuras analíticas.
• Dominio de Python, programación orientada a objetos y desarrollo modular.
• Experiencia en procesos ETL/ELT, integración y transformación de grandes volúmenes de datos.
• Manejo avanzado de SQL y T-SQL, incluyendo optimización de consultas y rendimiento.
• Experiencia en orquestación de pipelines dinámicos orientados a metadatos.
• Capacidad de análisis, resolución de problemas y aplicación de buenas prácticas de ingeniería de datos.
• Buscamos un profesional con sólida visión de arquitectura, autonomía técnica y enfoque en la calidad, eficiencia y escalabilidad de las soluciones de datos.

Responsabilités

• Diseñar, desarrollar y optimizar pipelines de datos utilizando Azure Synapse Analytics y PySpark.
• Implementar y administrar arquitecturas Lakehouse con Delta Lake, garantizando operaciones transaccionales, integridad y calidad de los datos.
• Diseñar estructuras de datos bajo la arquitectura Medallion (Bronze, Silver y Gold) y modelos dimensionales analíticos.
• Desarrollar procesos ETL/ELT y transformaciones de datos eficientes utilizando Python y PySpark.
• Implementar soluciones modulares y reutilizables mediante programación orientada a objetos (POO) en Python.
• Diseñar, integrar y optimizar bases de datos, consultas y procedimientos mediante T-SQL avanzado.
• Construir y mantener procesos de orquestación dinámica basada en metadatos, asegurando escalabilidad, automatización y trazabilidad.

Connaissances

Azure Synapse Analytics

PySpark

Delta Lake

Lakehouse

Medallion pattern

Python OOP

ETL/ELT

SQL/T-SQL

Metadatos orchestration

Description du poste

Softgic busca Ingeniero de Datos con experiencia en soluciones Azure y arquitectura Lakehouse para diseñar, desarrollar y optimizar pipelines de datos en Medellín. El candidato trabajará con Azure Synapse Analytics, PySpark y Delta Lake para construir soluciones escalables y garantizar la calidad de los datos.

Se valorará visión de arquitectura, autonomía técnica y capacidad para resolver problemas complejos, con un fuerte enfoque en rendimiento y gobernanza de datos.