Ingeniero de Datos Azure Senior

Softtek; Colombia; Hybrid; COP 120,000,000 - 180,000,000; Full time

Job summary

Softtek solicita Ingeniero de Datos senior para liderar diseño, desarrollo y optimización de pipelines de datos en Azure. Se trabajará en entornos híbridos con Colombia, enfocados en Databricks y Data Factory, con énfasis en gobernanza, seguridad y calidad de datos.

Requisitos: 5+ años en ingeniería de datos, experiencia en Spark, SQL/NoSQL, y pipelines complejos; certificaciones Azure deseables; colaboración ágil y entrega continua.

Qualifications

• Experiencia ≥5 años en Ingeniería de Datos.
• Conocimiento de ETL/ELT, SQL/NoSQL y bases de datos transaccionales.
• Experiencia en Python y Scala dentro de Databricks.
• Dominio de Spark, Kafka y arquitecturas event-driven.
• Conocimientos de Unity Catalog, CI/CD y Data Lakehouse.
• Infraestructura como código (Terraform) y Azure Data Services.
• Ambientes ágiles (Scrum/Kanban) y gobernanza de datos en Azure.

Responsibilities

• Diseñar y mantener pipelines de ingesta, procesamiento y transformación.
• Optimizar consultas y rendimiento en grandes volúmenes de datos.
• Desarrollar soluciones en Azure Databricks y Azure Data Factory.
• Integrar fuentes estructuradas y no estructuradas y asegurar calidad.
• Aplicar CI/CD y governanza de datos con Unity Catalog.

Skills

Data Engineering

ETL/ELT

Transactional DB

SQL & NoSQL

Python

Scala

Apache Spark

Event-Driven

Microservices

Data formats

Unity Catalog

CI/CD

Kafka

Data Lakehouse

Terraform

Azure Data Eng

Agile/Scrum/Kanban

Azure security

Data Pipelines

Azure Databricks

Azure Data Factory

Tools

Azure Databricks

Azure Data Factory

Terraform

Job description

• 5+ años de experiencia en Ingeniería de Datos.
• Experiencia sólida en diseño, desarrollo y optimización de procesos ETL/ELT.
• Experiencia comprobable en diseño de bases de datos transaccionales.
• Conocimientos avanzados de bases de datos SQL y NoSQL.
• Experiencia desarrollando en Python y Scala dentro de entornos Databricks.
• Experiencia con procesamiento de datos a gran escala mediante Apache Spark.
• Conocimiento de arquitecturas orientadas a eventos y consumo de microservicios.
• Experiencia trabajando con formatos de datos: JSON, XML, CSV, Parquet
• Conocimiento y administración de Unity Catalog.
• Experiencia en implementación y mantenimiento de procesos CI/CD para soluciones de datos.
• Capacidad para optimizar consultas, procesos de extracción y rendimiento de plataformas de datos.
• Experiencia con Kafka u otras plataformas de streaming.
• Conocimiento de Data Lakehouse Architecture.
• Experiencia con Terraform o herramientas de Infraestructura como Código (IaC).
• Certificaciones Microsoft Azure relacionadas con Data Engineering.
• Experiencia en ambientes ágiles (Scrum / Kanban).
• Conocimiento de gobierno de datos, calidad de datos y seguridad en Azure.
• Diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.
• Implementar soluciones robustas y escalables utilizando Azure Databricks y Azure Data Factory.
• Diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.
• Garantizar la calidad, integridad y disponibilidad de la información.
• Integrar múltiples fuentes de datos estructurados y no estructurados.
• Implementar y administrar Unity Catalog para el gobierno y control de acceso a datos.
• Optimizar procesos de extracción y procesamiento para grandes volúmenes de información.
• Participar en la definición de arquitecturas de datos modernas basadas en eventos y microservicios.
• Colaborar con equipos multidisciplinarios para entender requerimientos de negocio y transformarlos en soluciones técnicas.
• Implementar y mantener procesos de integración y despliegue continuo (CI/CD).
• Identificar y resolver problemas de rendimiento, calidad y confiabilidad de los datos.

Idiomas Requeridos

Bogotá y alrededores - híbrido. Colombia - Remoto