Senior Azure Data Engineer - Databricks, Spark & Lakehouse

Softtek

Colombia

Hybrid

COP 60,000,000 - 180,000,000

Full time

6 hours ago

Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

Softtek en Colombia busca un Ingeniero de Datos con 5+ años de experiencia para diseñar, construir y optimizar pipelines de ingesta y procesamiento de datos en entornos Azure Databricks. Deberá dominar ETL/ELT, SQL/NoSQL, Python/Scala, Spark, Unity Catalog y CI/CD; colaborar con equipos ágiles, integrar múltiples fuentes y asegurar calidad, seguridad y gobernanza de datos.

La posición requiere capacidad de trabajar en entornos híbridos y remotos dentro de Colombia, con certificaciones Azure

Qualifications

5+ años de experiencia en Ingeniería de Datos.
Experiencia sólida en diseño, desarrollo y optimización de procesos ETL/ELT.
Conocimientos avanzados de SQL y NoSQL.
Experiencia desarrollando en Python y Scala dentro de Databricks.
Experiencia con Apache Spark.
Conocimiento de arquitecturas orientadas a eventos y microservicios.
Experiencia trabajando con formatos JSON, XML, CSV, Parquet.
Conocimiento y administración de Unity Catalog.
Experiencia en CI/CD para soluciones de datos.
Capacidad para optimizar consultas, extracción y rendimiento de datos.
Experiencia con Kafka u otras plataformas de streaming.
Conocimiento de Data Lakehouse Architecture.
Experiencia con Terraform o IaC.
Certificaciones Azure relacionadas con Data Engineering.
Ambientes ágiles (Scrum/Kanban).
Gobierno de datos, calidad de datos y seguridad en Azure.
Diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.
Implementar soluciones con Azure Databricks y Azure Data Factory.
Diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.
Garantizar la calidad, integridad y disponibilidad de la información.
Integrar múltiples fuentes de datos estructurados y no estructurados.
Implementar y administrar Unity Catalog para gobernanza y control de acceso.
Optimizar procesos de extracción y procesamiento para grandes volúmenes.
Participar en arquitecturas basadas en eventos y microservicios.
Colaborar con equipos multidisciplinarios para transformar requerimientos de negocio en soluciones técnicas.
Implementar y mantener CI/CD.

Responsibilities

Diseñar, construir y mantener pipelines de ingesta, procesamiento y transformación de datos.
Implementar soluciones robustas y escalables utilizando Azure Databricks y Azure Data Factory.
Integrar múltiples fuentes de datos estructurados y no estructurados.
Garantizar la calidad, integridad y disponibilidad de la información.
Colaborar con equipos multidisciplinarios para entender requerimientos de negocio y transformarlos en soluciones técnicas.