Ingeniero de Datos Azure Senior

Softtek; Colombia; Hybride; COP 60 000 000 - 180 000 000; Plein temps

Résumé du poste

Softtek en Colombia busca un Ingeniero de Datos con 5+ años de experiencia para diseñar, construir y optimizar pipelines de ingesta y procesamiento de datos en entornos Azure Databricks. Deberá dominar ETL/ELT, SQL/NoSQL, Python/Scala, Spark, Unity Catalog y CI/CD; colaborar con equipos ágiles, integrar múltiples fuentes y asegurar calidad, seguridad y gobernanza de datos.

La posición requiere capacidad de trabajar en entornos híbridos y remotos dentro de Colombia, con certificaciones Azure

Qualifications

• 5+ años de experiencia en Ingeniería de Datos.
• Experiencia sólida en diseño, desarrollo y optimización de procesos ETL/ELT.
• Conocimientos avanzados de SQL y NoSQL.
• Experiencia desarrollando en Python y Scala dentro de Databricks.
• Experiencia con Apache Spark.
• Conocimiento de arquitecturas orientadas a eventos y microservicios.
• Experiencia trabajando con formatos JSON, XML, CSV, Parquet.
• Conocimiento y administración de Unity Catalog.
• Experiencia en CI/CD para soluciones de datos.
• Capacidad para optimizar consultas, extracción y rendimiento de datos.
• Experiencia con Kafka u otras plataformas de streaming.
• Conocimiento de Data Lakehouse Architecture.
• Experiencia con Terraform o IaC.
• Certificaciones Azure relacionadas con Data Engineering.
• Ambientes ágiles (Scrum/Kanban).
• Gobierno de datos, calidad de datos y seguridad en Azure.
• Diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.
• Implementar soluciones con Azure Databricks y Azure Data Factory.
• Diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.
• Garantizar la calidad, integridad y disponibilidad de la información.
• Integrar múltiples fuentes de datos estructurados y no estructurados.
• Implementar y administrar Unity Catalog para gobernanza y control de acceso.
• Optimizar procesos de extracción y procesamiento para grandes volúmenes.
• Participar en arquitecturas basadas en eventos y microservicios.
• Colaborar con equipos multidisciplinarios para transformar requerimientos de negocio en soluciones técnicas.
• Implementar y mantener CI/CD.

Responsabilités

• Diseñar, construir y mantener pipelines de ingesta, procesamiento y transformación de datos.
• Implementar soluciones robustas y escalables utilizando Azure Databricks y Azure Data Factory.
• Integrar múltiples fuentes de datos estructurados y no estructurados.
• Garantizar la calidad, integridad y disponibilidad de la información.
• Colaborar con equipos multidisciplinarios para entender requerimientos de negocio y transformarlos en soluciones técnicas.

Connaissances

Data Engineering

ETL/ELT design

Python

Scala

Databricks

Apache Spark

SQL

NoSQL

Event-driven

Microservices

Data formats

Unity Catalog

CI/CD

Kafka

Terraform

IaC

Azure Databricks

Azure Data Factory

Azure security

Data governance

Formation

Certificaciones Microsoft Azure – Data related

Outils

Azure Databricks

Azure Data Factory

Terraform

Description du poste

• 5+ años de experiencia en Ingeniería de Datos.
• Experiencia sólida en diseño, desarrollo y optimización de procesos ETL/ELT.
• Experiencia comprobable en diseño de bases de datos transaccionales.
• Conocimientos avanzados de bases de datos SQL y NoSQL.
• Experiencia desarrollando en Python y Scala dentro de entornos Databricks.
• Experiencia con procesamiento de datos a gran escala mediante Apache Spark.
• Conocimiento de arquitecturas orientadas a eventos y consumo de microservicios.
• Experiencia trabajando con formatos de datos: JSON, XML, CSV, Parquet
• Conocimiento y administración de Unity Catalog.
• Experiencia en implementación y mantenimiento de procesos CI/CD para soluciones de datos.
• Capacidad para optimizar consultas, procesos de extracción y rendimiento de plataformas de datos.
• Experiencia con Kafka u otras plataformas de streaming.
• Conocimiento de Data Lakehouse Architecture.
• Experiencia con Terraform o herramientas de Infraestructura como Código (IaC).
• Certificaciones Microsoft Azure relacionadas con Data Engineering.
• Experiencia en ambientes ágiles (Scrum / Kanban).
• Conocimiento de gobierno de datos, calidad de datos y seguridad en Azure.
• Diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.
• Implementar soluciones robustas y escalables utilizando Azure Databricks y Azure Data Factory.
• Diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.
• Garantizar la calidad, integridad y disponibilidad de la información.
• Integrar múltiples fuentes de datos estructurados y no estructurados.
• Implementar y administrar Unity Catalog para el gobierno y control de acceso a datos.
• Optimizar procesos de extracción y procesamiento para grandes volúmenes de información.
• Participar en la definición de arquitecturas de datos modernas basadas en eventos y microservicios.
• Colaborar con equipos multidisciplinarios para entender requerimientos de negocio y transformarlos en soluciones técnicas.
• Implementar y mantener procesos de integración y despliegue continuo (CI/CD).
• Identificar y resolver problemas de rendimiento, calidad y confiabilidad de los datos.

Idiomas Requeridos

Bogotá y alrededores - híbrido. Colombia - Remoto