Data Engineer Senior (Cloud Azure)

Softtek; Bogotá; Híbrido; COP 100.440.000 - 167.400.000; Jornada completa

Descripción de la vacante

Softtek busca un Data Engineer para diseñar, desarrollar e implementar soluciones escalables de integración y procesamiento de datos. Construirá pipelines en Azure y asegurará la calidad y disponibilidad de la información para socios internos y externos.

Se requiere experiencia en ETL, Data Warehouse y tecnologías como Spark, Kafka, Docker y Kubernetes. Se valorará conocimiento en SQL, Python, .NET o Java y capacidades para trabajar en entornos híbridos, colaborando con equipos técnicos y de

Formación

• Diseño y desarrollo de procesos ETL, pipelines de datos y soluciones de Data Warehouse.
• Conocimiento de bases de datos estructuradas y no estructuradas.
• Conocimientos de optimización de consultas SQL y rendimiento.
• Experiencia con servicios de Azure: Data Factory, Databricks y SQL Data Warehouse.
• Conocimientos de programación: Python, .NET, C# o Java.
• Experiencia en consumo e implementación de microservicios.
• Conocimientos de tecnologías Big Data: Apache Spark y Kafka.
• Experiencia con Docker, Kubernetes, Terraform y ARM Templates.
• Manejo de formatos JSON, XML y CSV.

Responsabilidades

• Diseñar e implementar soluciones escalables de integración y procesamiento de datos.
• Construir, mantener y optimizar pipelines de datos en Azure.
• Integrar múltiples fuentes de datos asegurando calidad, consistencia y disponibilidad.
• Desarrollar procesos ETL y soluciones de Data Warehouse.
• Monitorear y mejorar el rendimiento de los pipelines de datos.
• Aplicar buenas prácticas DevOps para despliegue y operación de soluciones de datos.
• Colaborar con equipos técnicos y de negocio para convertir requerimientos en soluciones de datos.

Conocimientos

ETL diseño

Data pipelines

Data Warehouse diseño

SQL optimización

Big Data conceptos

Herramientas

Azure Data Factory

Azure Databricks

SQL Data Warehouse

Event Hubs

Python

.NET

C#

Java

Docker

Kubernetes

Terraform

ARM Templates

Apache Spark

Kafka

Descripción del empleo

Buscamos un(a) Data Engineer para diseñar, desarrollar e implementar soluciones escalables de integración y procesamiento de datos. Será responsable de construir y optimizar pipelines de datos, garantizar la calidad de la información y colaborar con equipos técnicos y de negocio para transformar requerimientos en soluciones de datos eficientes.

Condiciones laborales

• Modalidad de trabajo:
• Híbrido para Bogotá y alrededores.
• Remoto para el resto de Colombia.
• Calendario Mexicano
• Diseñar e implementar soluciones escalables de integración y procesamiento de datos.
• Construir, mantener y optimizar pipelines de datos en Azure.
• Integrar múltiples fuentes de datos garantizando su calidad, consistencia y disponibilidad.
• Diseñar y desarrollar procesos ETL y soluciones de Data Warehouse.
• Optimizar procesos de extracción, transformación y carga (ETL).
• Desarrollar soluciones utilizando Azure Data Factory y Azure Databricks.
• Monitorear, depurar y mejorar continuamente el desempeño de los pipelines de datos.
• Implementar integraciones mediante arquitecturas basadas en microservicios.
• Aplicar buenas prácticas DevOps para el despliegue y operación de soluciones de datos.
• Colaborar con equipos técnicos y de negocio para convertir requerimientos en soluciones de datos.
• Garantizar el rendimiento, disponibilidad y confiabilidad de la información.

Habilidades y experiencia requeridas

• Experiencia en diseño y desarrollo de procesos ETL, pipelines de datos y soluciones de Data Warehouse.
• Experiencia con bases de datos estructuradas y no estructuradas.
• Conocimiento en optimización de consultas SQL y rendimiento.
• Experiencia con servicios de Azure como Data Factory, Databricks, SQL Data Warehouse y Event Hubs.
• Conocimientos de programación en Python, .NET, C# o Java.
• Experiencia en consumo e implementación de microservicios.
• Conocimiento de tecnologías Big Data como Apache Spark y Kafka.
• Experiencia con Docker, Kubernetes, Terraform y ARM Templates.
• Manejo de formatos de datos JSON, XML y CSV.