Data Engineer (Fabric)

Derevo; Colombia; Remote; COP 90,000,000 - 140,000,000; Full time

Benefits offered by this job

Bienestar integral

Desarrollo profesional

Creatividad e innovación

Crecemos juntos

Job summary

Derevo busca un Data Engineer (MS Fabric) para liderar la creación de arquitecturas modernas de datos, optimizar data warehouses, data lakes y lakehouses, y transformar grandes volúmenes de datos para que nuestros clientes tomen decisiones basadas en datos.

Este rol implica trabajar en un entorno ágil, participar en planificaciones, colaborar con equipos internos y clientes, y aplicar prácticas de CI/CD, gestión de pipelines y gobernanza de datos en Microsoft Fabric.

Qualifications

• Conocimientos en SQL y Python para manipulación de datos.
• Experiencia en arquitecturas de Big Data, data warehouses y data lakes.
• Habilidad para diseñar, implementar y optimizar pipelines ETL/ELT.
• Conocimientos de MS Fabric, Delta Lake y Synapse Analytics.
• Inglés avanzado para comunicación y documentación.

Responsibilities

• Diseñar e implementar arquitecturas modernas de datos con alta calidad.
• Reunir, procesar y orquestar grandes volúmenes de datos.
• Participar en sprint planning y sesiones de ingeniería con visión de consultor.
• Aplicar prácticas de CI/CD y gobernanza de datos.
• Colaborar con equipos internos y clientes para cumplir objetivos.

Skills

SQL

Python

PySpark

Big Data

Data Warehouses

Data Lakes

Data Modeling

ETL/ELT

Agile

Inglés

Tools

Delta Lake

Synapse Analytics

Azure DevOps

GitHub Actions

Job description

Descripción del puesto

En Derevo empoderamos a las empresas y a las personas, liberando el valor de los datos de nuestros clientes y potenciando el talento de quienes los transforman. Con más de 15 años de experiencia, diseñamos soluciones de datos e IA de punta a punta: desde la integración en arquitecturas modernas hasta la implementación de modelos inteligentes en procesos clave de negocio.

Si te apasiona el mundo de los datos la innovación, ¡este puede ser tu momento!

Buscamos tu talento Data Engineer (MS Fabric)

Tu misión:

Serás clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data. Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses. Serás el apasionado que recolecta, procesa, limpia y orquesta grandes volúmenes de datos, entendiendo modelos estructurados y semi-estructurados, para integrar y transformar múltiples fuentes con eficacia. Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos

¿Como lo harás?

• Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos.
• Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra.
• Colaborarás proactivamente en workshops y reuniones con el equipo interno y con el cliente.
• Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint.
• Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo.

¿Qué pedimos?

Para que te puedas incorporar y sentirte como pez en el agua siendo un Data Engineer en Derevo, esto es lo que consideraremos:

Inglés avanzado

Habilidades Técnicas:

Lenguajes de Consulta y Programación

DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos.

Python (PySpark):

Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad).

JSON / REST APIs:

Orquestación de pipelines y despliegues CI/CD mediante llamadas a Fabric REST APIs, parametrización dinámica de ejecuciones y gestión de artefactos.

Microsoft Fabric

• Lakehouse (OneLake + Delta Lake): modelado de datos con tablas Delta ACID, particionamiento y optimizaciones (OPTIMIZE, Z-ORDER) para mejorar rendimiento; uso de time travel para auditoría y recuperación.
• Warehouses (Synapse Analytics): configuración de clusters SQL provisionados y serverless; diseño de esquemas estrella/copo de nieve; ejecución de T-SQL transaccional con aislamiento y escalado automático de recursos.
• CI/CD & Lifecycle Management: definición de pipelines en Azure DevOps o GitHub Actions con entornos dev-test-prod; pruebas unitarias de datasets, validaciones de esquema y despliegue automatizado de artefactos.
• Monitor Hub & Activator: creación de dashboards personalizados para métricas de ingestión y transformación (latencia, throughput, errores); alertas proactivas y runbooks automáticos basados en condiciones definidas.
• Eventstreams & Eventhouse: configuración de ingesta de eventos en tiempo real sin código; definición de ventanas de procesamiento, agregaciones incrementales y almacenamiento optimizado para análisis temporal.
• Seguridad y Gobierno de Datos: administración granular de roles (Admin, Member, Contributor, Viewer) y permisos por workspace/item; políticas de row-level, column-level security y dynamic data masking; auditoría de accesos y cambios para cumplimiento normativo.
• Deseable: conocimientos generales en Azure Data Factory

Además, será importante que te sientas identificado con las siguientes Habilidades Blandas y de Negocio:

• Comunicación cercana: explicas hallazgos técnicos y de negocio de manera clara y directa.
• Trabajo en Squads: colaboras bajo el Squad Lead/Tech Lead, aportando ideas y levantando la mano cuando algo no encaja.
• Proactividad y colaboración: detectas problemas, propones soluciones y compartes el reto con el equipo para que juntos lo resolvamos.
• Aprendizaje constante: mantienes la mente abierta, consumes videos y documentación para especializarte en nuevas tecnologías.
• Responsabilidad y organización: gestionas tus OKRs, reportas avances y administras tu tiempo para cumplir compromisos.
• Consultoría de Datos: interpretas reglas de negocio y propones escenarios de implementación técnica para convertir necesidades en soluciones
• Gestión de Requerimientos: Análisis de alcance y requerimientos para asegurar el éxito del proyecto.
• Estrategia alineada al cliente: conviertes objetivos de negocio en arquitectura de datos práctica y robusta.
• Presentación a Clientes: comunicas propuestas y resultados de manera efectiva.

Qué beneficios tendrás?

• WELLNESS:Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarána lograrlo.
• LET'S RELEASE YOUR POWER:Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos y superarte a ti mismo.
• WE CREATE NEW THINGS:Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.
• WE GROW TOGETHER:Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.

Dónde lo harás?

Somos un gran equipo trabajando en un esquema remoto, somos flexibles y estructurados; proporcionando el equipo necesario para trabajar y herramientas de comunicación interna que faciliten nuestra operación y la de nuestros clientes.

Si cumples con la mayoría de los requisitos y te interesó el perfil nodudes en postularte, que nuestro equipo de Talent te contactará!

Become derevian & develop your superpower!