Senior Data Engineer: Entity Resolution & MDM (Remote)

Improving South America; Colombia; A distancia; COP 200.040.000 - 400.080.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Contrato a largo plazo

100% Remoto

Vacaciones y PTOs

Clases de inglés

Equipamiento Apple

Plataforma de cursos en línea

Budget para libros

Budget para materiales de trabajo

Descripción de la vacante

Improving South America busca un Senior Data Engineer para diseñar y evolucionar una plataforma de identidad basada en datos de múltiples sistemas. Se trabajará en procesos de matching de alta precisión y en pipelines configurables que integren fuentes dispares.

El rol exige experiencia profunda en Entity Resolution / MDM, PySpark a escala y Delta Lake, con enfoque en trazabilidad, seguridad de datos y cumplimiento. Remoto 100% | crecimiento profesional.

Formación

• Experiencia 7+ años en Data Engineering con ownership sobre plataformas productivas.

Responsabilidades

• Diseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas.
• Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual.
• Procesar grandes volúmenes de datos con PySpark y Delta Lake.
• Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes.
• Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos.
• Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse.
• Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching.
• Definir y monitorear criterios de calidad, latencia y actualización de los datos.
• Documentar reglas, decisiones técnicas y funcionamiento de los pipelines.
• Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad y casos ambiguos.
• Participar en la evolución y mantenimiento de una plataforma de datos productiva.

Conocimientos

Entity Resolution

MDM

PySpark

Delta Lake

Azure SQL

Microsoft Fabric

T-SQL

Data Engineering

English

Herramientas

PySpark

Delta Lake

Microsoft Fabric

Lakehouse

Notebooks

Pipelines

Azure DevOps

ADLS Gen2

Azure SQL

Power BI

Descripción del empleo

Improving South America busca un Senior Data Engineer para diseñar y evolucionar una plataforma de identidad basada en datos de múltiples sistemas. Se trabajará en procesos de matching de alta precisión y en pipelines configurables que integren fuentes dispares.

El rol exige experiencia profunda en Entity Resolution / MDM, PySpark a escala y Delta Lake, con enfoque en trazabilidad, seguridad de datos y cumplimiento. Remoto 100% | crecimiento profesional.