Data Engineer Senior

Improving South America; Colombia; A distancia; COP 200.040.000 - 400.080.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Contrato a largo plazo

100% Remoto

Vacaciones y PTOs

Clases de inglés

Equipamiento Apple

Plataforma de cursos en línea

Budget para libros

Budget para materiales de trabajo

Descripción de la vacante

Improving South America busca un Senior Data Engineer para diseñar y evolucionar una plataforma de identidad basada en datos de múltiples sistemas. Se trabajará en procesos de matching de alta precisión y en pipelines configurables que integren fuentes dispares.

El rol exige experiencia profunda en Entity Resolution / MDM, PySpark a escala y Delta Lake, con enfoque en trazabilidad, seguridad de datos y cumplimiento. Remoto 100% | crecimiento profesional.

Formación

• Experiencia 7+ años en Data Engineering con ownership sobre plataformas productivas.

Responsabilidades

• Diseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas.
• Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual.
• Procesar grandes volúmenes de datos con PySpark y Delta Lake.
• Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes.
• Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos.
• Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse.
• Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching.
• Definir y monitorear criterios de calidad, latencia y actualización de los datos.
• Documentar reglas, decisiones técnicas y funcionamiento de los pipelines.
• Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad y casos ambiguos.
• Participar en la evolución y mantenimiento de una plataforma de datos productiva.

Conocimientos

Entity Resolution

MDM

PySpark

Delta Lake

Azure SQL

Microsoft Fabric

T-SQL

Data Engineering

English

Herramientas

PySpark

Delta Lake

Microsoft Fabric

Lakehouse

Notebooks

Pipelines

Azure DevOps

ADLS Gen2

Azure SQL

Power BI

Descripción del empleo

En Improving South America, brindamos servicios de TI para transformar la percepción del profesional de TI. Nos enfocamos en consultoría de TI, desarrollo de software y formación ágil。

La empresa promueve una cultura de trabajo excepcional basada en el trabajo en equipo, la excelencia y la diversión, con enfoque en crecimiento personal y recompensas compartidas. Al integrarse, el/la candidato/a formará parte de una comunidad que prioriza la comunicación abierta y relaciones laborales sólidas a largo plazo, respaldada por una estructura de desarrollo profesional y aprendizaje continuo。

Responsabilidades del rol

Buscamos Senior Data Engineer con experiencia sólida en Entity Resolution / Master Data Management (MDM) para diseñar y evolucionar una plataforma de identidad sobre datos provenientes de múltiples sistemas。

El desafío principal será construir procesos de matching y deduplicación de alta precisión, capaces de identificar cuándo distintos registros corresponden a una misma persona, minimizando especialmente los falsos matches。

Lo Que Harás

• Diseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas。
• Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual。
• Procesar grandes volúmenes de datos con PySpark y Delta Lake。
• Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes。
• Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos。
• Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse。
• Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching。
• Definir y monitorear criterios de calidad, latencia y actualización de los datos。
• Documentar reglas, decisiones técnicas y funcionamiento de los pipelines。
• Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad y casos ambiguos。
• Participar en la evolución y mantenimiento de una plataforma de datos productiva。

Requerimientos indispensables

• 7+ años de experiencia en Data Engineering, con ownership senior sobre plataformas productivas。
• Inglés avanzado – Obligatorio
• Experiencia real y profunda en Entity Resolution / Master Data Management。
• Experiencia práctica con: Matching determinístico y probabilístico, Blocking, Confidence scoring, Survivorship, Human-in-the-loop / revisión manual。
• PySpark a escala y experiencia sólida con Delta Lake。
• Experiencia con Microsoft Fabric, especialmente Lakehouse, Warehouse, Notebooks y Pipelines。
• T-SQL y Azure SQL avanzados, incluyendo operaciones de MERGE / upsert bajo carga concurrente。
• Experiencia diseñando pipelines configurables, llevando las diferencias entre fuentes a configuración en lugar de hardcodearlas。
• Experiencia trabajando con datos de múltiples fuentes con estructuras inconsistentes o contratos poco definidos。
• Experiencia trabajando con PII y datos regulados, considerando seguridad, trazabilidad y auditabilidad。
• Capacidad para documentar claramente reglas, decisiones técnicas y procesos。

Plus relevante

• Experiencia profunda en Databricks o Azure Synapse y transición hacia Microsoft Fabric。
• Experiencia con Splink, Zingg u otras herramientas de Entity Resolution。
• Experiencia con frameworks internos o configurables de orquestación sobre Spark。
• Conocimiento de property management / real estate data y modelos de lease, household, co-signer, roommate, etc。
• Experiencia con datos destinados a procesos operativos o de facturación, más allá de escenarios puramente analíticos o de reporting。
• Experiencia reduciendo deuda técnica y evolucionando plataformas de datos existentes。
• Experiencia con Azure DevOps y CI/CD para data engineering。
• Experiencia con ADLS Gen2, Azure SQL, T-SQL y Power BI。

Beneficios que ofrecemos

• Contrato a largo plazo。
• 100% Remoto。
• Vacaciones y PTOs
• Posibilidad de recibir 2 bonos al año。
• 2 revisiones salariales al año。
• Clases de inglés。
• Equipamiento Apple。
• Plataforma de cursos en línea
• Budget para compra de libros。
• Budget para compra de materiales de trabajo
• mucho mas..