Ingeniero de Datos Senior: AWS, Databricks e IA

Sofka; Medellín; On-site; COP 120,000,000 - 190,000,000; Part time

Job summary

Sofka invita a un Ingeniero de Datos senior a liderar la construcción y optimización de pipelines de ingesta y procesamiento en AWS y Databricks. El rol implica definir estrategias de CDC, deduplicación y governance para garantizar datos confiables y listos para dashboards de producto.

Se valorará experiencia con herramientas de IA y plataformas de Data Lake modernas. Contrato por proyecto/horas en Colombia, con enfoque en entrega y aprendizaje continuo.

Qualifications

• Experiencia sólida en Ingeniería de Datos y ETL.
• Dominio de Python, SQL y PySpark.
• Experiencia en AWS (Lambda, RDS, EC2, SQS).
• Conocimiento de Databricks y Data Lake architectures.

Responsibilities

• Diseñar y optimizar pipelines de datos escalables en AWS y Databricks.
• Definir estrategias de CDC y deduplicación con merges en Delta Lake.
• Integrar herramientas de IA (Cursor AI, Claude Code, Copilot) en el desarrollo.
• Interpretar modelos de datos para ingesta eficiente y gobernanza.
• Colaborar con equipos para evolucionar Data Lake con Delta Lake, Hudi o Iceberg.

Skills

Python

SQL

PySpark

Databricks

Delta Lake

AWS

CDC

Data Governance

IA tooling

Tools

Delta Lake

Apache Hudi

Iceberg

Cursor AI

Claude Code

Copilot

Job description

Sofka invita a un Ingeniero de Datos senior a liderar la construcción y optimización de pipelines de ingesta y procesamiento en AWS y Databricks. El rol implica definir estrategias de CDC, deduplicación y governance para garantizar datos confiables y listos para dashboards de producto.

Se valorará experiencia con herramientas de IA y plataformas de Data Lake modernas. Contrato por proyecto/horas en Colombia, con enfoque en entrega y aprendizaje continuo.