Ingeniero de Datos Bilingüe | IA y AWS Databricks

Sofka Technologies; Perímetro Urbano Medellín; Presencial; COP 200.880.000 - 290.160.000; Jornada completa

Descripción de la vacante

Sofka Technologies busca un Ingeniero de Datos Senior para diseñar y optimizar pipelines en AWS y Databricks, liderando estrategias de CDC y deduplicación para garantizar datos limpios y actualizados.

Trabajarás con Delta Lake y herramientas IA para acelerar entregas de datos, dashboards y código de alto rendimiento, manteniendo estándares de gobernanza y escalabilidad. Se requiere 10 años de experiencia y dominio de Python, SQL y PySpark, con inglés avanzado.

Formación

• 10 años de experiencia en Ingeniería de Datos y ETL.
• Dominio de Python, SQL y PySpark.
• Experiencia en AWS: Lambda, RDS, EC2 y SQS.
• Conocimiento de Delta Lake y alternativas (Hudi/Iceberg).
• CDC, deduplicación y merge en entornos de Data Lake.

Responsabilidades

• Construir y optimizar pipelines de datos en AWS y Databricks.
• Liderar estrategias de CDC y deduplicación con hashing.
• Acelerar entregas con IA (Claude Code, Copilot, Cursor AI).
• Diseñar ingestas eficientes y gobernanza de datos.
• Evolucionar Data Lake con Delta Lake / Hudi / Iceberg.

Conocimientos

Python

SQL

PySpark

Inglés

Herramientas

Databricks

Delta Lake

Apache Hudi

Iceberg

AWS Lambda

AWS RDS

AWS EC2

AWS SQS

Descripción del empleo

Sofka Technologies busca un Ingeniero de Datos Senior para diseñar y optimizar pipelines en AWS y Databricks, liderando estrategias de CDC y deduplicación para garantizar datos limpios y actualizados.

Trabajarás con Delta Lake y herramientas IA para acelerar entregas de datos, dashboards y código de alto rendimiento, manteniendo estándares de gobernanza y escalabilidad. Se requiere 10 años de experiencia y dominio de Python, SQL y PySpark, con inglés avanzado.