Ingeniero/a de Datos (AWS & Databricks) Bilingüe

Sofka Technologies; Perímetro Urbano Medellín; Presencial; COP 200.880.000 - 290.160.000; Jornada completa

Descripción de la vacante

Sofka Technologies busca un Ingeniero de Datos Senior para diseñar y optimizar pipelines en AWS y Databricks, liderando estrategias de CDC y deduplicación para garantizar datos limpios y actualizados.

Trabajarás con Delta Lake y herramientas IA para acelerar entregas de datos, dashboards y código de alto rendimiento, manteniendo estándares de gobernanza y escalabilidad. Se requiere 10 años de experiencia y dominio de Python, SQL y PySpark, con inglés avanzado.

Formación

• 10 años de experiencia en Ingeniería de Datos y ETL.
• Dominio de Python, SQL y PySpark.
• Experiencia en AWS: Lambda, RDS, EC2 y SQS.
• Conocimiento de Delta Lake y alternativas (Hudi/Iceberg).
• CDC, deduplicación y merge en entornos de Data Lake.

Responsabilidades

• Construir y optimizar pipelines de datos en AWS y Databricks.
• Liderar estrategias de CDC y deduplicación con hashing.
• Acelerar entregas con IA (Claude Code, Copilot, Cursor AI).
• Diseñar ingestas eficientes y gobernanza de datos.
• Evolucionar Data Lake con Delta Lake / Hudi / Iceberg.

Conocimientos

Python

SQL

PySpark

Inglés

Herramientas

Databricks

Delta Lake

Apache Hudi

Iceberg

AWS Lambda

AWS RDS

AWS EC2

AWS SQS

Descripción del empleo

¿Estás buscando nuevos desafíos y un lugar donde puedas disfrutar de un ambiente cercano mientras aprendes constantemente?

¡Bienvenido a un equipo con un propósito claro: "TRANSFORMAR la vida de las personas siendo el aliado TECNOLÓGICO más confiable"!

¡Prepárate y únete a esta aventura!

¿Qué encontrarás?

• Retos técnicos y personales que te mantendrán en constante crecimiento.

• Un equipo conectado, enfocado en tu bienestar físico y mental.

• Cultura de mejora continua, fresca y colaborativa, con oportunidades de aprendizaje y gente dispuesta a apoyarte.

• KaizenHub, un programa diseñado para potenciar tus talentos, con feedback, mentorías y coaching a través de Sofka U. ¡Será un reto y un juego a la vez!

• Programas como Happy Kaizen y WeSofka que cuidan tu bienestar físico y emocional.

¿Qué buscamos?

A un apasionado/a por la ingeniería moderna que combine un dominio sólido de AWS, Databricks y PySpark con el poder de herramientas de Inteligencia Artificial de vanguardia como Claude Code, Copilot y Cursor AI.

Si te motiva resolver problemas complejos de Change Data Capture (CDC), diseñar arquitecturas Data Lake resilientes y automatizar flujos con soporte de IA para acelerar el desarrollo de productos de datos, este es tu lugar.

Tus Retos e Impacto

• Construir y optimizar pipelines de datos: Diseñarás e implementarás flujos de ingesta y procesamiento altamente escalables sobre infraestructuras de AWS y Databricks.

• Liderar estrategias de CDC y deduplicación: Definirás mecánicas de refresco de datos mediante claves de auditoría, comparación de hashes y estrategias de merge en Delta Lake para garantizar la integridad y frescura de la información.

• Acelerar la ingeniería con IA: Integrarás asistentes como Cursor AI, Copilot y Claude Code en tu día a día para agilizar la entrega de productos de datos, dashboards y código de alto rendimiento.

• Modelado e ingesta estratégica: Interpretarás modelos de datos complejos para diseñar ciclos de ingesta eficientes alineados con las mejores prácticas de Data Governance.

• Evolucionar la arquitectura de Data Lake: Trabajarás de la mano con frameworks modernos (Delta Lake, Hudi o Iceberg) garantizando un entorno gobernado, rápido y seguro.

¿Qué necesitas?

• Experiencia sólida: 10 años de trayectoria comprobada en Ingeniería de Datos y desarrollo de procesos ETL.

• Stack Principal: Dominio profundo de Python, SQL y PySpark.

• Ecosistema Cloud (AWS): Manejo práctico comprobado en Lambda, RDS, EC2 y SQS.

• Arquitectura moderna de Data Lakes: Experiencia sólida trabajando con Delta Lake (o alternativas como Apache Hudi / Iceberg).

• Conceptos de CDC a nivel experto: Capacidad clara para explicar e implementar ciclos de Change Data Capture, comparación de valores hash para deduplicación y estrategias de merge.

• Ingeniería asistida por IA: Uso activo y cómodo de herramientas de desarrollo con IA (Claude Code, Co-Pilot, Cursor AI) para optimizar tus entregables.

• Idiomas: Inglés fluido (C1 / 100%), capaz de comunicarse con precisión técnica en entornos globales.

• Dominio avanzado de la plataforma Databricks.

• Experiencia previa diseñando y construyendo Frameworks de ETL desde cero.

• Familiaridad con herramientas de Gobernanza de Datos impulsadas por IA (ej. Data Galaxy, Databricks AI).

¡PRESENTATE y sé parte de esta historia!

Condiciones

• Contrato tipo Contractor/Honorarios

• ¿Buscas crecimiento profesional? En Sofka, te ofrecemos un ecosistema de aprendizaje con múltiples herramientas para cerrar brechas y potenciar tus habilidades. ¡Tú decides cómo quieres crecer!