Ingeniero/A De Datos (Aws & Databricks) Bilingüe

Sofka; Medellín; Presencial; COP 120.000.000 - 190.000.000; A tiempo parcial

Descripción de la vacante

Sofka invita a un Ingeniero de Datos senior a liderar la construcción y optimización de pipelines de ingesta y procesamiento en AWS y Databricks. El rol implica definir estrategias de CDC, deduplicación y governance para garantizar datos confiables y listos para dashboards de producto.

Se valorará experiencia con herramientas de IA y plataformas de Data Lake modernas. Contrato por proyecto/horas en Colombia, con enfoque en entrega y aprendizaje continuo.

Formación

• Experiencia sólida en Ingeniería de Datos y ETL.
• Dominio de Python, SQL y PySpark.
• Experiencia en AWS (Lambda, RDS, EC2, SQS).
• Conocimiento de Databricks y Data Lake architectures.

Responsabilidades

• Diseñar y optimizar pipelines de datos escalables en AWS y Databricks.
• Definir estrategias de CDC y deduplicación con merges en Delta Lake.
• Integrar herramientas de IA (Cursor AI, Claude Code, Copilot) en el desarrollo.
• Interpretar modelos de datos para ingesta eficiente y gobernanza.
• Colaborar con equipos para evolucionar Data Lake con Delta Lake, Hudi o Iceberg.

Conocimientos

Python

SQL

PySpark

Databricks

Delta Lake

AWS

CDC

Data Governance

IA tooling

Herramientas

Delta Lake

Apache Hudi

Iceberg

Cursor AI

Claude Code

Copilot

Descripción del empleo

¿Estás buscando nuevos desafíos y un lugar donde puedas disfrutar de un ambiente cercano mientras aprendes constantemente?

¡Bienvenido a un equipo con un propósito claro: "TRANSFORMAR la vida de las personas siendo el aliado TECNOLÓGICO más confiable"!

¡Prepárate y únete a esta aventura!

¿Qué encontrarás?

• Retos técnicos y personales que te mantendrán en constante crecimiento.

• Un equipo conectado, enfocado en tu bienestar físico y mental.

• Cultura de mejora continua, fresca y colaborativa, con oportunidades de aprendizaje y gente dispuesta a apoyarte.

• KaizenHub, un programa diseñado para potenciar tus talentos, con feedback, mentorías y coaching a través de Sofka U. ¡Será un reto y un juego a la vez!

• Programas como Happy Kaizen y WeSofka que cuidan tu bienestar físico y emocional.

¿Qué buscamos?

A un apasionado/a por la ingeniería moderna que combine un dominio sólido de AWS, Databricks y PySpark con el poder de herramientas de Inteligencia Artificial de vanguardia como Claude Code, Copilot y Cursor AI.

Si te motiva resolver problemas complejos de Change Data Capture (CDC), diseñar arquitecturas Data Lake resilientes y automatizar flujos con soporte de IA para acelerar el desarrollo de productos de datos, este es tu lugar.

Tus Retos e Impacto

• Construir y optimizar pipelines de datos: Diseñarás e implementarás flujos de ingesta y procesamiento altamente escalables sobre infraestructuras de AWS y Databricks.

• Liderar estrategias de CDC y deduplicación: Definirás mecánicas de refresco de datos mediante claves de auditoría, comparación de hashes y estrategias de merge en Delta Lake para garantizar la integridad y frescura de la información.

• Acelerar la ingeniería con IA: Integrarás asistentes como Cursor AI, Copilot y Claude Code en tu día a día para agilizar la entrega de productos de datos, dashboards y código de alto rendimiento.

• Modelado e ingesta estratégica: Interpretarás modelos de datos complejos para diseñar ciclos de ingesta eficientes alineados con las mejores prácticas de Data Governance.

• Evolucionar la arquitectura de Data Lake: Trabajarás de la mano con frameworks modernos (Delta Lake, Hudi o Iceberg) garantizando un entorno gobernado, rápido y seguro.

¿Qué necesitas?

• Experiencia sólida: 10 años de trayectoria comprobada en Ingeniería de Datos y desarrollo de procesos ETL.

• Stack Principal: Dominio profundo de Python, SQL y PySpark.

• Ecosistema Cloud (AWS): Manejo práctico comprobado en Lambda, RDS, EC2 y SQS.

• Arquitectura moderna de Data Lakes: Experiencia sólida trabajando con Delta Lake (o alternativas como Apache Hudi / Iceberg).

• Conceptos de CDC a nivel experto: Capacidad clara para explicar e implementar ciclos de Change Data Capture, comparación de valores hash para deduplicación y estrategias de merge.

• Ingeniería asistida por IA: Uso activo y cómodo de herramientas de desarrollo con IA (Claude Code, Co-Pilot, Cursor AI) para optimizar tus entregables.

• Idiomas: Inglés fluido (C1 / 100%), capaz de comunicarse con precisión técnica en entornos globales.

• Dominio avanzado de la plataforma Databricks.

• Experiencia previa diseñando y construyendo Frameworks de ETL desde cero.

• Familiaridad con herramientas de Gobernanza de Datos impulsadas por IA (ej. Data Galaxy, Databricks AI).

¡PRESENTATE y sé parte de esta historia!

Condiciones

• Contrato tipo Contractor/Honorarios

• ¿Buscas crecimiento profesional? En Sofka, te ofrecemos un ecosistema de aprendizaje con múltiples herramientas para cerrar brechas y potenciar tus habilidades. ¡Tú decides cómo quieres crecer!