Senior Data Engineer – AWS / Databricks

hiberus; Bogotá; Presencial; COP 133.920.000 - 267.840.000; Jornada completa

Descripción de la vacante

hiberus Colombia está buscando un/a Senior Data Engineer para un proyecto internacional de IA, trabajando junto a equipos de Data Science, ML Engineering y GenAI. El rol implica diseñar, construir y mantener pipelines de ingesta, transformación y procesamiento de datos para un Golden Dataset gobernado, asegurando calidad, trazabilidad y reproducibilidad para soluciones IA.

Se valorará experiencia en pipelines batch/streaming en AWS y/o Databricks, arquitecturas Delta Lake y herramientas de

Formación

• 3+ años en Ingeniería de Datos.
• 2+ años trabajando con AWS y/o Databricks en entornos productivos.
• Conocimiento en AWS: S3, IAM, Glue, Lake Formation y CloudWatch.
• PySpark / Spark SQL a nivel avanzado.
• Python a nivel productivo.
• Git y prácticas de desarrollo.
• CI/CD aplicado a pipelines de datos.

Responsabilidades

• Diseñar e implementar pipelines de datos batch y streaming en AWS y/o Databricks.
• Construir arquitecturas Medallion (Bronze/Silver/Gold) sobre Delta Lake.
• Generar y mantener Golden Datasets.
• Implementar controles de calidad, versionado, trazabilidad y linaje.
• Desarrollar transformaciones con Python/PySpark, Spark SQL o dbt.
• Automatizar despliegues con CI/CD y herramientas como GitHub Actions, GitLab CI o Terraform.
• Optimizar rendimiento y costes en AWS/Databricks.
• Colaborar con Data Scientists, ML Engineers y GenAI Engineers para crear datasets y features reutilizables.

Descripción del empleo

¡Estamos buscando Senior Data Engineer | AWS / Databricks!

En hiberus Colombia estamos buscando un/a Senior Data Engineer para formar parte de un proyecto internacional de Inteligencia Artificial, trabajando junto a equipos de Data Science, ML Engineering y GenAI.

El reto principal será diseñar, construir y mantener los pipelines de ingesta, transformación y procesamiento de datos que alimentarán un Golden Dataset gobernado, asegurando que la información sea de calidad, trazable, reproducible y esté preparada para el desarrollo de soluciones avanzadas de IA.

• Diseñar e implementar pipelines de datos batch y streaming sobre AWS y/o Databricks.
• Construir y mantener arquitecturas Medallion (Bronze / Silver / Gold) sobre Delta Lake.
• Trabajar en la generación y mantenimiento de Golden Datasets.
• Implementar controles de calidad, versionado, trazabilidad y linaje utilizando herramientas como Delta Time Travel y Unity Catalog.
• Desarrollar transformaciones como código versionado en Git, utilizando Python/PySpark, Spark SQL y/o dbt.
• Automatizar despliegues mediante CI/CD y herramientas como GitHub Actions, GitLab CI o Terraform.
• Optimizar rendimiento y costes de procesos en AWS y/o Databricks.
• Trabajar de manera colaborativa con Data Scientists, ML Engineers y GenAI Engineers para crear datasets y features reutilizables.

Buscamos experiencia en:

• 3+ años en Ingeniería de Datos.
• Al menos 2 años trabajando con AWS y/o Databricks en entornos productivos.
• Experiencia con AWS: S3, IAM, Glue, Lake Formation y CloudWatch.
• PySpark / Spark SQL a nivel avanzado.
• Python a nivel productivo.
• Git, pull requests y buenas prácticas de desarrollo.
• CI/CD aplicado a pipelines de datos.
• Modelado de datos, Data Lake y principios de gobierno del dato.
• Será valorable contar con experiencia en Feature Store, dbt, Airflow/Dagster, proyectos de movilidad, flotas o IoT, así como certificaciones AWS o Databricks.

Si te interesa trabajar en un proyecto internacional donde Data Engineering es una pieza fundamental para construir soluciones de IA escalables, ¡nos encantará conocerte!