Azure Databricks Data Engineer – Lakehouse Pipelines

Scotiabank; Bogotá ciudad; Presencial; COP 90.000.000 - 140.000.000; Jornada completa

Descripción de la vacante

ScotiaTech, el centro tecnológico de Scotiabank en Bogotá, busca un Especialista en Data Engineering para diseñar, construir y mantener pipelines de datos en Azure Databricks y Delta Lake, asegurando calidad, rendimiento y cumplimiento. Trabajarás con equipos multifuncionales para entregar soluciones escalables y seguras en una arquitectura lakehouse.

Se valoran 3–5 años de experiencia en ingeniería de datos en la nube, dominio de PySpark y SQL, así como habilidades en modelado de datos y

Formación

• 3–5 años de experiencia en Data Engineering en entornos cloud.
• Experiencia práctica con Azure Databricks, Delta Lake y Spark.
• Sólidos conocimientos de PySpark y Python para procesamiento de datos a gran escala.
• Conocimientos de modelado de datos, esquemas y warehousing.

Responsabilidades

• Diseñar, desarrollar y mantener pipelines ETL/ELT en Azure y Azure Databricks para apoyar productos de datos.
• Colaborar con Data Scientists, Product Owners y equipos de Arquitectura para entregar soluciones de datos de alta calidad.
• Modelar datos, esquemas y transformaciones (Data Vault y dimensional) para analytics.
• Monitorear y optimizar pipelines, incluir tuning de desempeño y FinOps de Spark.
• Asegurar gobernanza, seguridad y cumplimiento en entornos Azure (Unity Catalog, RBAC, cifrado).
• Resolver incidencias en pipelines y realizar análisis de causa raíz.
• Promover DevOps/DataOps, documentación y testing automatizado.
• Apoyar migración de cargas a Azure Databricks minimizando riesgos.

Conocimientos

Azure Databricks

Python (PySpark)

Apache Spark

SQL

Data modeling

Datalake/Data warehouse

Unity Catalog

Lakehouse

DevOps/DataOps

Git & CI/CD

Educación

Bachelor en Ciencias de la Computación/Data Engineering/IT

Maestría deseable

Certificaciones en Databricks/Azure/AWS/GCP

Herramientas

Azure Databricks

Delta Lake

Unity Catalog

Spark

Python

Descripción del empleo

ScotiaTech, el centro tecnológico de Scotiabank en Bogotá, busca un Especialista en Data Engineering para diseñar, construir y mantener pipelines de datos en Azure Databricks y Delta Lake, asegurando calidad, rendimiento y cumplimiento. Trabajarás con equipos multifuncionales para entregar soluciones escalables y seguras en una arquitectura lakehouse.

Se valoran 3–5 años de experiencia en ingeniería de datos en la nube, dominio de PySpark y SQL, así como habilidades en modelado de datos y