Arquitecto Databricks Lakehouse | Hybrid + Liderazgo

Capital Empresarial Horizonte; Región Centro; Hybrid; MXN 900,000 - 1,300,000; Full time

Job summary

Capital Empresarial Horizonte busca un Databricks Solution Architect para liderar la arquitectura de datos en un entorno híbrido (2 días desde casa, 3 días en sitio) en CDMX o Guadalajara. Requiere >12 años en IT y 5+ años en arquitectura Databricks, con experiencia en pipelines ETL/ELT, Delta Lake y seguridad de datos.

El candidato diseñará soluciones end-to-end, migraciones de warehouses y plataformas legacy, y liderará equipos y stakeholders.

Qualifications

• Más de 12 años de experiencia en IT.
• Al menos 5 años de arquitectura de soluciones con Databricks.
• Experiencia en diseño e implementación de arquitecturas Lakehouse empresariales.
• Experiencia con Apache Spark, PySpark, Spark SQL, Python y SQL.
• Experiencia diseñando plataformas de datos cloud a escala empresarial.
• Conocimientos de Delta Lake, Unity Catalog y Databricks Workflows.
• Experiencia en ingesta y transformación de datos (ETL/ELT).
• Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.
• Conocimientos de automatización, infraestructura como código y pipelines CI/CD.
• Experiencia liderando decisiones de arquitectura y conversaciones con stakeholders.

Responsibilities

• Arquitectura y estrategia de datos.
• Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
• Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
• Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.
• Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.
• Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.
• Data Engineering e integración: diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.
• Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
• Optimizar procesos de ingesta, transformación, modelado y consulta de datos.
• Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.
• Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.
• Diseñar soluciones en Azure, AWS o GCP; IaC con Terraform.
• Definir estrategias de despliegue para múltiples ambientes y espacios de trabajo.
• Colaborar con Data Science y AI; aplicar MLOps y gobierno de modelos.
• Liderar iniciativas de consultoría cuando sea necesario.

Skills

Databricks

Apache Spark

PySpark

Spark SQL

Python

SQL

Delta Lake

Unity Catalog

Databricks Workflows

ETL/ELT

Data governance

IaC

CI/CD

Cloud platforms

Leadership

Tools

Terraform

Job description

Capital Empresarial Horizonte busca un Databricks Solution Architect para liderar la arquitectura de datos en un entorno híbrido (2 días desde casa, 3 días en sitio) en CDMX o Guadalajara. Requiere >12 años en IT y 5+ años en arquitectura Databricks, con experiencia en pipelines ETL/ELT, Delta Lake y seguridad de datos.

El candidato diseñará soluciones end-to-end, migraciones de warehouses y plataformas legacy, y liderará equipos y stakeholders.