Databricks Lakehouse Architect — Hybrid Data Platform Leader

Capital Empresarial Horizonte; Benito Juárez; Hybrid; MXN 900,000 - 1,500,000; Full time

Benefits offered by this job

Horario de Oficina

Prestaciones de Ley

Sueldo abierto a negociación

Prestaciones superiores

Job summary

Capital Empresarial Horizonte busca un Arquitecto de Soluciones Databricks para liderar el diseño e implementación de arquitecturas Lakehouse a escala empresarial. Trabajará en entornos híbridos y colaborará con equipos de datos, nube y seguridad.

Se requieren más de 12 años de IT y 5 años en arquitectura Databricks, con experiencia en Spark, Delta Lake y CI/CD. Participará en migraciones, governanza y proyectos de IA generativa.

Qualifications

• Más de 12 años de experiencia en IT.
• Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.
• Experiencia en diseño e implementación de Lakehouse empresariales.
• Experiencia práctica con Apache Spark, PySpark, Spark SQL, Python y SQL.
• Experiencia diseñando plataformas de datos cloud a escala empresarial.
• Conocimientos de Delta Lake, Unity Catalog, Databricks Workflows y herramientas de ingesta y transformación.
• Experiencia en integración de datos, modelado, optimización de consultas y desarrollo de pipelines ETL/ELT.
• Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.
• Conocimientos de automatización, infraestructura como código y pipelines CI/CD.
• Experiencia liderando decisiones de arquitectura, equipos técnicos y conversaciones con stakeholders.

Responsibilities

• Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
• Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
• Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.
• Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.
• Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.
• Diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.
• Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
• Optimizar procesos de ingesta, transformación, modelado y consulta de datos.
• Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.
• Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.
• Diseñar e implementar soluciones Databricks en Azure, AWS o Google Cloud Platform.
• Definir estrategias de almacenamiento, redes, identidad, accesos y seguridad para plataformas de datos.
• Implementar infraestructura como código utilizando Terraform y herramientas de automatización cloud.
• Diseñar estrategias de despliegue para múltiples ambientes y espacios de trabajo de Databricks.
• Optimizar el rendimiento, la escalabilidad y los costos de infraestructura cloud.
• Diseñar arquitecturas de datos que soporten soluciones de ML e IA Generativa.
• Implementar ML lifecycle con MLflow y governanza de modelos.
• Colaborar con Data Science y AI para despliegue en producción.
• Definir buenas prácticas de MLOps, monitoreo y gobierno de modelos.
• Participar en iniciativas de IA empresarial mediante Databricks Mosaic AI y GenAI.

Skills

Databricks

Lakehouse

Spark

PySpark

Python

SQL

ETL/ELT

Delta Lake

Data Governance

CI/CD

Tools

Terraform

MLflow

Databricks Workflows

Auto Loader

Delta Live Tables

Structured Streaming

Databricks Mosaic AI

Job description

Capital Empresarial Horizonte busca un Arquitecto de Soluciones Databricks para liderar el diseño e implementación de arquitecturas Lakehouse a escala empresarial. Trabajará en entornos híbridos y colaborará con equipos de datos, nube y seguridad.

Se requieren más de 12 años de IT y 5 años en arquitectura Databricks, con experiencia en Spark, Delta Lake y CI/CD. Participará en migraciones, governanza y proyectos de IA generativa.