Arquitecto Databricks

Capital Empresarial Horizonte; Benito Juárez; Hybrid; MXN 1,200,000 - 2,000,000; Full time

Benefits offered by this job

Horario de Oficina

Esquema 100% nomina

Sueldo abierto a negociación

Prestaciones de Ley

Prestaciones superiores (SGMM familiar

SV 1 millón

Vales de despensa

30 días de aguinaldo

PTU

Job summary

Capital Empresarial Horizonte busca un Databricks Solution Architect para trabajar en un esquema híbrido (2 días a casa, 3 días en sitio) en CDMX o Guadalajara. Se exige dominio de Databricks Lakehouse, Spark, Delta Lake y prácticas de CI/CD.

El candidato liderará decisiones de arquitectura, diseñará pipelines ETL/ELT y colaborará con equipos de Data Eng, Seguridad y Data Science para entregar soluciones escalables y seguras.

Qualifications

• Más de 12 años de experiencia en IT.
• Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.
• Experiencia sólida en diseño e implementación de arquitecturas Lakehouse empresariales.
• Conocimientos de Delta Lake, Unity Catalog y Databricks Workflows.
• Experiencia en ingesta y transformación de datos, modelado y pipelines ETL/ELT.
• Gobierno, seguridad, calidad y trazabilidad de datos.
• Conocimientos de automatización, Infraestructura como código y pipelines CI/CD.
• Liderazgo técnico y comunicación con stakeholders.

Responsibilities

• Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
• Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
• Establecer estándares de arquitectura y estrategias de modernización de plataformas de datos.
• Liderar migraciones de data warehouses y plataformas legacy a Databricks.
• Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para transformación de datos.
• Diseñar pipelines ETL/ELT escalables utilizando Databricks, Spark y Delta Lake.
• Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
• Garantizar calidad, trazabilidad y observabilidad de datos.
• Colaborar con Data Science y AI para desplegar modelos en producción.

Skills

Databricks Lakehouse

Apache Spark

PySpark

Spark SQL

Python

SQL

Delta Lake

Unity Catalog

Databricks Workflows

ETL/ELT pipelines

Cloud platforms

Data governance

Security

Data quality

Data lineage

CI/CD

Infrastructure as Code

Stakeholder leadership

Data integration

Tools

Databricks

Azure

AWS

Google Cloud Platform

Job description

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:

Databricks Solution Architect

Ingles conversacional obligatorio

Trabajo en esquema hibrido (2 días Home Office - 3 días en sitio)

A laborar en CDMX o Guadalajara

Requisitos indispensables

• Más de 12 años de experiencia en tecnologías de información (IT).
• Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.
• Experiencia sólida en diseño e implementación de arquitecturas Lakehouse empresariales.
• Experiencia práctica con Apache Spark, PySpark, Spark SQL, Python y SQL.
• Experiencia diseñando plataformas de datos cloud a escala empresarial.
• Conocimientos sólidos de Delta Lake, Unity Catalog, Databricks Workflows y herramientas de ingesta y transformación.
• Experiencia en integración de datos, modelado, optimización de consultas y desarrollo de pipelines ETL/ELT.
• Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.
• Conocimientos de automatización, infraestructura como código y pipelines CI/CD.
• Experiencia liderando decisiones de arquitectura, equipos técnicos y conversaciones con stakeholders.

Principales responsabilidades

Arquitectura y estrategia de datos

• Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
• Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
• Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.
• Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.
• Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.

Data Engineering e integración

• Diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.
• Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
• Optimizar procesos de ingesta, transformación, modelado y consulta de datos.
• Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.
• Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.

Cloud y plataforma

• Diseñar e implementar soluciones Databricks en Azure, AWS o Google Cloud Platform.
• Definir estrategias de almacenamiento, redes, identidad, accesos y seguridad para plataformas de datos.
• Implementar infraestructura como código utilizando Terraform y herramientas de automatización cloud.
• Diseñar estrategias de despliegue para múltiples ambientes y espacios de trabajo de Databricks.
• Optimizar el rendimiento, la escalabilidad y los costos de infraestructura cloud.

Inteligencia artificial y Machine Learning

• Diseñar arquitecturas de datos que soporten soluciones de Machine Learning e Inteligencia Artificial Generativa.
• Implementar estrategias de gestión del ciclo de vida de modelos utilizando MLflow.
• Colaborar con equipos de Data Science y AI para desplegar y operar modelos en ambientes productivos.
• Definir buenas prácticas de MLOps, monitoreo y gobierno de modelos.
• Participar en iniciativas de IA empresarial mediante Databricks Mosaic AI y frameworks de GenAI.

Gobierno, seguridad y cumplimiento

• Implementar Unity Catalog para la gestión centralizada de permisos, metadatos y gobierno de datos.
• Definir controles de acceso, RBAC, ABAC, cifrado y gestión de identidades.
• Establecer frameworks de clasificación, calidad, auditoría y trazabilidad de datos.
• Asegurar la alineación con regulaciones y estándares aplicables, como GDPR, SOX, PCI-DSS y HIPAA, según el sector y el alcance del proyecto.

Liderazgo y gestión de stakeholders

• Actuar como referente técnico y experto en Databricks dentro de la organización.
• Traducir necesidades de negocio en soluciones y roadmaps de arquitectura de datos.
• Liderar revisiones de arquitectura y decisiones técnicas.
• Coordinar equipos de Data Engineering, Cloud, Seguridad, Data Science y áreas de negocio.
• Mentorear a ingenieros, arquitectos y equipos técnicos.
• Participar en actividades de consultoría de soluciones y preventa cuando sea necesario.

Ofrecemos:

• Horario de Oficina
• Esquema 100% nomina
• Sueldo abierto a negociación de acuerdo a experiencia
• Prestaciones de Ley
• Prestaciones superiores (SGMM familiar, SV 1 millón, Vales de despensa, 30 días de aguinaldo, PTU)