Arquitecto Databricks

Capital Empresarial Horizonte; Región Centro; Hybrid; MXN 900,000 - 1,700,000; Full time

Benefits offered by this job

Sueldo abierto a negociación

Prestaciones de Ley

Prestaciones superiores

Job summary

Capital Empresarial Horizonte busca un Databricks Solution Architect para liderar la arquitectura de datos en un entorno híbrido (2 días desde casa, 3 días en sitio) en CDMX o Guadalajara. Requiere >12 años en IT y 5+ años en arquitectura Databricks, con experiencia en pipelines ETL/ELT, Delta Lake y seguridad de datos.

El candidato diseñará soluciones end-to-end, migraciones de warehouses y plataformas legacy, y liderará equipos y stakeholders.

Qualifications

• Más de 12 años de experiencia en IT.
• Al menos 5 años de arquitectura de soluciones con Databricks.
• Experiencia en diseño e implementación de arquitecturas Lakehouse empresariales.
• Experiencia con Apache Spark, PySpark, Spark SQL, Python y SQL.
• Experiencia diseñando plataformas de datos cloud a escala empresarial.
• Conocimientos de Delta Lake, Unity Catalog y Databricks Workflows.
• Experiencia en ingesta y transformación de datos (ETL/ELT).
• Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.
• Conocimientos de automatización, infraestructura como código y pipelines CI/CD.
• Experiencia liderando decisiones de arquitectura y conversaciones con stakeholders.

Responsibilities

• Arquitectura y estrategia de datos.
• Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
• Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
• Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.
• Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.
• Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.
• Data Engineering e integración: diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.
• Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
• Optimizar procesos de ingesta, transformación, modelado y consulta de datos.
• Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.
• Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.
• Diseñar soluciones en Azure, AWS o GCP; IaC con Terraform.
• Definir estrategias de despliegue para múltiples ambientes y espacios de trabajo.
• Colaborar con Data Science y AI; aplicar MLOps y gobierno de modelos.
• Liderar iniciativas de consultoría cuando sea necesario.

Skills

Databricks

Apache Spark

PySpark

Spark SQL

Python

SQL

Delta Lake

Unity Catalog

Databricks Workflows

ETL/ELT

Data governance

IaC

CI/CD

Cloud platforms

Leadership

Tools

Terraform

Azure

AWS

Google Cloud Platform

Databricks

Job description

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:Databricks Solution ArchitectIngles conversacional obligatorioTrabajo en esquema hibrido (2 días Home Office - 3 días en sitio)A laborar en CDMX o GuadalajaraRequisitos indispensablesMás de 12 años de experiencia en tecnologías de información (IT).Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.Experiencia sólida en diseño e implementación de arquitecturas Lakehouse empresariales.Experiencia práctica con Apache Spark, PySpark, Spark SQL, Python y SQL.Experiencia diseñando plataformas de datos cloud a escala empresarial.Conocimientos sólidos de Delta Lake, Unity Catalog, Databricks Workflows y herramientas de ingesta y transformación.Experiencia en integración de datos, modelado, optimización de consultas y desarrollo de pipelines ETL/ELT.Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.Conocimientos de automatización, infraestructura como código y pipelines CI/CD.Experiencia liderando decisiones de arquitectura, equipos técnicos y conversaciones con stakeholders.Principales responsabilidadesArquitectura y estrategia de datosDiseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.Data Engineering e integraciónDiseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.Optimizar procesos de ingesta, transformación, modelado y consulta de datos.Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.Cloud y plataformaDiseñar e implementar soluciones Databricks en Azure, AWS o Google Cloud Platform.Definir estrategias de almacenamiento, redes, identidad, accesos y seguridad para plataformas de datos.Implementar infraestructura como código utilizando Terraform y herramientas de automatización cloud.Diseñar estrategias de despliegue para múltiples ambientes y espacios de trabajo de Databricks.Optimizar el rendimiento, la escalabilidad y los costos de infraestructura cloud.Inteligencia artificial y Machine LearningDiseñar arquitecturas de datos que soporten soluciones de Machine Learning e Inteligencia Artificial Generativa.Implementar estrategias de gestión del ciclo de vida de modelos utilizando MLflow.Colaborar con equipos de Data Science y AI para desplegar y operar modelos en ambientes productivos.Definir buenas prácticas de MLOps, monitoreo y gobierno de modelos.Participar en iniciativas de IA empresarial mediante Databricks Mosaic AI y frameworks de GenAI.Gobierno, seguridad y cumplimientoImplementar Unity Catalog para la gestión centralizada de permisos, metadatos y gobierno de datos.Definir controles de acceso, RBAC, ABAC, cifrado y gestión de identidades.Establecer frameworks de clasificación, calidad, auditoría y trazabilidad de datos.Asegurar la alineación con regulaciones y estándares aplicables, como GDPR, SOX, PCI-DSS y HIPAA, según el sector y el alcance del proyecto.Liderazgo y gestión de stakeholdersActuar como referente técnico y experto en Databricks dentro de la organización.Traducir necesidades de negocio en soluciones y roadmaps de arquitectura de datos.Liderar revisiones de arquitectura y decisiones técnicas.Coordinar equipos de Data Engineering, Cloud, Seguridad, Data Science y áreas de negocio.Mentorear a ingenieros, arquitectos y equipos técnicos.Participar en actividades de consultoría de soluciones y preventa cuando sea necesario.Ofrecemos:Horario de OficinaEsquema 100% nominaSueldo abierto a negociación de acuerdo a experienciaPrestaciones de LeyPrestaciones superiores (SGMM familiar, SV 1 millón, Vales de despensa, 30 días de aguinaldo, PTU)