Databricks Solution Architect

Capital Empresarial Horizonte; Benito Juárez; Ibrido; MXN 900.000 - 1.500.000; Tempo pieno

Vantaggi offerti da questo lavoro

Horario de Oficina

Prestaciones de Ley

Sueldo abierto a negociación

Prestaciones superiores

Descrizione del lavoro

Capital Empresarial Horizonte busca un Arquitecto de Soluciones Databricks para liderar el diseño e implementación de arquitecturas Lakehouse a escala empresarial. Trabajará en entornos híbridos y colaborará con equipos de datos, nube y seguridad.

Se requieren más de 12 años de IT y 5 años en arquitectura Databricks, con experiencia en Spark, Delta Lake y CI/CD. Participará en migraciones, governanza y proyectos de IA generativa.

Competenze

• Más de 12 años de experiencia en IT.
• Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.
• Experiencia en diseño e implementación de Lakehouse empresariales.
• Experiencia práctica con Apache Spark, PySpark, Spark SQL, Python y SQL.
• Experiencia diseñando plataformas de datos cloud a escala empresarial.
• Conocimientos de Delta Lake, Unity Catalog, Databricks Workflows y herramientas de ingesta y transformación.
• Experiencia en integración de datos, modelado, optimización de consultas y desarrollo de pipelines ETL/ELT.
• Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.
• Conocimientos de automatización, infraestructura como código y pipelines CI/CD.
• Experiencia liderando decisiones de arquitectura, equipos técnicos y conversaciones con stakeholders.

Mansioni

• Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
• Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
• Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.
• Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.
• Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.
• Diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.
• Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
• Optimizar procesos de ingesta, transformación, modelado y consulta de datos.
• Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.
• Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.
• Diseñar e implementar soluciones Databricks en Azure, AWS o Google Cloud Platform.
• Definir estrategias de almacenamiento, redes, identidad, accesos y seguridad para plataformas de datos.
• Implementar infraestructura como código utilizando Terraform y herramientas de automatización cloud.
• Diseñar estrategias de despliegue para múltiples ambientes y espacios de trabajo de Databricks.
• Optimizar el rendimiento, la escalabilidad y los costos de infraestructura cloud.
• Diseñar arquitecturas de datos que soporten soluciones de ML e IA Generativa.
• Implementar ML lifecycle con MLflow y governanza de modelos.
• Colaborar con Data Science y AI para despliegue en producción.
• Definir buenas prácticas de MLOps, monitoreo y gobierno de modelos.
• Participar en iniciativas de IA empresarial mediante Databricks Mosaic AI y GenAI.

Conoscenze

Databricks

Lakehouse

Spark

PySpark

Python

SQL

ETL/ELT

Delta Lake

Data Governance

CI/CD

Strumenti

Terraform

MLflow

Databricks Workflows

Auto Loader

Delta Live Tables

Structured Streaming

Databricks Mosaic AI

Descrizione del lavoro

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:

Databricks Solution Architect

Ingles conversacional obligatorio

Trabajo en esquema hibrido (2 días Home Office - 3 días en sitio)

A laborar en CDMX o Guadalajara

Requisitos indispensables

• Más de 12 años de experiencia en tecnologías de información (IT).
• Al menos 5 años de experiencia en arquitectura de soluciones con Databricks.
• Experiencia sólida en diseño e implementación de arquitecturas Lakehouse empresariales.
• Experiencia práctica con Apache Spark, PySpark, Spark SQL, Python y SQL.
• Experiencia diseñando plataformas de datos cloud a escala empresarial.
• Conocimientos sólidos de Delta Lake, Unity Catalog, Databricks Workflows y herramientas de ingesta y transformación.
• Experiencia en integración de datos, modelado, optimización de consultas y desarrollo de pipelines ETL/ELT.
• Experiencia en gobierno, seguridad, calidad y trazabilidad de datos.
• Conocimientos de automatización, infraestructura como código y pipelines CI/CD.
• Experiencia liderando decisiones de arquitectura, equipos técnicos y conversaciones con stakeholders.

Principales responsabilidades

Arquitectura y estrategia de datos

• Diseñar e implementar arquitecturas Databricks Lakehouse a escala empresarial.
• Definir arquitecturas de datos end-to-end para procesamiento batch, streaming y analítica en tiempo real.
• Establecer estándares de arquitectura, mejores prácticas y estrategias de modernización de plataformas de datos.
• Liderar migraciones de data warehouses y plataformas legacy hacia Databricks.
• Diseñar arquitecturas Medallion (Bronze, Silver y Gold) para la organización y transformación de datos.

Data Engineering e integración

• Diseñar pipelines ETL/ELT escalables utilizando Databricks, Apache Spark, PySpark y Delta Lake.
• Integrar información de bases de datos, APIs, plataformas SaaS y sistemas de streaming.
• Optimizar procesos de ingesta, transformación, modelado y consulta de datos.
• Implementar mecanismos de calidad de datos, trazabilidad (data lineage), observabilidad y monitoreo.
• Diseñar soluciones con Delta Live Tables, Auto Loader, Databricks Workflows y Structured Streaming.

Cloud y plataforma

• Diseñar e implementar soluciones Databricks en Azure, AWS o Google Cloud Platform.
• Definir estrategias de almacenamiento, redes, identidad, accesos y seguridad para plataformas de datos.
• Implementar infraestructura como código utilizando Terraform y herramientas de automatización cloud.
• Diseñar estrategias de despliegue para múltiples ambientes y espacios de trabajo de Databricks.
• Optimizar el rendimiento, la escalabilidad y los costos de infraestructura cloud.

Inteligencia artificial y Machine Learning

• Diseñar arquitecturas de datos que soporten soluciones de Machine Learning e Inteligencia Artificial Generativa.
• Implementar estrategias de gestión del ciclo de vida de modelos utilizando MLflow.
• Colaborar con equipos de Data Science y AI para desplegar y operar modelos en ambientes productivos.
• Definir buenas prácticas de MLOps, monitoreo y gobierno de modelos.
• Participar en iniciativas de IA empresarial mediante Databricks Mosaic AI y frameworks de GenAI.

Gobierno, seguridad y cumplimiento

• Implementar Unity Catalog para la gestión centralizada de permisos, metadatos y gobierno de datos.
• Definir controles de acceso, RBAC, ABAC, cifrado y gestión de identidades.
• Establecer frameworks de clasificación, calidad, auditoría y trazabilidad de datos.
• Asegurar la alineación con regulaciones y estándares aplicables, como GDPR, SOX, PCI-DSS y HIPAA, según el sector y el alcance del proyecto.

Liderazgo y gestión de stakeholders

• Actuar como referente técnico y experto en Databricks dentro de la organización.
• Traducir necesidades de negocio en soluciones y roadmaps de arquitectura de datos.
• Liderar revisiones de arquitectura y decisiones técnicas.
• Coordinar equipos de Data Engineering, Cloud, Seguridad, Data Science y áreas de negocio.
• Mentorear a ingenieros, arquitectos y equipos técnicos.
• Participar en actividades de consultoría de soluciones y preventa cuando sea necesario.

Ofrecemos:

• Horario de Oficina
• Esquema 100% nomina
• Sueldo abierto a negociación de acuerdo a experiencia
• Prestaciones de Ley
• Prestaciones superiores (SGMM familiar, SV 1 millón, Vales de despensa, 30 días de aguinaldo, PTU