DATABRICKS PLATFORM

IT Partner; Barcelona; Híbrido; EUR 50.000 - 70.000; Jornada completa

Descripción de la vacante

Una empresa de tecnología busca un Especialista en Databricks para diseñar soluciones escalables, administrar y optimizar workspaces en un entorno AWS. Se requiere experiencia en Infraestructura como Código y habilidades avanzadas en la gestión de proyectos con GitHub. El candidato debe tener un buen nivel de inglés y capacidad de trabajo en equipo. Se ofrece una modalidad presencial una vez al mes en las oficinas de Barcelona, con un horario adaptado al Reino Unido.

Formación

• Experiencia práctica en administración de Databricks en AWS.
• Fuerte conocimiento en AWS y redes (VPC, subnets).
• Dominio de Terraform y GitHub Actions.
• Experiencia en MLflow para tracking de modelos.

Responsabilidades

• Diseñar e implementar soluciones escalables en Databricks.
• Administrar y optimizar workspaces de Databricks.
• Implementar gobernanza con Unity Catalog.
• Desarrollar pipelines de Delta Lake y automatizar pruebas.
• Colaborar con equipos multifuncionales para la integración de la plataforma.

Conocimientos

Dominio de operaciones en la nube con AWS

Experiencia con Databricks en AWS

Experiencia en Infraestructura como Código con Terraform

Conocimientos en CI/CD y GitOps

Dominio de SQL

Excelentes habilidades de comunicación

Herramientas

Databricks

Terraform

GitHub

Python

Descripción del empleo

Estamos en búsqueda de : Especialista en Databricks Platform (AWS / ML / DevOps)

Tipo de perfil

• Dominio de operaciones en la nube con AWS, con sólido entendimiento del escalado de infraestructura y optimización de coste / rendimiento.
• Experiencia demostrada y práctica con Databricks en AWS : administración del workspace, gestión de clústeres y pools, orquestación de trabajos (Jobs / Workflows), repositorios, secrets e integraciones.
• Amplia experiencia con Databricks Unity Catalog : configuración del metastore, catálogos / esquemas, data lineage, control de acceso (ACLs, grants), control de acceso basado en atributos y gobierno del dato.
• Experiencia en Infraestructura como Código (IaC) para Databricks y AWS usando Terraform (proveedores databricks y aws) y / o AWS CloudFormation; experiencia con Databricks asset bundles o CLI es un plus.
• Experiencia implementando CI / CD y GitOps para notebooks, trabajos y activos de ML usando GitHub y GitHub Actions (o GitLab / Jenkins), incluyendo pruebas automatizadas y promoción entre workspaces.
• Capacidad para estructurar librerías reutilizables, empaquetar y versionar código, y reforzar calidad mediante pruebas unitarias / de integración y linting. Dominio de SQL para desarrollo en Lakehouse.
• Experiment tracking, model registry, versionado de modelos, approval gates y despliegue a endpoints batch / en tiempo real (Model Serving).
• AWS IAM / STS, PrivateLink / VPC, cifrado KMS, secretos, SSO / SCIM y monitorización / observabilidad (CloudWatch / Datadog / Grafana).
• Experiencia con prácticas DevOps para habilitar estrategias de automatización y reducir operaciones manuales.
• Experiencia o conocimiento en MLOps; crear pipelines que aceleren y automaticen ML será muy valorado.
• Excelentes habilidades de comunicación, colaboración transversal y gestión de stakeholders.
• Detallista, proactivo, capaz de trabajar de forma independiente y en un equipo distribuido.

Funciones del candidato

• Diseñar e implementar soluciones de plataforma Databricks escalables para soportar flujos de trabajo de analítica, ML y GenAI en entornos dev / test / prod.
• Administrar y optimizar workspaces de Databricks : políticas de clústeres, pools, job clusters vs all-purpose clusters, autoscaling, uso de spot / fleet y GPU / compute acelerado cuando aplique.
• Implementar gobierno con Unity Catalog : definir metastore, catálogos, esquemas, data sharing, enmascaramiento de filas / columnas, lineage y controles de acceso; integrar con identidad empresarial y auditoría.
• Crear IaC para aprovisionamiento y configuración reproducible de la plataforma usando Terraform; gestionar config-as-code para políticas de clúster, trabajos, repos, service principals y secret scopes.
• Implementar CI / CD para notebooks, librerías, pipelines DLT y activos de ML; automatizar pruebas, quality gates y promoción entre workspaces usando GitHub Actions y APIs de Databricks.
• Estandarizar estructura de experimentos, implementar flujos de trabajo del registro de modelos y desplegar / operar endpoints de model serving con monitorización y rollback.
• Desarrollar y optimizar pipelines de Delta Lake (batch y streaming) usando Auto Loader, Structured Streaming y DLT; aplicar calidad de datos y SLAs con expectations y alertas.
• Optimizar coste y rendimiento : dimensionar correctamente clústeres y pools, aplicar políticas y cuotas, gestionar consumo de DBU, usar spot / fleet e implementar informes de chargeback / showback.
• Integrar observabilidad : métricas / logs / traces para trabajos, clústeres y model serving; configurar alertas, runbooks de guardia y respuesta a incidentes para reducir MTTR.
• Garantizar seguridad y cumplimiento de la plataforma : diseño de VPC, PrivateLink, cifrado en reposo / en tránsito, gestión de secretos, remediación de vulnerabilidades y preparación para auditorías; alineación con estándares internos de seguridad y, cuando aplique, controles GxP.
• Colaborar con equipos multifuncionales para integrar la plataforma Databricks con fuentes de datos, flujos de eventos, aplicaciones downstream y servicios de IA en AWS.
• Realizar investigación técnica, evaluar nuevas funcionalidades de Databricks (p. ej., Lakehouse Federation, Vector Search, Mosaic AI) y proponer mejoras de plataforma alineadas con la hoja de ruta.
• Comunicar regularmente avances, riesgos y recomendaciones a los responsables del cliente y equipos de desarrollo.

Requisitos indispensables

• Experiencia práctica en administración de Databricks en AWS, incluyendo gobierno con Unity Catalog e integraciones empresariales.
• Sólida base en AWS : redes (VPC, subnets, SGs), roles y políticas IAM, KMS, S3, CloudWatch; familiaridad con EKS es un plus.
• Dominio de Terraform (incluyendo databricks provider), GitHub y GitHub Actions.
• Sólidos conocimientos de Python y SQL; experiencia empaquetando librerías y trabajando con notebooks y repos.
• Experiencia con MLflow para tracking y model registry; se prefiere experiencia con endpoints de model serving.
• Familiaridad con Delta Lake, Auto Loader, Structured Streaming y DLT.
• Experiencia implementando automatización DevOps y runbooks; comodidad trabajando con REST APIs y Databricks CLI.
• Dominio de Git y GitHub; estrategias de revisión de código y branching.

Detalles del puesto

• Modalidad : Presencial una vez al mes en las oficinas de Barcelona
• Horario de trabajo : Debe trabajar en horario laboral del Reino Unido, comenzando a las 09 : 00 (hora del Reino Unido) / 13 : 30 IST
• Nivel de inglés : C1, uso diario en un ámbito internacional