Senior Databricks Data Engineer - Lakehouse (Remote)

Intellias; Sevilla; Presencial; EUR 90.000 - 120.000; Jornada completa

Descripción de la vacante

Intellias busca un Ingeniero de Datos Senior (Databricks) para unirse a un equipo de entrega en una migración de plataforma de datos empresarial. Es un rol hands-on: escribir código de producción cada semana, tomar decisiones arquitectónicas y asesorar a un ingeniero medio.

Trabajará en un cliente del sector financiero, migrando a Databricks con una arquitectura lakehouse y Unity Catalog. Se valorará experiencia en Delta Lake, pipelines declarativos y capacidades de calidad de datos.

Formación

• 6+ años de experiencia en ingeniería de datos, con al menos los últimos 3 años en Databricks en producción.
• Experiencia profunda en arquitectura medallion / lakehouse, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines y Databricks Asset Bundles.
• Fuerte Python, PySpark y SQL; capacidad para diagnosticar rendimiento en grandes cargas mediante Spark UI y Photon.

Responsabilidades

• Llevar a cabo la entrega end-to-end de dominios de datos en Azure Databricks.
• Diseñar pipelines medallion (Bronze/Silver/Gold) con Lakeflow y Delta Lake.
• Registrar productos de datos en Unity Catalog con etiquetas, máscaras, filtros y políticas de acceso.
• Implementar gates de calidad de datos en la frontera Silver-Gold y refinar reglas con stewards.
• Desplegar Databricks Asset Bundles mediante CI/CD en Azure DevOps.
• Escribir pruebas automatizadas y documentación.
• Trabajar con herramientas de IA para acelerar construcción, pruebas y despliegue de pipelines.

Conocimientos

Python

PySpark

SQL

Databricks

Delta Lake

Unity Catalog

Lakehouse

Streaming

Kafka Streaming

CI/CD

Terraform

Azure DevOps

Great Expectations

English

Herramientas

Auto Loader

Liquid Clustering

Databricks Asset Bundles

Photon

GitHub Actions

Descripción del empleo

Intellias busca un Ingeniero de Datos Senior (Databricks) para unirse a un equipo de entrega en una migración de plataforma de datos empresarial. Es un rol hands-on: escribir código de producción cada semana, tomar decisiones arquitectónicas y asesorar a un ingeniero medio.

Trabajará en un cliente del sector financiero, migrando a Databricks con una arquitectura lakehouse y Unity Catalog. Se valorará experiencia en Delta Lake, pipelines declarativos y capacidades de calidad de datos.