Data Engineer

Mática Partners; Barcelona; Hybrid; EUR 38,000 - 44,000; Full time

Benefits offered by this job

Wetaca gratuito

Horario flexible

Seguro de salud

Retribución flexible con Cobee

Vacaciones ampliadas (Navidad y Semana

Welcome Kit

Job summary

Mática Partners busca un Data Engineer para su equipo IT, que trabaje con Tableau a gran escala en Azure y optimice rendimiento analizando logs, metadatos y métricas de máquinas.

Trabajará con Databricks, Delta Lake y Spark para centralizar datos, optimizar consultas y preparar un agente Genie para consultar rendimiento en lenguaje natural. Se valora autonomía, inglés y colaboración internacional.

Qualifications

• Al menos 3 años como Data Engineer o similar.
• Experiencia con Spark (PySpark o Spark SQL) sobre tablas grandes y rendimiento.
• Experiencia con Databricks y Delta Lake.
• SQL avanzado.
• Experiencia con PostgreSQL y análisis de metadatos.
• Conocimiento de Tableau Server o Tableau Cloud.
• Experiencia analizando rendimiento en plataformas de datos/BI.
• Autonomía e iniciativa para investigar problemas.
• Buen nivel de inglés de trabajo.

Responsibilities

• Extraer y centralizar datos de rendimiento de Tableau Server en Databricks.
• Recoger métricas de máquinas virtuales de Azure y logs relevantes.
• Sacar metadatos de Tableau para relacionar rendimiento con origen.
• Procesar grandes volúmenes de logs con Spark en tablas Delta.
• Analizar cuellos de botella y proponer mejoras
• Preparar tablas para el agente de Genie y validar respuestas.

Skills

Spark (PySpark o Spark SQL)

Databricks

Delta Lake

SQL avanzado

PostgreSQL

Tableau Server/Cloud

Big data performance tuning

Autonomía e iniciativa

Inglés técnico

Tools

Tableau

Azure Monitor / Log Analytics

Logshark / Splunk / ELK

Databricks Genie / Unity Catalog

Azure / AWS

Delta Lake

Job description

Somos una compañía tecnológica especializada en Inteligencia Artificial, IA Generativa, Analytics, Gobierno del Dato, Cloud y arquitecturas Event Driven, pero sobre todo somos un equipo con conocimiento, criterio y muchas ganas de hacer las cosas bien.

Trabajamos con talento altamente especializado, esté donde esté, y apostamos por una forma de crecer basada en la confianza, la autonomía y la participación. Nos mueve la excelencia tecnológica, la orientación a negocio y el sentido común, pero también el entusiasmo, la creatividad y la convicción de que la tecnología necesita alma, propósito y personas capaces de convertir la complejidad en soluciones reales.

Buscamos un Data Engineer para el equipo de IT de un gran cliente multinacional. El cliente usa Tableau a gran escala sobre máquinas en Azure y en los últimos meses tiene problemas de rendimiento cuyo origen no tiene claro: hoy no dispone de datos sobre el uso de CPU y memoria, los tiempos de carga o los refrescos.

Tu trabajo será sacar toda esa información (logs, metadatos de Tableau y métricas de las máquinas), llevarla a Databricks, encontrar dónde están los cuellos de botella y ayudar a resolverlos. Con esos datos se montará un agente de Databricks Genie para que IT pueda consultar el rendimiento en lenguaje natural. No hace falta experiencia en IA: el agente ya existe como producto y no hay que desarrollar modelos.

• Al menos 3 años como Data Engineer o en un puesto similar.
• Experiencia con Spark (PySpark o Spark SQL) sobre tablas muy grandes, incluida la optimización de rendimiento: particionado, tamaño de ficheros, planes de ejecución, joins y caché.
• Experiencia con Databricks y Delta Lake.
• SQL avanzado.
• Experiencia con PostgreSQL, incluida la consulta y el análisis de bases de datos de sistema o de metadatos (por ejemplo, el repositorio interno de Tableau Server).
• Conocimiento de Tableau Server o Tableau Cloud desde el lado técnico o de administración: logs, repositorio, vistas de administración o herramientas de monitorización.
• Experiencia analizando problemas de rendimiento en plataformas de datos o BI.
• Autonomía e iniciativa para investigar problemas sin una solución definida.
• Buen nivel de inglés de trabajo.

Requisitos deseables

• Experiencia con Azure Monitor, Log Analytics o métricas de máquinas virtuales en Azure.
• Conocimiento de la Metadata API o la REST API de Tableau.
• Experiencia optimizando workbooks y extracts de Tableau (performance recording, Hyper, conexiones live frente a extract).
• Experiencia con herramientas de análisis de logs (Logshark, Splunk, ELK o similares).
• Experiencia con Unity Catalog o Databricks Genie.

¿Cómo será tu día a día?

• Extraer y centralizar en Databricks los datos de rendimiento de Tableau Server: logs de los procesos (VizQL, backgrounder, gateway), el repositorio interno de Tableau y el Resource Monitoring Tool.
• Recoger las métricas de las máquinas virtuales de Azure (CPU, memoria, disco) desde Azure Monitor o Log Analytics.
• Sacar de los metadatos de Tableau qué tablas y fuentes de datos lee cada workbook, para relacionar los problemas de rendimiento con su origen.
• Procesar y modelar grandes volúmenes de logs con Spark en tablas Delta optimizadas.
• Analizar los cuellos de botella: vistas lentas, consultas costosas, refrescos de extracts que se solapan, picos de usuarios y dimensionamiento de las máquinas.
• Proponer mejoras y trabajar con los equipos para aplicarlas: diseño de workbooks y fuentes de datos, programación de refrescos, configuración del servidor y optimización de tablas de origen.
• Preparar las tablas para el agente de Genie (descripciones, instrucciones y consultas de ejemplo) y comprobar que responde bien.

Pertenecer a una empresa a la vanguardia tecnológica y centrada en las Personas, ponemos al trabajador en el centro de todo lo que hacemos. Creemos en una cultura horizontal, sin egos, en

un entorno donde se valoran tanto las ideas como las personas.

Contrato indefinido y salario entre los 38.000 y 44.000 euros brutos/año de entrada, ajustado según tu experiencia (nuestro plan de carrera incluye revisiones anuales). También tendrás a tu disposición un plan de formación especializado, participación en la propiedad y los beneficios de Mática: Wetaca gratuito en la oficina dos días a la semana, horario flexible con facilidades para trabajar desde donde quieras, seguro de salud, retribución flexible con Cobee, además de las vacaciones habituales, ofrecemos una semana extra en Navidad y tres días adicionales en Semana Santa.

También recibirás un divertido Welcome Kit con portátil (podrás escoger entre varios modelos Mac o Windows), móvil, botella personalizada, auriculares bluetooth y golosinas.

Cuando estés en nuestra oficina, en el centro de Barcelona o Madrid, la fruta, los cafés y los refrescos corren a cuenta de Mática. ¡Ah! Y si eres amante de los animales, te gustará saber esto: ¡nuestras oficinas son Pet-friendly!