Senior Data Engineer — AI-Ready Metadata & Lineage (Remote from Spain)

Intellias; Gijón; Presencial; EUR 70.000 - 100.000; Jornada completa

Descripción de la vacante

Intellias en Gijón, Asturias, España, busca un Senior Data Engineer (Metadata y Lineage) para trabajar remotamente desde España. Diseñarás y construirás catálogos, capas semánticas y lineage que transformen grandes patrimonios de datos en recursos accesibles para agentes de IA.

Requisitos: 5+ años en Python/SQL, crawlers, Kafka, OpenLineage, Elasticsearch/OpenSearch/MongoDB, uso de LLMs para metadata, y inglés fluido. Integrarás equipos de desarrollo en un entorno regulado.

Formación

• 5+ años creando sistemas de datos en Python con fundamentos de ingeniería y SQL.
• Experiencia con crawlers/connectors para extraer inventarios y linaje.
• Integración basada en eventos con Kafka y patrones seguros.
• Conocimientos de Elasticsearch/OpenSearch/MongoDB para almacenamiento de documentos.
• Conocimiento de OpenLineage o lineage similar.
• Uso de LLMs para datos metadata y descripciones.
• Capacidad de trabajar en código de otros equipos y inglés fluido.

Responsabilidades

• Construir rutas de extracción y registro para catálogos de datos.
• Ampliar capacidades de scraping a metadata completa con descripciones.
• Cargar metadatos de proveedores a una base de conocimiento interna.
• Generar inventarios de informes y datasets con descripciones por LLM.
• Integrar lineage al backend del cliente entre lotes y streams.
• Aplicar contrato de federation de identidades y ownership.
• Mantener metadata actualizada con refresh programado y señales de calidad.

Conocimientos

Python

SQL

Kafka

OpenLineage

LLMs

Data pipelines

Elasticsearch

English

Herramientas

Elasticsearch/OpenSearch

MongoDB

Airflow

Git

Descripción del empleo

Intellias en Gijón, Asturias, España, busca un Senior Data Engineer (Metadata y Lineage) para trabajar remotamente desde España. Diseñarás y construirás catálogos, capas semánticas y lineage que transformen grandes patrimonios de datos en recursos accesibles para agentes de IA.

Requisitos: 5+ años en Python/SQL, crawlers, Kafka, OpenLineage, Elasticsearch/OpenSearch/MongoDB, uso de LLMs para metadata, y inglés fluido. Integrarás equipos de desarrollo en un entorno regulado.