Big Data Developer (multicloud & AI)

FDS, A DXC Technology Company; Santiago de Compostela; On-site; EUR 55,000 - 90,000; Full time

Job summary

FDS, A DXC Technology Company busca un/a Big Data Engineer para liderar el motor de ingesta de uno de los mayores almacenes de datos de Europa. Trabajarás en una plataforma multicloud (GCP y Azure), evolucionando procesos y asegurando la calidad de los datos para decenas de equipos.

Se requiere experiencia en Data Engineering, Spark y Python, con habilidades en SQL y orquestación de flujos de datos. Se valoran conocimientos de IA agéntica y buenas prácticas de ingeniería.

Qualifications

• Experiencia en ingesta y procesamiento de datos a gran escala.
• Conocimientos de Spark, Python y SQL en entornos productivos.
• Experiencia con entornos multicloud (GCP/Azure) y orquestación de pipelines.
• Capacidad para garantizar calidad y trazabilidad de los datos.

Responsibilities

• Desarrollar y evolucionar procesos de ingesta de datos.
• Diseñar, orquestar y supervisar flujos de datos end-to-end.
• Detectar, analizar y resolver incidencias de cargas de datos.
• Velar por la calidad y trazabilidad del dato.
• Dar soporte a equipos de datos y atender necesidades de ingesta.
• Participar en mejoras de rendimiento, coste y mantenibilidad.

Skills

Data engineering

Python

SQL

Cloud platforms

ETL / data pipelines

Tools

Apache Spark

Airflow

Snowflake

Azure

GCP

Git

Data quality

Job description

Actualmente buscamos incorporar un/a Big Data Engineer para formar parte del equipo responsable del desarrollo y evolución del motor de ingesta de uno de los mayores almacenes de datos de Europa.

Trabajarás sobre una plataforma multicloud, basada en GCP y Azure, en constante evolución y que da servicio a decenas de equipos de datos. Buscamos una persona con experiencia en ingeniería de datos, orientación a entornos productivos y ganas de participar en proyectos de gran escala, incorporando además capacidades de IA agéntica en los procesos y flujos de trabajo del equipo.

• Desarrollar y evolucionar los procesos de ingesta de datos, incorporando nuevas fuentes y dando respuesta a volúmenes crecientes de información.
• Diseñar, orquestar y supervisar flujos de datos end-to-end, garantizando su correcta ejecución recurrente.
• Detectar, analizar y resolver incidencias relacionadas con las cargas de datos.
• Velar por la calidad y trazabilidad del dato.
• Dar soporte a los diferentes equipos de datos que consumen la plataforma y atender sus necesidades de ingesta.
• Participar en la mejora continua del motor en términos de rendimiento, costes, robustez y mantenibilidad.
• Trabajar sobre diferentes proveedores cloud dentro de un entorno multicloud GCP + Azure.
• Incorporar IA agéntica a los procesos del equipo, integrando agentes y herramientas dentro de los flujos de trabajo existentes.
• Al menos 2 años de experiencia en Data Engineering, desarrollando y operando procesos de datos en entornos productivos.
• Experiencia desarrollando procesos de ingesta y tratamiento de datos a gran escala.
• Experiencia en procesamiento distribuido con Apache Spark.
• Programación en Python.
• Experiencia en diseño y orquestación de flujos de datos.
• Experiencia trabajando en entornos cloud, especialmente Azure y/o GCP.
• Buen nivel de SQL para consulta y validación de datos.
• Conocimientos sobre el uso e integración de IA agéntica.

Será un plus si además tienes experiencia con:

• Apache Airflow para orquestación de flujos.
• Snowflake, especialmente en la supervisión de cargas de datos.
• Buenas prácticas de ingeniería de software: Git, code review y testing.
• Participación en proyectos innovadores y de alto impacto.
• Entorno de trabajo flexible y colaborativo.
• Formar parte de una compañía global líder en tecnología.