Big Data Developer (multicloud & AI)

FDS, A DXC Technology Company; Santiago de Compostela; Presencial; EUR 42.000 - 66.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Proyectos innovadores

Entorno flexible

Formación continua

Compañía líder

Descripción de la vacante

FDS, A DXC Technology Company busca un/a Big Data Engineer en Galicia para liderar la ingesta y el motor de datos de uno de los mayores almacenes de información de Europa. Participarás en un entorno multicloud GCP y Azure, con proyectos de IA agéntica y escalabilidad.

Se valorará experiencia en ingesta a gran escala, Spark, Python y SQL, así como la capacidad de mejorar rendimiento y costes. Formación continua y entorno colaborativo aseguran desarrollo profesional.

Formación

• Al menos 2 años de experiencia en Data Engineering en entornos productivos.
• Experiencia en ingesta y tratamiento de datos a gran escala.
• Experiencia en procesamiento distribuido con Apache Spark.
• Programación en Python.
• Experiencia en diseño y orquestación de flujos de datos.
• Experiencia trabajando en entornos cloud, especialmente Azure y/o GCP.
• Buen nivel de SQL para consulta y validación de datos.
• Conocimientos sobre el uso e integración de IA agéntica.

Responsabilidades

• Desarrollar y evolucionar los procesos de ingesta de datos, incorporando nuevas fuentes y dando respuesta a volúmenes crecientes de información.
• Diseñar, orquestar y supervisar flujos de datos end-to-end, garantizando su correcta ejecución recurrente.
• Detectar, analizar y resolver incidencias relacionadas con las cargas de datos.
• Velar por la calidad y trazabilidad del dato.
• Dar soporte a los diferentes equipos de datos que consumen la plataforma y atender sus necesidades de ingesta.
• Participar en la mejora continua del motor en términos de rendimiento, costes, robustez y mantenibilidad.
• Trabajar sobre diferentes proveedores cloud dentro de un entorno multicloud GCP + Azure.
• Incorporar IA agéntica a los procesos del equipo, integrando agentes y herramientas dentro de los flujos de trabajo existentes.

Conocimientos

Data Engineering

Python

SQL

Apache Spark

Data orchestration

Cloud (Azure/GCP)

Airflow

Databricks

Herramientas

Azure

GCP

Databricks

Snowflake

Airflow

Descripción del empleo

Actualmente buscamos incorporar un/a Big Data Engineer para formar parte del equipo responsable del desarrollo y evolución del motor de ingesta de uno de los mayores almacenes de datos de Europa.

Trabajarás sobre una plataforma multicloud, basada en GCP y Azure, en constante evolución y que da servicio a decenas de equipos de datos. Buscamos una persona con experiencia en ingeniería de datos, orientación a entornos productivos y ganas de participar en proyectos de gran escala, incorporando además capacidades de IA agéntica en los procesos y flujos de trabajo del equipo.

¿Qué harás?

• Desarrollar y evolucionar los procesos de ingesta de datos, incorporando nuevas fuentes y dando respuesta a volúmenes crecientes de información.
• Diseñar, orquestar y supervisar flujos de datos end-to-end, garantizando su correcta ejecución recurrente.
• Detectar, analizar y resolver incidencias relacionadas con las cargas de datos.
• Velar por la calidad y trazabilidad del dato.
• Dar soporte a los diferentes equipos de datos que consumen la plataforma y atender sus necesidades de ingesta.
• Participar en la mejora continua del motor en términos de rendimiento, costes, robustez y mantenibilidad.
• Trabajar sobre diferentes proveedores cloud dentro de un entorno multicloud GCP + Azure.
• Incorporar IA agéntica a los procesos del equipo, integrando agentes y herramientas dentro de los flujos de trabajo existentes.

¿Qué buscamos?

Requisitos imprescindibles:

• Al menos 2 años de experiencia en Data Engineering, desarrollando y operando procesos de datos en entornos productivos.
• Experiencia desarrollando procesos de ingesta y tratamiento de datos a gran escala.
• Experiencia en procesamiento distribuido con Apache Spark.
• Programación en Python.
• Experiencia en diseño y orquestación de flujos de datos.
• Experiencia trabajando en entornos cloud, especialmente Azure y/o GCP.
• Buen nivel de SQL para consulta y validación de datos.
• Conocimientos sobre el uso e integración de IA agéntica.

Será un plus si además tienes experiencia con:

• Scala.
• Apache Airflow para orquestación de flujos.
• Azure Data Factory y Databricks.
• Snowflake, especialmente en la supervisión de cargas de datos.
• Buenas prácticas de ingeniería de software: Git, code review y testing.

¿Qué ofrecemos?

• Participación en proyectos innovadores y de alto impacto.
• Entorno de trabajo flexible y colaborativo.
• Formación continua.
• Formar parte de una compañía global líder en tecnología.