Data Engineer

W Hunt España; España; Presencial; EUR 60.000 - 80.000; Jornada completa

Descripción de la vacante

W Hunt España busca un/a Desarrollador/a Big Data con experiencia en AWS para un proyecto de gran envergadura. Formarás parte de un equipo técnico dedicado al desarrollo, mantenimiento y optimización de soluciones Big Data, trabajando con PySpark, Spark Streaming, Kafka y AWS.

Se requiere más de 3 años de experiencia en Big Data, dominio de Python y PySpark, y experiencia con Spark/Streaming y Kafka. Modalidad 100% remota desde España, con entorno colaborativo y oportunidades de crecimiento.

Formación

• Más de 3 años de experiencia en Big Data o Ingeniería de Datos.
• Experiencia avanzada en Python y PySpark.
• Experiencia avanzada en AWS (Amazon Web Services).
• Conocimientos de Apache Spark y Spark Streaming.
• Dominio de SQL para transformación y explotación de datos.

Responsabilidades

• Desarrollo y mantenimiento de procesos de datos con PySpark.
• Diseño y optimización de pipelines de datos en AWS.
• Desarrollo de ETL/ELT para grandes volúmenes de datos.
• Procesamiento en tiempo real con Spark Streaming y Kafka.
• Transformación de datos y explotación mediante SQL.
• Gestión de tablas y almacenamiento con Iceberg y Delta Lake.
• Automatización de procesos con Python.
• Colaboración con equipos ágiles y uso de GitHub.

Conocimientos

PySpark

Spark Streaming

Kafka

Python

SQL

GitHub

AWS

Scala

Big Data

Herramientas

Iceberg

Delta Lake

Descripción del empleo

Buscamos un/a Desarrollador/a Big Data con experiencia en entornos AWS para incorporarse a un proyecto de gran envergadura.

Formarás parte de un equipo técnico especializado en el desarrollo, mantenimiento y optimización de soluciones Big Data, trabajando con tecnologías como PySpark, Spark Streaming, Kafka y AWS para el procesamiento de grandes volúmenes de datos.

Funciones:

• Desarrollo y mantenimiento de procesos de datos utilizando PySpark.
• Diseño, construcción y optimización de pipelines de datos en entornos AWS.
• Desarrollo de procesos ETL/ELT para el tratamiento de grandes volúmenes de información.
• Implementación de soluciones de procesamiento en tiempo real mediante Spark Streaming y Kafka.
• Transformación y explotación de datos mediante SQL.
• Gestión de tablas y almacenamiento utilizando Iceberg y/o Delta Lake.
• Automatización de procesos mediante Python.
• Colaboración con equipos multidisciplinares bajo metodologías ágiles.
• Control de versiones y colaboración mediante GitHub.
• Más de 3 años de experiencia Big Data o Ingeniería de Datos.
• Experiencia avanzada en Python y PySpark.
• Experiencia avanzada en AWS (Amazon Web Services).
• Experiencia con Apache Spark y Spark Streaming.
• Dominio de SQL para transformación y explotación de datos.
• Experiencia con Apache Kafka o sistemas de mensajería similares.
• Experiencia trabajando con Iceberg y/o Delta Lake.
• Conocimientos de GitHub para control de versiones.
• Valorable experiencia con Scala.
• Proyecto de larga duración con tecnologías Big Data de última generación.
• Modalidad 100% remota desde cualquier punto de España.
• Entorno tecnológico innovador y colaborativo.
• Oportunidades de crecimiento profesional y aprendizaje continuo.
• Salario competitivo en función de la experiencia aportada.