Remote Data Engineer - Cloudera & Big Data Pipelines

AD4 Octógono; Madrid; Presencial; EUR 40.000 - 50.000; Jornada completa

Descripción de la vacante

AD4 Octogono busca un/a Data Engineer especializado/a en Cloudera para diseñar, construir y operar soluciones de ingeniería del dato sobre CDP. Se trabajará en pipelines batch y streaming, con énfasis en escalabilidad y calidad de datos.

Se requieren 3-5 años en ingeniería del dato y 2-3 años con Cloudera, además de la certificación Cloudera Data Engineer. Modalidad de teletrabajo posible; salario 40.000–50.000 € brutos anuales.

Formación

• Experiencia 3-5 años en ingeniería del dato.
• 2-3 años con Cloudera en entornos productivos.
• Certificación oficial Cloudera Data Engineer, imprescindible.

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Cloudera Data Platform.
• Desarrollar procesos distribuidos con Spark, PySpark y Spark SQL.
• Implementar ingesta y movimiento de datos con Apache NiFi.
• Gestionar evolución de esquemas, particionamiento y almacenamiento.
• Analizar planes de ejecución y rendimiento de consultas.
• Garantizar la calidad y la integridad del dato.

Conocimientos

CDP

Spark

PySpark

Spark SQL

SQL

Hive

Airflow

Kafka

NiFi

HDFS

Batch processing

Streaming

Change data capture

Hive/Impala tuning

REST APIs

JDBC

Distributed architectures

Data quality

Educación

Ingeniería Informática

Ingeniería de Telecomunicaciones

Matemáticas

Estadística

Disciplinas relacionadas

Descripción del empleo

AD4 Octogono busca un/a Data Engineer especializado/a en Cloudera para diseñar, construir y operar soluciones de ingeniería del dato sobre CDP. Se trabajará en pipelines batch y streaming, con énfasis en escalabilidad y calidad de datos.

Se requieren 3-5 años en ingeniería del dato y 2-3 años con Cloudera, además de la certificación Cloudera Data Engineer. Modalidad de teletrabajo posible; salario 40.000–50.000 € brutos anuales.