Data Engineer — Cloudera to GCP Migration Expert

Tecdata Engineering; Madrid; On-site; EUR 60,000 - 80,000; Full time

Job summary

Tecdata Engineering busca un Data Engineer para liderar la migración de Cloudera a Google Cloud Platform en Madrid. El candidato deberá gestionar pipelines de datos, migrar workloads a Dataproc y optimizar cargas en la nube.

Requisitos: experiencia con HDFS, Google Cloud Storage, Spark, Scala, PySpark, Spark Streaming, Kafka en GCP, Kudu y soluciones como Cloud SQL, Spanner y Bigtable; gobernanza de datos con Hive Metastore, Ranger, Dataplex, IAM y BigQuery Policy Tags.

Qualifications

• Experiencia con migración de cloudera a cloud.
• Conocimientos de Hadoop/HDFS y almacenamiento en la nube.
• Experiencia avanzada con Spark, Scala y PySpark.
• Conocimiento de Dataproc y Dataproc Serverless.
• Experiencia con Spark Streaming y Kafka en GCP.
• Conocimientos de Kudu y soluciones de destino como Cloud SQL, Spanner y Bigtable.
• Experiencia en gobernanza de datos (Hive Metastore, Ranger, Dataplex, IAM, BigQuery Policy Tags).
• Experiencia en migración y optimización de pipelines de datos en entornos cloud.

Skills

HDFS

Google Cloud Storage

Apache Spark

Scala

PySpark

Dataproc

Dataproc Serverless

Spark Streaming

Apache Kafka

Kafka en GCP

Kudu

Cloud SQL

Google Spanner

Bigtable

Hive Metastore

Apache Ranger

Dataplex

Cloud IAM

BigQuery Policy Tags

Job description

Tecdata Engineering busca un Data Engineer para liderar la migración de Cloudera a Google Cloud Platform en Madrid. El candidato deberá gestionar pipelines de datos, migrar workloads a Dataproc y optimizar cargas en la nube.

Requisitos: experiencia con HDFS, Google Cloud Storage, Spark, Scala, PySpark, Spark Streaming, Kafka en GCP, Kudu y soluciones como Cloud SQL, Spanner y Bigtable; gobernanza de datos con Hive Metastore, Ranger, Dataplex, IAM y BigQuery Policy Tags.