Data Engineer – Migración de Cloudera a GCP

Tecdata Engineering; Madrid; Vor Ort; EUR 60.000 - 80.000; Vollzeit

Zusammenfassung

Tecdata Engineering busca un Data Engineer para liderar la migración de Cloudera a Google Cloud Platform en Madrid. El candidato deberá gestionar pipelines de datos, migrar workloads a Dataproc y optimizar cargas en la nube.

Requisitos: experiencia con HDFS, Google Cloud Storage, Spark, Scala, PySpark, Spark Streaming, Kafka en GCP, Kudu y soluciones como Cloud SQL, Spanner y Bigtable; gobernanza de datos con Hive Metastore, Ranger, Dataplex, IAM y BigQuery Policy Tags.

Qualifikationen

• Experiencia con migración de cloudera a cloud.
• Conocimientos de Hadoop/HDFS y almacenamiento en la nube.
• Experiencia avanzada con Spark, Scala y PySpark.
• Conocimiento de Dataproc y Dataproc Serverless.
• Experiencia con Spark Streaming y Kafka en GCP.
• Conocimientos de Kudu y soluciones de destino como Cloud SQL, Spanner y Bigtable.
• Experiencia en gobernanza de datos (Hive Metastore, Ranger, Dataplex, IAM, BigQuery Policy Tags).
• Experiencia en migración y optimización de pipelines de datos en entornos cloud.

Kenntnisse

HDFS

Google Cloud Storage

Apache Spark

Scala

PySpark

Dataproc

Dataproc Serverless

Spark Streaming

Apache Kafka

Kafka en GCP

Kudu

Cloud SQL

Google Spanner

Bigtable

Hive Metastore

Apache Ranger

Dataplex

Cloud IAM

BigQuery Policy Tags

Jobbeschreibung

Buscamos un Data Engineer – Migración de Cloudera a GCP

Requisitos imprescindibles:

• Experiencia con HDFS y Google Cloud Storage.
• Experiencia avanzada con Apache Spark, Scala y PySpark, y migración de workloads a Dataproc y Dataproc Serverless.
• Experiencia en Spark Streaming y Apache Kafka, incluyendo servicios gestionados de Kafka en GCP.
• Conocimientos de Kudu y soluciones de destino como Cloud SQL, Google Spanner y Bigtable.
• Experiencia con Hive Metastore, Apache Ranger y gobierno del dato, incluyendo Dataplex, Cloud IAM y BigQuery Policy Tags.
• Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.