Senior Data Engineer: Cloudera to GCP Migration

Grupo TECDATA Engineering; Madrid; On-site; EUR 70,000 - 110,000; Full time

Job summary

Grupo TECDATA Engineering busca un Data Engineer Senior con experiencia en migraciones de Cloudera a Google Cloud Platform (GCP) para modernizar la arquitectura de datos y trasladar almacenamiento, procesamiento y gobierno a entornos cloud.

Se prioriza la reutilización de código existente, la calidad de los datos y la optimización de rendimiento y costes, con énfasis en Dataproc, Spark y gestión de datos en GCP.

Qualifications

• Experiencia en migraciones de Cloudera a GCP con HDFS y Cloud Storage.
• 1],

Responsibilities

• Participar en la modernización de la arquitectura de datos migrando almacenamiento, procesamiento y gobierno a cloud.

Skills

Cloudera to GCP migration

HDFS

Google Cloud Storage

Apache Spark

Scala

PySpark

Dataproc

Dataproc Serverless

Spark Streaming

Kafka

Kudu

BigQuery

Spanner

Bigtable

Hive Metastore

Apache Ranger

Dataplex

Cloud IAM

Tools

Dataproc

Dataproc Serverless

GCS

Cloud SQL

Google Spanner

BigQuery

Bigtable

Job description

Grupo TECDATA Engineering busca un Data Engineer Senior con experiencia en migraciones de Cloudera a Google Cloud Platform (GCP) para modernizar la arquitectura de datos y trasladar almacenamiento, procesamiento y gobierno a entornos cloud.

Se prioriza la reutilización de código existente, la calidad de los datos y la optimización de rendimiento y costes, con énfasis en Dataproc, Spark y gestión de datos en GCP.