Ingeniero de Datos Senior migración Cloudera

Tecdata Engineering; United States; Remote; USD 120,000 - 170,000; Full time

Job summary

Tecdata Engineering busca un Data Engineer senior con experiencia sólida en migraciones de Cloudera a Google Cloud Platform (GCP). El rol es remoto y requiere habilidades avanzadas en HDFS, Spark/Scala, y soluciones de nube como Dataproc, Kafka gestionado en GCP y governance de datos.

El candidato trabajará en migración, validación y optimización de pipelines de datos en entornos cloud, asegurando cumplimiento de políticas y seguridad de datos a través de herramientas como Dataplex, Cloud IAM y

Qualifications

• Experiencia en migración de Cloudera a Google Cloud Platform (GCP).
• Migración, validación y optimización de pipelines de datos en entornos cloud.
• Conocimientos de gobernanza de datos y seguridad en la nube.

Responsibilities

• Liderar la migración de Cloudera a GCP y validar resultados.
• Diseñar, implementar y optimizar pipelines de datos en Dataproc y Dataproc Serverless.
• Asegurar cumplimiento de políticas de seguridad, gobierno del dato y gestión de metadatos.

Skills

HDFS

Google Cloud Storage

Apache Spark

Scala

PySpark

Dataproc

Dataproc Serverless

Spark Streaming

Apache Kafka

Kudu

BigQuery

Cloud SQL

Google Spanner

Bigtable

Hive Metastore

Apache Ranger

Gobierno del dato

Dataplex

Cloud IAM

BigQuery Policy Tags

Job description

Data Engineer - Migración de Cloudera a GCP

Trabajo remoto

Buscamos un/a Data Engineer senior con experiencia sólida en migraciones de plataformas Cloudera a Google Cloud Platform (GCP).

Requisitos imprescindibles:

• Experiencia con HDFS y Google Cloud Storage.

• Experiencia avanzada con Apache Spark, Scala y PySpark, y migración de workloads a Dataproc y Dataproc Serverless.

• Experiencia en Spark Streaming y Apache Kafka, incluyendo servicios gestionados de Kafka en GCP.

• Conocimientos de Kudu y soluciones de destino como Cloud SQL, Google Spanner y Bigtable.

• Experiencia con Hive Metastore, Apache Ranger y gobierno del dato, incluyendo Dataplex, Cloud IAM y BigQuery Policy Tags.

• Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.