Senior Data Engineer – Big Data & Cloud | Cloudera, Spark, Scala y GCP

Grupo TECDATA Engineering; Madrid; Presencial; EUR 70.000 - 110.000; Jornada completa

Descripción de la vacante

Grupo TECDATA Engineering busca un Data Engineer Senior con experiencia en migraciones de Cloudera a Google Cloud Platform (GCP) para modernizar la arquitectura de datos y trasladar almacenamiento, procesamiento y gobierno a entornos cloud.

Se prioriza la reutilización de código existente, la calidad de los datos y la optimización de rendimiento y costes, con énfasis en Dataproc, Spark y gestión de datos en GCP.

Formación

• Experiencia en migraciones de Cloudera a GCP con HDFS y Cloud Storage.
• 1],

Responsabilidades

• Participar en la modernización de la arquitectura de datos migrando almacenamiento, procesamiento y gobierno a cloud.

Conocimientos

Cloudera to GCP migration

HDFS

Google Cloud Storage

Apache Spark

Scala

PySpark

Dataproc

Dataproc Serverless

Spark Streaming

Kafka

Kudu

BigQuery

Spanner

Bigtable

Hive Metastore

Apache Ranger

Dataplex

Cloud IAM

Herramientas

Dataproc

Dataproc Serverless

GCS

Cloud SQL

Google Spanner

BigQuery

Bigtable

Descripción del empleo

Buscamos un/a Data Engineer Senior con experiencia sólida en proyectos de migración de plataformas Cloudera a Google Cloud Platform (GCP), para participar en la modernización de la arquitectura de datos, trasladando los componentes de almacenamiento, procesamiento y gobierno del dato a entornos cloud.

El objetivo será garantizar una migración eficiente y segura, priorizando la reutilización del código existente, la calidad de los datos y la optimización del rendimiento y los costes.

• Experiencia en migraciones de Cloudera a GCP, trabajando con HDFS y Google Cloud Storage.
• Dominio de Apache Spark, Scala y PySpark.
• Experiencia migrando procesos y workloads a Dataproc y Dataproc Serverless.
• Conocimientos de procesamiento batch y streaming con Spark Streaming y Apache Kafka, incluidos servicios gestionados de Kafka en GCP.
• Experiencia con Kudu y tecnologías de destino como Cloud SQL, Google Spanner y Bigtable.
• Conocimientos de Hive Metastore y Apache Ranger.
• Experiencia en gobierno y seguridad del dato con Dataplex, Cloud IAM y BigQuery Policy Tags.
• Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.
• Participar en la migración de componentes de almacenamiento, procesamiento batch y streaming desde Cloudera a GCP.
• Adaptar y migrar workloads de Spark, priorizando la reutilización del código existente.
• Implementar y optimizar procesos de datos en Dataproc y Dataproc Serverless.
• Migrar e integrar flujos de datos, garantizando su calidad, consistencia y rendimiento.
• Adaptar los mecanismos de gobierno, seguridad y control de acceso al ecosistema GCP.
• Validar los procesos migrados y optimizar el rendimiento y los costes de la plataforma.