Data Engineer Big Data & Cloud

Grupo TECDATA Engineering; Madrid; Hybrid; EUR 70,000 - 100,000; Full time

Benefits offered by this job

Trabajo híbrido en Madrid Alcobendas (

Job summary

Grupo TECDATA Engineering busca un perfil senior para liderar la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera/Spark) con incidencia en Google Cloud Platform. Se valorará autonomía para diseñar procesos batch y real time y modelado en HDFS/Hive, Kudu y Solr.

Conocimiento profundo de Kafka y experiencia en GCP (BigQuery, dbt/SQL, Python) será clave. Se trabajará en un entorno híbrido en Madrid (Alcobendas), con parte remota 2-3 días; se requieren

Qualifications

• Experiencia ≥3 años en Big Data con Spark y Cloudera.
• Experiencia en diseño de procesos batch y real time.
• Conocimiento de Kafka a nivel de arquitectura y desarrollo.
• Experiencia en GCP (BigQuery, dbt/SQL, Python) y servicios: Pub/Sub, Dataflow, Cloud Functions y Storage.
• Trabajo en entornos Scrum y CI/CD (Git/Bitbucket, Jenkins).
• Autonomía y buena comunicación con perfiles técnicos y de negocio.

Responsibilities

• Arquitectar y desarrollar una plataforma de datos basada en Big Data (Cloudera/Spark).
• Diseñar y mantener procesos batch y streaming con Apache Spark en Cloudera.
• Modelar datos en HDFS/Hive, Kudu y Solr; integrar Kafka a nivel de arquitectura y desarrollo.
• Desarrollar sobre Google Cloud Platform (BigQuery, dbt/SQL, Python); usar Pub/Sub, Dataflow y Cloud Functions.
• Gestionar CI/CD con Git/Bitbucket y Jenkins; planificar procesos con Control-M; trabajar en Scrum.
• Comunicar y colaborar con perfiles técnicos y de negocio para alinear soluciones.

Skills

Big Data

Apache Spark

Cloudera

Google Cloud Platform

Scala

Java

Kafka

Python

BigQuery

dbt/SQL

Pub/Sub

Dataflow

Cloud Storage

CI/CD

Git/Bitbucket

Jenkins

Control-M

Scrum

Tools

Git/Bitbucket

Jenkins

Control-M

Job description

buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform

Big Data (imprescindible) Más de 3 años diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.

Alto nivel de Scala sobre Apache Spark; Java. Modelado en Apache HDFS/Hive, Apache Kudu y Apache Solr.

Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.

Cloud (GCP) Experiencia desarrollando sobre Google Cloud Platform. BigQuery (modelado), dbt/SQL y Python. Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.

Transversal CI/CD con Git/Bitbucket y Jenkins. Planificación de procesos con Control-M. Trabajo en equipos Scrum.

Autonomía, capacidad de decisión y buena comunicación con perfiles técnicos y de negocio.

Trabajo hibrido en madrid Alcobendas 2 o 3 Dias Remoto