Data Engineer Big Data & Cloud

Tecdata Engineering; Madrid; Hybride; EUR 70 000 - 100 000; Plein temps

Résumé du poste

Tecdata Engineering busca un perfil Senior para liderar la arquitectura y desarrollo de una plataforma de datos centrada en Big Data. Se trabajará con Cloudera, Spark y partes en Google Cloud Platform.

Se requiere experiencia >3 años en Spark y ecosystem Cloudera, Scala, Java, Kafka y Cloud (GCP). Se valora experiencia en CI/CD, Control-M y Scrum. Trabajo híbrido en Madrid Alcobendas con 2–3 días remotos.

Qualifications

• Big Data indispensable; >3 años diseñando y desarrollando procesos batch y real time con Apache Spark en Cloudera.
• Alto nivel de Scala sobre Apache Spark; Java.
• Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.
• Cloud (GCP) experiencia desarrollando sobre Google Cloud Platform: BigQuery, dbt/SQL y Python; Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.
• CI/CD con Git/Bitbucket y Jenkins. Planificación de procesos con Control-M. Trabajo en equipos Scrum.
• Autonomía, capacidad de decisión y buena comunicación con perfiles técnicos y de negocio.
• Trabajo híbrido en Madrid Alcobendas 2 o 3 Días Remoto.

Responsabilités

• Diseñar y dirigir la arquitectura de una plataforma de datos centrada en Big Data (Cloudera/Spark).
• Desarrollar procesos batch y en tiempo real con Spark en el entorno Cloudera.
• Trabajar en Cloud GCP (BigQuery, Python) y herramientas de orquestación (Pub/Sub, Dataflow).

Connaissances

Big Data

Apache Spark

Scala

Java

Kafka

Google Cloud Platform

BigQuery

Python

SQL

dbt

Pipelines/ETL

HDFS/Hive

Kudu

Solr

CI/CD

Git/Bitbucket

Jenkins

Control-M

Scrum

Outils

Git

Bitbucket

Jenkins

Control-M

HDFS

Hive

BigQuery

Description du poste

Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform

Requisitos

Big Data (imprescindible) Más de 3 años diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.

Alto nivel de Scala sobre Apache Spark; Java. Modelado en Apache HDFS/Hive, Apache Kudu y Apache Solr.

Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.

Cloud (GCP) Experiencia desarrollando sobre Google Cloud Platform. BigQuery (modelado), dbt/SQL y Python. Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.

Transversal CI/CD con Git/Bitbucket y Jenkins. Planificación de procesos con Control-M. Trabajo en equipos Scrum.

Autonomía, capacidad de decisión y buena comunicación con perfiles técnicos y de negocio.

Trabajo hibrido en madrid Alcobendas 2 o 3 Dias Remoto