Desarrollador Big Data

Tecdata Engineering; Madrid; On-site; EUR 48,000 - 72,000; Full time

Job summary

Tecdata Engineering busca un Desarrollador Big Data para diseñar y desarrollar procesos batch y streaming con Spark en un entorno Cloudera, liderando soluciones de datos para clientes del sector retail.

Se requiere experiencia en arquitectura híbrida on-premise y cloud, dominio de GCP, Kafka y CI/CD, y capacidad para colaborar en equipos Scrum para entregar soluciones escalables y confiables.

Qualifications

• Experiencia en Big Data y Spark (Cloudera).
• Modelado en HDFS/Hive, Kudu y Solr.
• Conocimiento profundo de Kafka y Cloud (GCP).
• CI/CD con Git/Bitbucket y Jenkins.
• Trabajo en Scrum y capacidad de toma de decisiones.

Job description

Buscamos un Desarrollador Big Data

Requisitos

• Big Data (imprescindible) Más de 3 años diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.
• Alto nivel de Scala sobre Apache Spark; Java. Modelado en Apache HDFS/Hive, Apache Kudu yApache Solr.
• Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.
• Cloud (GCP) Experiencia desarrollando sobre Google Cloud Platform. BigQuery (modelado), dbt/SQL y Python. Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.
• Transversal CI/CD con Git/Bitbucket y Jenkins.
• Planificación de procesos con Control-M.
• Trabajo en equipos Scrum.
• Autonomía, capacidad de decisión y buena comunicación con perfiles técnicos y de negocio. Se valorará Experiencia como arquitecto/a en plataformas híbridas on-premise y cloud. Data Fusion, Cloud Bigtable (NoSQL) y GKE.
• Experiencia en el sector retail.
• Experiencia en toma de requisitos y análisis funcional en proyectos Big Data / BI.