Data Engineer – Big Data & Cloud

Tecdata Engineering; United States; Hybrid; USD 120,000 - 180,000; Full time

Job summary

Tecdata Engineering busca un Senior Data Engineer con experiencia en Big Data, Spark y Cloudera para liderar arquitecturas y desarrollo en entornos híbridos y en la nube.

El candidato ideal diseñará flujos batch y real time, trabajará con Kafka, BigQuery y Python, y colaborará estrechamente con IT, negocio y clientes para entregar soluciones escalables y mantenibles.

Qualifications

• ,

Responsibilities

• Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y Google Cloud Platform (GCP).
• Desarrollar y mantener procesos de ingesta, almacenamiento y transformación de datos con Spark, Scala, BigQuery, dbt, SQL y Python.
• Trabajar con arquitecturas de datos, gobierno del dato y optimización de procesos productivos.
• Participar en la planificación del backlog, estimaciones técnicas y coordinación con el Product Owner.
• Colaborar con el cliente, los equipos de IT y negocio, y participar en demos.
• Resolver incidencias de producción y supervisar procesos mediante Control-M.
• Asegurar las buenas prácticas técnicas y orientar al resto del equipo.

Skills

Big Data

Spark

Scala

Java

Kafka

Python

SQL

Tools

Cloudera

HDFS

Hive

Kudu

Solr

BigQuery

Dataflow

Cloud Functions

Cloud Storage

Pub/Sub

Jenkins

Git/Bitbucket

Job description

Buscamos Senior Data Engineer – Big Data & Cloud!

¿Tienes experiencia en arquitecturas Big Data, Apache Spark y Cloudera? ¿Te interesa asumir un papel de referencia técnica, combinando arquitectura y desarrollo en entornos híbridos y Cloud? ¡Esta oportunidad puede interesarte!

Principales responsabilidades

• Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y Google Cloud Platform (GCP).
• Desarrollar y mantener procesos de ingesta, almacenamiento y transformación de datos con Spark, Scala, BigQuery, dbt, SQL y Python.
• Trabajar con arquitecturas de datos, gobierno del dato y optimización de procesos productivos.
• Participar en la planificación del backlog, estimaciones técnicas y coordinación con el Product Owner.
• Colaborar con el cliente, los equipos de IT y negocio, y participar en demos.
• Resolver incidencias de producción y supervisar procesos mediante Control-M.
• Asegurar las buenas prácticas técnicas y orientar al resto del equipo.

Requisitos imprescindibles

Big Data

• Más de 3 años de experiencia diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.
• Alto nivel de Scala sobre Spark y conocimientos de Java.
• Experiencia con HDFS, Hive, Kudu y Solr.
• Conocimiento profundo de Apache Kafka, tanto a nivel de arquitectura como de desarrollo.

Cloud – Google Cloud Platform

• Experiencia con GCP y BigQuery.
• Conocimientos de dbt, SQL y Python.
• Experiencia con Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.

Otros requisitos

• Experiencia con Git/Bitbucket, Jenkins y CI/CD.
• Planificación de procesos con Control-M.
• Experiencia trabajando con metodologías Scrum.
• Autonomía, capacidad de decisión y buenas habilidades de comunicación.

Se valorará

• Experiencia en arquitecturas híbridas on-premise y Cloud.
• Conocimientos de Data Fusion, Cloud Bigtable y GKE.
• Experiencia en el sector retail.
• Participación en la toma de requisitos y análisis funcional en proyectos Big Data/BI.

¿Qué encontrarás?

Un proyecto de consultoría y desarrollo para un cliente del sector retail, en el que podrás asumir un papel clave en la arquitectura, evolución y desarrollo de la plataforma de datos.

#DataEngineer #BigData #ApacheSpark #Scala #Cloudera #GoogleCloud #GCP #BigQuery #Kafka #DataEngineering #TechJobs