Desarrollador Big Data (Spark/ETL) – Inglés | Híbrido

Capital Empresarial Horizonte; Ciudad de México; Híbrido; MXN 600.000 - 900.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Horario de oficina

Nomina 100%

Prestaciones de Ley

Prestaciones superiores

Descripción de la vacante

Capital Empresarial Horizonte busca un Desarrollador Big Data para diseñar y desarrollar procesos de ingesta, transformación y procesamiento de grandes volúmenes de datos. Se trabajará con herramientas como Apache Spark, Hadoop y Kafka en pipelines ETL/ELT, optimizando rendimiento en entornos SQL/NoSQL.

Se requiere dominio de SQL y experiencia en Python, Java o Scala, además de Git; se valora experiencia en AWS/Azure/GCP y entornos Agile.

Formación

• Experiencia desarrollando soluciones en Big Data o Data Engineering.
• Dominio de SQL y experiencia con bases de datos relacionales.
• Experiencia con Python, Java o Scala.
• Conocimientos de Apache Spark y procesamiento distribuido.
• Experiencia con tecnologías de almacenamiento y procesamiento SQL/NoSQL.
• Conocimientos de construcción y mantenimiento de pipelines ETL/ELT.
• Experiencia con sistemas de control de versiones como Git.
• Deseable experiencia con Kafka, Hadoop, Hive, Databricks o Snowflake.
• Deseable experiencia trabajando con AWS, Azure o GCP.
• Conocimientos de metodologías ágiles y buenas prácticas de desarrollo.

Responsabilidades

• Diseñar y desarrollar procesos de ingesta, transformación y procesamiento de grandes volúmenes de datos.
• Construir y mantener ETL/ELT y pipelines de datos utilizando tecnologías Big Data.
• Desarrollar soluciones con herramientas como Apache Spark, Hadoop, Kafka, Hive u otras tecnologías similares.
• Trabajar con bases de datos SQL y NoSQL, optimizando consultas y procesos de procesamiento.
• Integrar información proveniente de diferentes fuentes mediante APIs, archivos, bases de datos y servicios externos.
• Implementar procesos de validación, transformación y control de calidad de datos.
• Optimizar procesos para mejorar tiempos de ejecución, consumo de recursos y escalabilidad.
• Participar en el diseño y evolución de arquitecturas de datos.
• Automatizar procesos mediante scripting y herramientas de desarrollo.
• Trabajar con equipos de Data Engineering, Data Science, Desarrollo y DevOps.
• Documentar procesos, componentes y flujos de datos siguiendo buenas prácticas de desarrollo.

Conocimientos

Inglés conversacional

SQL

Python

Java

Scala

Spark

ETL/ELT

Git

Kafka

Hadoop

Hive

Databricks

Snowflake

AWS

Azure

GCP

Herramientas

SQL databases

NoSQL

Apache Spark

Hadoop

Kafka

Hive

Databricks

Snowflake

Git

AWS

Azure

GCP

Descripción del empleo

Capital Empresarial Horizonte busca un Desarrollador Big Data para diseñar y desarrollar procesos de ingesta, transformación y procesamiento de grandes volúmenes de datos. Se trabajará con herramientas como Apache Spark, Hadoop y Kafka en pipelines ETL/ELT, optimizando rendimiento en entornos SQL/NoSQL.

Se requiere dominio de SQL y experiencia en Python, Java o Scala, además de Git; se valora experiencia en AWS/Azure/GCP y entornos Agile.