Desarrollador Big Data

Capital Empresarial Horizonte; Ciudad de México; On-site; MXN 600,000 - 900,000; Full time

Benefits offered by this job

Horario de oficina

Nomina 100%

Prestaciones de Ley

Prestaciones superiores

Job summary

Capital Empresarial Horizonte busca un Desarrollador Big Data para diseñar y desarrollar procesos de ingesta, transformación y procesamiento de grandes volúmenes de datos. Se trabajará con herramientas como Apache Spark, Hadoop y Kafka en pipelines ETL/ELT, optimizando rendimiento en entornos SQL/NoSQL.

Se requiere dominio de SQL y experiencia en Python, Java o Scala, además de Git; se valora experiencia en AWS/Azure/GCP y entornos Agile.

Qualifications

• Experiencia desarrollando soluciones en Big Data o Data Engineering.
• Dominio de SQL y experiencia con bases de datos relacionales.
• Experiencia con Python, Java o Scala.
• Conocimientos de Apache Spark y procesamiento distribuido.
• Experiencia con tecnologías de almacenamiento y procesamiento SQL/NoSQL.
• Conocimientos de construcción y mantenimiento de pipelines ETL/ELT.
• Experiencia con sistemas de control de versiones como Git.
• Deseable experiencia con Kafka, Hadoop, Hive, Databricks o Snowflake.
• Deseable experiencia trabajando con AWS, Azure o GCP.
• Conocimientos de metodologías ágiles y buenas prácticas de desarrollo.

Responsibilities

• Diseñar y desarrollar procesos de ingesta, transformación y procesamiento de grandes volúmenes de datos.
• Construir y mantener ETL/ELT y pipelines de datos utilizando tecnologías Big Data.
• Desarrollar soluciones con herramientas como Apache Spark, Hadoop, Kafka, Hive u otras tecnologías similares.
• Trabajar con bases de datos SQL y NoSQL, optimizando consultas y procesos de procesamiento.
• Integrar información proveniente de diferentes fuentes mediante APIs, archivos, bases de datos y servicios externos.
• Implementar procesos de validación, transformación y control de calidad de datos.
• Optimizar procesos para mejorar tiempos de ejecución, consumo de recursos y escalabilidad.
• Participar en el diseño y evolución de arquitecturas de datos.
• Automatizar procesos mediante scripting y herramientas de desarrollo.
• Trabajar con equipos de Data Engineering, Data Science, Desarrollo y DevOps.
• Documentar procesos, componentes y flujos de datos siguiendo buenas prácticas de desarrollo.

Skills

Inglés conversacional

SQL

Python

Java

Scala

Spark

ETL/ELT

Git

Kafka

Hadoop

Hive

Databricks

Snowflake

AWS

Azure

GCP

Tools

SQL databases

NoSQL

Apache Spark

Hadoop

Kafka

Hive

Databricks

Snowflake

Git

AWS

Azure

GCP

Job description

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:

Desarrollador Big Data

Ingles conversacional obligatorio

Esquema Hibrido (3 días Home Office - 2 presenciales)

A laborar a elegir en CDMX o Guadalajara

Requisitos:

• Experiencia desarrollando soluciones en Big Data o Data Engineering.
• Dominio de SQL y experiencia con bases de datos relacionales.
• Experiencia con Python, Java o Scala.
• Conocimientos de Apache Spark y procesamiento distribuido.
• Experiencia con tecnologías de almacenamiento y procesamiento SQL/NoSQL.
• Conocimientos de construcción y mantenimiento de pipelines ETL/ELT.
• Experiencia con sistemas de control de versiones como Git.
• Deseable experiencia con Kafka, Hadoop, Hive, Databricks o Snowflake.
• Deseable experiencia trabajando con AWS, Azure o GCP.
• Conocimientos de metodologías ágiles y buenas prácticas de desarrollo.

Responsabilidades:

• Diseñar y desarrollar procesos de ingesta, transformación y procesamiento de grandes volúmenes de datos.
• Construir y mantener ETL/ELT y pipelines de datos utilizando tecnologías Big Data.
• Desarrollar soluciones con herramientas como Apache Spark, Hadoop, Kafka, Hive u otras tecnologías similares.
• Trabajar con bases de datos SQL y NoSQL, optimizando consultas y procesos de procesamiento.
• Integrar información proveniente de diferentes fuentes mediante APIs, archivos, bases de datos y servicios externos.
• Implementar procesos de validación, transformación y control de calidad de datos.
• Optimizar procesos para mejorar tiempos de ejecución, consumo de recursos y escalabilidad.
• Participar en el diseño y evolución de arquitecturas de datos.
• Automatizar procesos mediante scripting y herramientas de desarrollo.
• Trabajar con equipos de Data Engineering, Data Science, Desarrollo y DevOps.
• Documentar procesos, componentes y flujos de datos siguiendo buenas prácticas de desarrollo.

Ofrecemos:

• Horario de Oficina
• Esquema 100% nomina
• Sueldo abierto a negociación de acuerdo a experiencia
• Prestaciones de Ley
• Prestaciones superiores (SGMM familiar, SV 1 millón, Vales de despensa, 30 días de aguinaldo, PTU)