Ingeniero de Datos Hadoop

Capital Empresarial Horizonte; Ciudad de México; Híbrido; MXN 80,000 - 120,000; Jornada completa

Descripción de la vacante

Capital Empresarial Horizonte está buscando un Ingeniero de Datos Hadoop para unirse a su equipo en un entorno híbrido. El candidato ideal tendrá más de 4 años de experiencia en tecnologías como Hadoop y Spark, con habilidades en Python y gestión de datos. Ofrecemos un entorno laboral flexible con prestaciones competitivas y un sueldo negociable basado en la experiencia. Envía tu CV para unirte a un equipo de expertos en tecnologías de la información.

Servicios

Prestaciones de Ley

SGMM familiar

Vale de despensa

30 días de aguinaldo

PTU

Formación

• Más de 4 años de experiencia en Data Engineering con enfoque en Hadoop y Spark.
• Experiencia en creación y optimización de pipelines de datos utilizando OOZIE.
• Conocimientos en la gestión de datos estructurados y no estructurados.

Responsabilidades

• Gestionar y soportar cargas de trabajo en producción.
• Desarrollar soluciones utilizando Python y Spark.
• Extractar datos desde RDBMS hacia data lakes.

Conocimientos

Hadoop

Spark

Python

Linux

SQL

Shell scripting

Descripción del empleo

Ingeniero de Datos Hadoop en Capital Empresarial Horizonte

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:

Data Engineer - experiencia en Hadoop

Para laborar en CDMX, Guadalajara, Querétaro o Monterrey

Esquema Híbrido: 3 días en casa, 2 presenciales

• Experiencia +4 años

Experiencia en la gestión y soporte de cargas de trabajo en producción.

Experiencia en desarrollo con Python utilizando diversas versiones y características (marco Spark sobre Python).

Creación y optimización de pipelines de datos en el marco OOZIE.

Experiencia en el manejo de datos estructurados y no estructurados/semi-estructurados (archivos planos, JSON, XML, archivos binarios).

Conocimiento de Linux y habilidades sólidas en la línea de comandos.

Experiencia con la arquitectura de Spark, incluyendo Spark Core, Spark SQL, DataFrames y Spark Streaming.

Experiencia en la extracción de datos desde bases de datos relacionales (RDBMS como Oracle, DB2, MySQL, etc.) hacia data lakes.

Conocimiento profundo de la arquitectura de Hadoop y sus diversos componentes como HDFS, Hive, IMPALA, SQL, Sqoop, scripts en Python, Spark, desarrollo de funciones definidas por el usuario (UDF) y conceptos de MapReduce.

Construcción de artefactos y despliegue mediante pipelines de integración y entrega continua (CI/CD).

Experiencia con herramientas de programación/scheduling como CA7 y/o Stonebranch.

Experiencia práctica con distribuciones CDH/CDP.

Experiencia práctica en scripting con Shell .

Se requiere experiencia en algunas (no necesariamente todas) de las siguientes habilidades: OOZIE, HDFS, Hive, IMPALA, SQL, Sqoop, scripting en Python, Spark, UDF, y la plataforma Azure.

• Horario de Oficina
• Esquema 100% nomina
• Sueldo abierto a negociación de acuerdo a experiencia
• Prestaciones de Ley
• Prestaciones superiores (SGMM familiar, SV 1 millón, Vales de despensa, 30 días de aguinaldo, PTU)

Si te encuentras interesado, manda tu CV a: contacto (arroba) horizonteempresarial.com.mx