Ingeniero de Datos - Hadoop Middle

Capital Empresarial Horizonte; Ciudad de México; Híbrido; MXN 600,000 - 960,000; Jornada completa

Descripción de la vacante

Una empresa mexicana especializada en Recursos Humanos y Tecnologías de la Información busca un Ingeniero de Datos con experiencia en Hadoop y Spark. Este rol implica gestionar cargas de trabajo en producción y optimizar pipelines de datos. Se ofrece trabajo en un esquema híbrido con prestaciones legales desde el primer año.

Servicios

Seguro de Gastos Médicos Mayores con Póliza de exceso ilimitado

Seguro dental y visual

Todas las prestaciones legales desde el primer año

Formación

• Experiencia de 3 a 5 años en TI, específicamente en desarrollo Hadoop.
• Capacidad para crear y optimizar pipelines de datos.
• Conocimiento profundo de la arquitectura de Hadoop y sus componentes.

Responsabilidades

• Gestionar y soportar cargas de trabajo en producción.
• Desarrollar con Python utilizando Spark.
• Construir artefactos y desplegar usando pipelines CI/CD.

Conocimientos

Hadoop

Spark

Python

CI/CD

Linux

Shell scripting

HDFS

Descripción del empleo

Capital Empresarial Horizonte Empresa Mexicana especialista en Recursos Humanos y Tecnologías de la Información solicita:

Ingeniero de Datos -Hadoop

Ingles conversacional obligatorio

Trabajo en esquema hibrido (3 días Home Office), a elegir en CDMX o Guadalajara

Experiencia con Hadoop, Spark, OOZIE/Hive y Azure .

Conocimiento de CI/CD o pipelines de integración y entrega continua .

Inglés avanzado .

De 3 a 5 años de experiencia en TI .

Entre 2 y 3 años de experiencia sólida como desarrollador Hadoop .

Experiencia en la gestión y soporte de cargas de trabajo en producción .

Experiencia en desarrollo con Python , utilizando distintas versiones y características (especialmente con el framework Spark).

Capacidad para crear y optimizar pipelines de datos en el framework OOZIE .

Experiencia manejando datos estructurados, semiestructurados y no estructurados (archivos planos, JSON, XML, archivos binarios).

Conocimiento de Linux y habilidades sólidas en línea de comandos.

Experiencia en la arquitectura de Spark , incluyendo Spark Core, Spark SQL, DataFrames, Spark Streaming .

Experiencia extrayendo datos desde RDBMS (como Oracle, DB2, MySQL, etc.) hacia un Data Lake .

Conocimiento profundo de la arquitectura de Hadoop y sus componentes: HDFS, Hive, Impala, SQL, Sqoop, scripting en Python, Spark, desarrollo de UDFs y conceptos de MapReduce .

Capacidad para construir artefactos y desplegar usando pipelines CI/CD .

Experiencia con herramientas de scheduling como CA7 y/o Stonebranch .

Experiencia práctica en distribuciones CDH/CDP .

Experiencia con scripting en Shell .

Persona con fuertes habilidades de comunicación, interpersonales y organizacionales .

• • Seguro de Gastos Médicos Mayores más Póliza de exceso ilimitado.
• • Seguro dental y visual.
• • Todas las prestaciones legales desde el primer año.