Data Engineer (Big Data + Full Stack Exposure) - Only Mexico

Scalepex; Guanajuato; Presencial; MXN 900.000 - 1.400.000; Jornada completa

Descripción de la vacante

Scalepex en Monterrey busca un Ingeniero de Datos Senior para diseñar, construir y mantener una infraestructura de Big Data. Serás clave en crear pipelines eficientes y escalables, asegurando la calidad y disponibilidad de datos para análisis y toma de decisiones.

Trabajarás con tecnologías de vanguardia para procesar grandes volúmenes y colaborarás estrechamente con científicos de datos y analistas. Necesario >5 años en Big Data, experiencia con Hadoop, Spark y Kafka, y conocimientos en

Formación

• Más de 5 años de experiencia en ingeniería de datos.
• Experiencia con Hadoop (HDFS, Hive, MapReduce) y procesamiento en streaming con Spark y Kafka.
• Conocimiento de Python, Scala o Java.
• Experiencia con bases de datos SQL y NoSQL (Cassandra, MongoDB).
• Familiaridad con servicios en la nube (AWS, Azure, GCP) y herramientas de orquestación (Airflow).

Responsabilidades

• Diseñar, implementar y optimizar pipelines de datos robustos para ingesta, transformación y almacenamiento de Big Data.
• Desarrollar soluciones con Spark, Hadoop, Kafka y bases de datos NoSQL.
• Garantizar calidad, consistencia y disponibilidad de datos mediante monitoreo y pruebas automatizadas.
• Colaborar con ciencia de datos y analistas para satisfacer necesidades de datos.
• Gestionar infraestructura de datos y optimizar costos y rendimiento.
• Implementar políticas de seguridad y gobernanza de datos.

Conocimientos

Pipelines de datos

Spark

Hadoop

Kafka

NoSQL

Python/Scala/Java

SQL/NoSQL

AWS/Azure/GCP

Airflow

Arquitectura de datos

Herramientas

Spark

Hadoop

Kafka

Descripción del empleo

Nuestro cliente, una líder en el sector de análisis de datos en Monterrey , está buscando un Ingeniero de Datos Senior para diseñar, construir y mantener su infraestructura de Big Data. Serás fundamental en la creación de pipelines de datos eficientes y escalables, asegurando la disponibilidad y calidad de los datos para análisis y toma de decisiones críticas. Trabajarás con tecnologías de vanguardia para procesar grandes volúmenes de información, colaborando con científicos de datos y analistas. Esta es una oportunidad excepcional para un profesional experimentado que busca resolver desafíos complejos en el manejo de datos a gran escala, en una empresa que valora la innovación y el impacto.

• Diseñar, implementar y optimizar pipelines de datos robustos y escalables para la ingesta, transformación y almacenamiento de Big Data.
• Desarrollar soluciones utilizando tecnologías como Spark , Hadoop , Kafka y bases de datos NoSQL.
• Garantizar la calidad, consistencia y disponibilidad de los datos a través de monitoreo y pruebas automatizadas.
• Colaborar estrechamente con equipos de ciencia de datos y análisis para satisfacer sus necesidades de datos.
• Gestionar y mantener la infraestructura de datos, incluyendo la optimización de costos y rendimiento.
• Implementar y hacer cumplir las políticas de seguridad y gobernanza de datos.
• Más de 5 años de experiencia en ingeniería de datos, con un enfoque fuerte en Big Data .
• Experiencia sólida con ecosistemas como Hadoop (HDFS, Hive, MapReduce) y plataformas de procesamiento en streaming como Spark y Kafka.
• Conocimiento de lenguajes de programación como Python , Scala o Java.
• Experiencia con bases de datos SQL y NoSQL (e.g., Cassandra, MongoDB).
• Familiaridad con servicios en la nube (AWS, Azure, GCP) y herramientas de orquestación (Airflow).
• Capacidad probada para diseñar arquitecturas de datos complejas y resolver problemas a gran escala.

Responsabilidades Clave

• Diseñar, implementar y optimizar pipelines de datos robustos y escalables para la ingesta, transformación y almacenamiento de Big Data.
• Desarrollar soluciones utilizando tecnologías como Spark , Hadoop , Kafka y bases de datos NoSQL.
• Garantizar la calidad, consistencia y disponibilidad de los datos a través de monitoreo y pruebas automatizadas.
• Colaborar estrechamente con equipos de ciencia de datos y análisis para satisfacer sus necesidades de datos.
• Gestionar y mantener la infraestructura de datos, incluyendo la optimización de costos y rendimiento.
• Implementar y hacer cumplir las políticas de seguridad y gobernanza de datos.

Requisitos

• Más de 5 años de experiencia en ingeniería de datos, con un enfoque fuerte en Big Data .
• Experiencia sólida con ecosistemas como Hadoop (HDFS, Hive