Data Engineer Sr. - Híbrido

Axity; Ciudad de México; Presencial; MXN 200,000 - 400,000; Jornada completa

Descripción de la vacante

Una empresa innovadora busca un ingeniero de datos talentoso que demuestre experiencia en el desarrollo de pipelines de datos complejos y sistemas distribuidos a gran escala. Este puesto implica diseñar y optimizar soluciones analíticas que manejan grandes volúmenes de datos, asegurando escalabilidad y baja latencia. Con un enfoque en tecnologías de Big Data como Hadoop y Spark, así como en lenguajes como Java y Python, tendrás la oportunidad de trabajar en un entorno dinámico y ágil. Si te apasiona la ingeniería de datos y deseas contribuir a soluciones de vanguardia, esta es la oportunidad perfecta para ti.

Formación

• Experiencia en desarrollo de sistemas distribuidos y pipelines de datos a gran escala.
• Experiencia con tecnologías de Big Data como Hadoop, Spark y Kafka.

Responsabilidades

• Desarrollar, implementar y optimizar sistemas distribuidos para procesar grandes volúmenes de datos.
• Escribir trabajos de map-reduce y servicios de datos API REST.

Conocimientos

Ingeniería de Datos

Desarrollo de pipelines de datos

Java

Python

SQL

Modelos ágiles

Tuning de rendimiento

Desarrollo de API REST

Herramientas

Airflow

GitHub

Hadoop

Hive

Kafka

Presto

Spark

HBase

GCP

Azure

Oracle

Cassandra

Druid

Descripción del empleo

Job Responsibilities:

1. Demonstrates up-to-date expertise in Data Engineering, complex data pipeline development.
2. Experience in agile models.
3. Design, develop, implement and tune large-scale distributed systems and pipelines that process large volumes of data; focusing on scalability, low-latency, and fault-tolerance in every system built.
4. Experience with Java and Python to write data pipelines and data processing layers.
5. Experience in Airflow and GitHub.
6. Experience in writing map-reduce jobs.
7. Proven expertise with Big Data Technologies: Hadoop, Hive, Kafka, Presto, Spark, HBase.
8. Highly proficient in SQL.
9. Experience with Cloud Technologies (GCP, Azure).
10. Experience with relational models and memory data stores (Oracle, Cassandra, Druid) is desirable.
11. Provides and supports the implementation and operations of the data pipelines and analytical solutions.
12. Performance tuning experience of systems working with large data sets.
13. Experience in REST API data service for data consumption.

Ofrecemos: