Data Engineer Sr

axity; Estado de México; Presencial; MXN 200,000 - 400,000; Jornada completa

Descripción de la vacante

Una empresa de tecnología busca un profesional con amplia experiencia en el diseño y desarrollo de sistemas ETL. El candidato ideal debe tener habilidades en Python y herramientas como Apache Airflow y Kafka, así como experiencia en la construcción de arquitecturas de datos para asegurar la calidad de la información. Se valorará la capacidad para trabajar con múltiples fuentes de datos y realizar procesos de análisis complejos.

Formación

• Experiencia comprobable en el desarrollo de procesos ETL/ELT.
• Conocimiento avanzado en Python.
• Manejo de herramientas de orquestación como Apache Airflow.
• Experiencia con tecnologías de streaming, especialmente Apache Kafka.
• Conocimientos en Apache Spark para procesamiento distribuido.
• Manejo de bases de datos como Athena, Postgres u otras relacionales.
• Experiencia en la construcción de pipelines y modelos de datos.
• Conocimientos en análisis y mapeo de vistas complejas.

Conocimientos

Desarrollo de procesos ETL/ELT

Python avanzado

Apache Airflow

Apache Kafka

Apache Spark

Bases de datos como Athena y Postgres

Construcción de pipelines y modelos de datos

Análisis y mapeo de vistas complejas

Descripción del empleo

Overview

Profesional con amplia experiencia en el diseño, desarrollo e implementación de sistemas ETL para la ingestión, transformación y carga de datos desde múltiples fuentes, incluyendo Athena y Postgres. Especialista en la creación de pipelines de datos eficientes y escalables utilizando herramientas como Apache Airflow, Apache Kafka, Apache Spark y Python. Orientado a la construcción de arquitecturas de datos organizadas (capa bronce) y al aseguramiento de la calidad e integridad de la información. Cuenta con experiencia en el consumo y procesamiento de jerarquías de artículos en tiempo real mediante Kafka, así como en el análisis y mapeo de vistas complejas (como ZCDS view).

Requisitos

• Experiencia comprobable en el desarrollo de procesos ETL/ELT.
• Conocimiento avanzado en Python.
• Manejo de herramientas de orquestación como Apache Airflow.
• Experiencia con tecnologías de streaming, especialmente Apache Kafka.
• Conocimientos en Apache Spark para procesamiento distribuido.
• Manejo de bases de datos como Athena, Postgres u otras relacionales.
• Experiencia en la construcción de pipelines y modelos de datos (capa bronce).
• Conocimientos en análisis y mapeo de vistas complejas (e.g., ZCDS).