Ingeniero de Datos & Streaming Big Data (Spark, AWS)

Zemsania; Girardot; On-site; COP 60,000,000 - 100,000,000; Full time

Job summary

Zemsania busca un ingeniero de datos para diseñar, construir y optimizar pipelines de datos a gran escala en el ecosistema de Nequi, garantizando procesamiento eficiente tanto en batch como en tiempo real. El/la profesional trabajará en una célula ágil orientada a data, apoyando decisiones del negocio mediante soluciones robustas en la nube.

Se valorará experiencia en PySpark, Spark SQL y herramientas de streaming, junto con AWS y prácticas de DevOps de datos, para entregar soluciones escalables

Qualifications

• Mínimo 3 años de experiencia en ingeniería de datos.
• Al menos 2 años trabajando con Apache Spark en entornos productivos.
• Experiencia en streaming de datos en tiempo real.
• Experiencia en AWS con al menos dos servicios mencionados en producción.

Responsibilities

• Diseñar, construir y optimizar pipelines de datos a gran escala.
• Garantizar procesamiento eficiente de grandes volúmenes de información tanto en batch como en tiempo real.
• Trabajar en una célula ágil orientada a data para apoyar la toma de decisiones del negocio.
• Implementar soluciones robustas y escalables en la nube.

Skills

PySpark

SQL avanzado

Python avanzado

Data engineering

Tools

Apache Spark

Apache Kafka

Spark SQL

S3

Delta Lake

Parquet

Hive

Airflow

AWS Glue

AWS Lambda

Git

Docker

AWS IAM

Job description

Zemsania busca un ingeniero de datos para diseñar, construir y optimizar pipelines de datos a gran escala en el ecosistema de Nequi, garantizando procesamiento eficiente tanto en batch como en tiempo real. El/la profesional trabajará en una célula ágil orientada a data, apoyando decisiones del negocio mediante soluciones robustas en la nube.

Se valorará experiencia en PySpark, Spark SQL y herramientas de streaming, junto con AWS y prácticas de DevOps de datos, para entregar soluciones escalables