Ingeniero De Datos – Big Data & Streaming

Zemsania; Girardot; On-site; COP 60,000,000 - 100,000,000; Full time

Job summary

Zemsania busca un ingeniero de datos para diseñar, construir y optimizar pipelines de datos a gran escala en el ecosistema de Nequi, garantizando procesamiento eficiente tanto en batch como en tiempo real. El/la profesional trabajará en una célula ágil orientada a data, apoyando decisiones del negocio mediante soluciones robustas en la nube.

Se valorará experiencia en PySpark, Spark SQL y herramientas de streaming, junto con AWS y prácticas de DevOps de datos, para entregar soluciones escalables

Qualifications

• Mínimo 3 años de experiencia en ingeniería de datos.
• Al menos 2 años trabajando con Apache Spark en entornos productivos.
• Experiencia en streaming de datos en tiempo real.
• Experiencia en AWS con al menos dos servicios mencionados en producción.

Responsibilities

• Diseñar, construir y optimizar pipelines de datos a gran escala.
• Garantizar procesamiento eficiente de grandes volúmenes de información tanto en batch como en tiempo real.
• Trabajar en una célula ágil orientada a data para apoyar la toma de decisiones del negocio.
• Implementar soluciones robustas y escalables en la nube.

Skills

PySpark

SQL avanzado

Python avanzado

Data engineering

Tools

Apache Spark

Apache Kafka

Spark SQL

S3

Delta Lake

Parquet

Hive

Airflow

AWS Glue

AWS Lambda

Git

Docker

AWS IAM

Job description

Diseñar, construir y optimizar pipelines de datos a gran escala para el ecosistema de Nequi, garantizando el procesamiento eficiente de grandes volúmenes de información tanto en batch como en tiempo real. El ingeniero trabajará en una célula ágil orientada a data, apoyando la toma de decisiones del negocio mediante soluciones robustas y escalables en la nube.

2. Conocimientos Técnicos Requeridos

2.1 Apache Spark (Excluyente – Nivel Avanzado)

• Dominio profundo de PySpark y Spark SQL para transformaciones complejas
• Optimización de jobs: particionamiento, caching, broadcast joins, tuning de memoria y paralelismo
• Manejo de DataFrames, Datasets y RDDs
• Desarrollo y mantenimiento de pipelines batch en entornos distribuidos
• Integración de Spark con sistemas de almacenamiento (S3, Delta Lake, Parquet, Hive)

2.2 Procesamiento de Streaming (Excluyente – Nivel Medio-Avanzado)

• Apache Kafka: producción, consumo, topics, consumer groups, gestión de offsets
• Spark Structured Streaming o Apache Flink para procesamiento en tiempo real
• Patrones de diseño: event sourcing, exactamente una vez (exactly-once), ventanas de tiempo
• Manejo de datos en movimiento para casos de uso financiero/transaccional

2.3 Amazon Web Services – AWS (Excluyente – Nivel Medio)

• AWS Glue para orquestación y catalogación de datos
• Amazon S3 como data lake: particionamiento, ciclo de vida, optimización de costos
• AWS Lambda para procesamiento serverless complementario
• AWS IAM, VPC y gestión de seguridad básica en entornos de datos

2.4 Orquestación y DevOps de Datos

• Apache Airflow o AWS Step Functions para orquestación de workflows
• CI/CD para pipelines de datos (GitHub Actions, AWS CodePipeline)
• Manejo de control de versiones con Git

3.5 Lenguajes y Formatos

• Python (nivel avanzado, principal lenguaje de desarrollo)
• SQL avanzado para transformaciones y análisis

4. Experiencia Requerida

• Mínimo 3 años de experiencia en ingeniería de datos
• Al menos 2 años trabajando con Apache Spark en entornos productivos de alto volumen
• Experiencia comprobable en proyectos de streaming de datos en tiempo real
• Experiencia en AWS con al menos dos de los servicios mencionados en producción
• Deseable: experiencia trabajando en metodologías ágiles (Scrum/SAFe)