Data Engineer

Sierra Ventures; Colombia; Remote; COP 90,000,000 - 150,000,000; Full time

Benefits offered by this job

Remote work

Career growth

Job summary

Skydropx busca un ingeniero de datos para liderar la recolección, limpieza y transformación de datos, diseñando pipelines eficientes con herramientas ETL como Matillion y SQLMesh. Será clave la integración de APIs y la optimización de consultas en BigQuery, con énfasis en observabilidad y manejo de grandes volúmenes de datos.

El rol requiere dominio de Python, SQL y librerías NumPy/Pandas/Polars, además de experiencia en bases de datos relacionales y no relacionales.

Qualifications

• Ingeniería/afín en carreras técnicas.
• Experiencia sólida en Python y librerías NumPy, Pandas, Polars y SQL avanzado.
• Experiencia en manipulación de datos a gran escala y optimización de consultas SQL y BigQuery.
• Conocimiento de herramientas ETL Matillion y SQLMesh para flujos ETL.
• Experiencia en bases de datos relacionales y no relacionales.

Responsibilities

• Recolectar datos de diversas fuentes usando ETL para limpieza y preprocesamiento.
• Diseñar pipelines de datos eficientes con Matillion y SQLMesh, automatizando ETL.
• Integrar datos de APIs externas para enriquecer conjuntos de datos.
• Contribuir al diseño de arquitecturas para grandes volúmenes de datos: BigQuery, Python, SQL.
• Gestión y optimización de consultas y observabilidad de procesos.

Skills

Python

NumPy

Pandas

Polars

SQL

BigQuery

ETL

Matillion

SQLMesh

Airflow

Git

Databases

Query optimization

Data warehouses

Datalake

Education

Ingeniería

Actuaría

Matemáticas Aplicadas

Ingeniería Industrial

Tools

Matillion

SQLMesh

BigQuery

SQL

Job description

Estamos innovando la logística y esto lo hemos logrado gracias a un equipo de personas visionarias, con ganas de crecer y cambiar el mundo.

En Skydropx encontrarás un espacio para desarrollar tu carrera dentro de un ambiente laboral dinámico, ambicioso y multicultural.

Responsabilidades:

• Recolectar datos de diversas fuentes, incluyendo bases de datos, archivos CSV y APIs, utilizando herramientas ETL para realizar limpieza y preprocesamiento.

• Data transform: Quitar duplicados, normalizar formatos (fechas, teléfonos, mayúsculas), validar, llenar o descartar nulos, mapear campos y enriquecer los datos para analisis eficiente.

• Diseñar y construir pipelines de datos eficientes utilizando herramientas como Matillion, SQLMesh garantizando la automatización en la recolección, transformación y carga (ETL) de datos.

• Integrar y consumir datos de APIs externas para enriquecer conjuntos de datos y mejorar la calidad de la información.

• Contribuir al diseño de arquitecturas eficientes para el manejo de grandes volúmenes de datos, utilizando tecnologías como BigQuery, Python, SQL.

Requisitos:

• Ingeniería, Actuaría, Matemáticas Aplicadas, Ingeniería Industrial o afín.

• Programación: Experiencia sólida en programación, con especial énfasis en Python. Desarrollo de código eficiente y resolución de problemas complejos. Conocimiento profundo de librerías clave como NumPy, Pandas, Polars y uso avanzado de SQL.

• Datos: Experiencia en la manipulación de datos a gran escala y optimización de consultas tanto en base de datos SQL como en BigQuery.

• Herramientas de ETL (Matillion, SQLMesh): Experiencia en el uso de herramientas como Matillion, SQLMEsh para la construcción y gestión de flujos ETL.

• Experiencia en Bases de Datos: Experiencia demostrable en el manejo de bases de datos, incluyendo la optimización de consultas SQL.

• Conocimiento sobre bases de datos relacionales y no relacionales.

• Conocimiento sobre Datawarehouse, datalake, datavault. BigQuery.

• Experiencia en observabilidad.

• Airflow, git.

• Capacidad para comunicarse con equipos interdisciplinarios.

• Capacidad para priorizar tareas según su impacto y urgencia en entornos dinámicos.

• Criterio para distinguir lo urgente de lo importante y actuar en consecuencia.

• Habilidad para gestionar múltiples prioridades y cumplir plazos ajustados.

Ofrecemos:

• Misión a nivel regional: lograr que los negocios de LATAM se despreocupen de su logística.

• Salario: Competitivo y negociable según experiencia, habilidades y resultados del proceso de contratación.

• Esquema: 100% remoto.

• Horario: Lunes a Viernes 8:00 a 18:00 CST (México).

  • Con flexibilidad de horario cuando haya nuevos releases.

• Crecimiento y desarrollo profesional.