Data Engineer

Skydropx - Frenet; Colombia; A distancia; COP 133.360.000 - 233.380.000; Jornada completa

Ventajas ofrecidas por este puesto de trabajo

Salario competitivo

Esquema 100% remoto

Horarios flexibles

Crecimiento profesional

Descripción de la vacante

Skydropx está buscando un profesional de datos para diseñar y mantener pipelines ETL y flujos de datos en un entorno LATAM. Trabajarás principalmente de forma remota, enfrentando grandes volúmenes de datos y APIs para enriquecer conjuntos y mejorar la calidad de la información.

Se requiere experiencia en Python, SQL, BigQuery y herramientas como Matillion/SQLMesh, con foco en rendimiento, escalabilidad y observabilidad. Ofrecemos crecimiento profesional y un esquema 100% remoto para LATAM.

Formación

• Formación en ingeniería, actuaría, matemáticas aplicadas o afín.
• Dominio de Python y librerías NumPy, Pandas, Polars y SQL avanzado.
• Experiencia en manipulación de datos a gran escala y BigQuery.

Responsabilidades

• Recolectar datos desde bases, CSV y APIs usando herramientas ETL para limpieza.
• Transformar datos: quitar duplicados, normalizar formatos y validar nulos.
• Diseñar pipelines ETL con Matillion y SQLMesh, automatizando procesos.
• Integrar datos de APIs externas para enriquecer conjuntos.
• Contribuir a arquitecturas para grandes volúmenes con BigQuery, Python y SQL.

Conocimientos

Python

NumPy

Pandas

Polars

SQL

BigQuery

Matillion

SQLMesh

Airflow

Git

Datawarehouse

Datalake

DataVault

Databases

Observability

Educación

Ingeniería

Actuaría

Matemáticas Aplicadas

Ingeniería Industrial

Herramientas

Matillion

SQLMesh

Descripción del empleo

Estamos innovando la logística y esto lo hemos logrado gracias a un equipo de personas visionarias, con ganas de crecer y cambiar el mundo.

En Skydropx encontrarás un espacio para desarrollar tu carrera dentro de un ambiente laboral dinámico, ambicioso y multicultural.

Responsabilidades:

• Recolectar datos de diversas fuentes, incluyendo bases de datos, archivos CSV y APIs, utilizando herramientas ETL para realizar limpieza y preprocesamiento.

• Data transform: Quitar duplicados, normalizar formatos (fechas, teléfonos, mayúsculas), validar, llenar o descartar nulos, mapear campos y enriquecer los datos para analisis eficiente.

• Diseñar y construir pipelines de datos eficientes utilizando herramientas como Matillion, SQLMesh garantizando la automatización en la recolección, transformación y carga (ETL) de datos.

• Integrar y consumir datos de APIs externas para enriquecer conjuntos de datos y mejorar la calidad de la información.

• Contribuir al diseño de arquitecturas eficientes para el manejo de grandes volúmenes de datos, utilizando tecnologías como BigQuery, Python, SQL.

Requisitos:

• Ingeniería, Actuaría, Matemáticas Aplicadas, Ingeniería Industrial o afín.

• Programación: Experiencia sólida en programación, con especial énfasis en Python. Desarrollo de código eficiente y resolución de problemas complejos. Conocimiento profundo de librerías clave como NumPy, Pandas, Polars y uso avanzado de SQL.

• Datos: Experiencia en la manipulación de datos a gran escala y optimización de consultas tanto en base de datos SQL como en BigQuery.

• Herramientas de ETL (Matillion, SQLMesh): Experiencia en el uso de herramientas como Matillion, SQLMEsh para la construcción y gestión de flujos ETL.

• Experiencia en Bases de Datos: Experiencia demostrable en el manejo de bases de datos, incluyendo la optimización de consultas SQL.

• Conocimiento sobre bases de datos relacionales y no relacionales.

• Conocimiento sobre Datawarehouse, datalake, datavault. BigQuery.

• Experiencia en observabilidad.

• Airflow, git.

• Capacidad para comunicarse con equipos interdisciplinarios.

• Capacidad para priorizar tareas según su impacto y urgencia en entornos dinámicos.

• Criterio para distinguir lo urgente de lo importante y actuar en consecuencia.

• Habilidad para gestionar múltiples prioridades y cumplir plazos ajustados.

Ofrecemos:

• Misión a nivel regional: lograr que los negocios de LATAM se despreocupen de su logística.

• Salario: Competitivo y negociable según experiencia, habilidades y resultados del proceso de contratación.

• Esquema: 100% remoto.

• Horario: Lunes a Viernes 8:00 a 18:00 CST (México).

  • Con flexibilidad de horario cuando haya nuevos releases.

• Crecimiento y desarrollo profesional.