Data Engineer

Skydropx; United States; Remote; USD 110,000 - 170,000; Full time

Benefits offered by this job

Remote 100%

Crecimiento profesional

Horarios flexibles

Job summary

Skydropx está buscando un ingeniero de datos para diseñar y construir pipelines ETL eficientes, recolectar datos de diversas fuentes y enriquecer conjuntos de datos.

Trabajarás con herramientas como Matillion y SQLMesh, implementarás transformaciones en Python y optimizarás consultas en BigQuery, SQL y bases de datos relacionales.

Ofrecen trabajo 100% remoto, horario flexible, salario competitivo y oportunidades de crecimiento profesional dentro de un equipo multicultural.

Qualifications

• Experiencia sólida en programación, con especial énfasis en Python y SQL.
• Manipulación de datos a gran escala y optimización de consultas SQL y BigQuery.
• Conocimiento de librerías NumPy, Pandas y Polars; experiencia con ETL (Matillion, SQLMesh).

Responsibilities

• Recolectar datos de múltiples fuentes y realizar limpieza y preprocesamiento con ETL.
• Diseñar pipelines de datos eficientes con Matillion y SQLMesh, y automatizar ETL.
• Integrar datos de APIs y enriquecer conjuntos de datos.
• Contribuir a arquitecturas para grandes volúmenes de datos usando BigQuery, Python y SQL.
• Colaborar con equipos interdisciplinarios y priorizar tareas.

Skills

Python

SQL

BigQuery

NumPy

Pandas

Polars

Airflow

Git

Education

Ingeniería/Matemáticas Aplicadas

Tools

Matillion

SQLMesh

Job description

Estamos innovando la logística y esto lo hemos logrado gracias a un equipo de personas visionarias, con ganas de crecer y cambiar el mundo .

En Skydropx encontrarás un espacio para desarrollar tu carrera dentro de un ambiente laboral dinámico, ambicioso y multicultural .

Responsabilidades:

• Recolectar datos de diversas fuentes, incluyendo bases de datos, archivos CSV y APIs, utilizando herramientas ETL para realizar limpieza y preprocesamiento.
• Data transform: Quitar duplicados, normalizar formatos (fechas, teléfonos, mayúsculas), validar, llenar o descartar nulos, mapear campos y enriquecer los datos para analisis eficiente.
• Diseñar y construir pipelines de datos eficientes utilizando herramientas como Matillion, SQLMesh garantizando la automatización en la recolección, transformación y carga (ETL) de datos.
• Integrar y consumir datos de APIs externas para enriquecer conjuntos de datos y mejorar la calidad de la información.
• Contribuir al diseño de arquitecturas eficientes para el manejo de grandes volúmenes de datos, utilizando tecnologías como BigQuery, Python, SQL.

Requisitos:

• Ingeniería, Actuaría, Matemáticas Aplicadas, Ingeniería Industrial o afín.
• Programación: Experiencia sólida en programación, con especial énfasis en Python. Desarrollo de código eficiente y resolución de problemas complejos. Conocimiento profundo de librerías clave como NumPy, Pandas, Polars y uso avanzado de SQL.
• Datos: Experiencia en la manipulación de datos a gran escala y optimización de consultas tanto en base de datos SQL como en BigQuery.
• Herramientas de ETL (Matillion, SQLMesh): Experiencia en el uso de herramientas como Matillion, SQLMEsh para la construcción y gestión de flujos ETL.
• Experiencia en Bases de Datos: Experiencia demostrable en el manejo de bases de datos, incluyendo la optimización de consultas SQL.
• Conocimiento sobre bases de datos relacionales y no relacionales.
• Conocimiento sobre Datawarehouse, datalake, datavault. BigQuery.
• Experiencia en observabilidad.
• Airflow, git.
• Capacidad para comunicarse con equipos interdisciplinarios.
• Capacidad para priorizar tareas según su impacto y urgencia en entornos dinámicos.
• Criterio para distinguir lo urgente de lo importante y actuar en consecuencia.
• Habilidad para gestionar múltiples prioridades y cumplir plazos ajustados.

Ofrecemos:

• Misión a nivel regional: lograr que los negocios de LATAM se despreocupen de su logística.
• Salario : Competitivo y negociable según experiencia, habilidades y resultados del proceso de contratación.
• Esquema: 100% remoto.
• Horario : Lunes a Viernes 8:00 a 18:00 CST (México).
• Crecimiento y desarrollo profesional.

Con flexibilidad de horario cuando haya nuevos releases.