Data Engineer

OpenKrill; United States; On-site; USD 90,000 - 160,000; Full time

Benefits offered by this job

Remoto 100%

Salario competitivo

Crecimiento profesional

Job summary

Openkrill busca un perfil de ingeniería de datos para trabajar en un entorno 100% remoto, enfocado en escalar infraestructuras de datos y mejorar la calidad de la información para LATAM.

Trabajarás recogiendo datos, transformándolos y diseñando pipelines con Matillion y SQLMesh, integrando APIs y optimizando consultas en BigQuery y SQL.

Qualifications

• Experiencia sólida en Python y SQL con manejo de librerías NumPy, Pandas y Polars.
• Manipulación de datos a gran escala y optimización de consultas en SQL y BigQuery.
• Experiencia con herramientas ETL Matillion y SQLMesh para construcción de flujos.
• Conocimiento de Data Warehouse, Data Lake y Data Vault; observabilidad.
• Experiencia con Airflow y Git; capacidad de comunicarse con equipos.

Responsibilities

• Recolectar datos de diversas fuentes utilizando herramientas ETL para limpieza y preprocesamiento.
• Data transform: quitar duplicados, normalizar formatos, validar, llenar o descartar nulos, mapear campos y enriquecer los datos.
• Diseñar y construir pipelines de datos con Matillion y SQLMesh asegurando la automatización de ETL.
• Integrar y consumir datos de APIs externas para enriquecer conjuntos de datos.
• Contribuir al diseño de arquitecturas eficientes para manejar grandes volúmenes de datos (BigQuery, Python, SQL).

Skills

Python

NumPy

Pandas

Polars

SQL

BigQuery

Airflow

Git

Observability

Data pipelines

Education

Ingeniería

Actuaría

Matemáticas Aplicadas

Ingeniería Industrial

Tools

Matillion

SQLMesh

Job description

Estamos innovando la logística y esto lo hemos logrado gracias a un equipo de personas visionarias, con ganas de crecer y cambiar el mundo.

En Skydropx encontrarás un espacio para desarrollar tu carrera dentro de un ambiente laboral dinámico, ambicioso y multicultural.

RESPONSABILIDADES:

• Recolectar datos de diversas fuentes, incluyendo bases de datos, archivos CSV y APIs, utilizando herramientas ETL para realizar limpieza y preprocesamiento.
• Data transform: Quitar duplicados, normalizar formatos (fechas, teléfonos, mayúsculas), validar, llenar o descartar nulos, mapear campos y enriquecer los datos para analisis eficiente.
• Diseñar y construir pipelines de datos eficientes utilizando herramientas como Matillion, SQLMesh garantizando la automatización en la recolección, transformación y carga (ETL) de datos.
• Integrar y consumir datos de APIs externas para enriquecer conjuntos de datos y mejorar la calidad de la información.
• Contribuir al diseño de arquitecturas eficientes para el manejo de grandes volúmenes de datos, utilizando tecnologías como BigQuery, Python, SQL.

REQUISITOS:

• Ingeniería, Actuaría, Matemáticas Aplicadas, Ingeniería Industrial o afín.
• Programación: Experiencia sólida en programación, con especial énfasis en Python. Desarrollo de código eficiente y resolución de problemas complejos. Conocimiento profundo de librerías clave como NumPy, Pandas, Polars y uso avanzado de SQL.
• Datos: Experiencia en la manipulación de datos a gran escala y optimización de consultas tanto en base de datos SQL como en BigQuery.
• Herramientas de ETL (Matillion, SQLMesh): Experiencia en el uso de herramientas como Matillion, SQLMEsh para la construcción y gestión de flujos ETL.
• Experiencia en Bases de Datos: Experiencia demostrable en el manejo de bases de datos, incluyendo la optimización de consultas SQL.
• Conocimiento sobre bases de datos relacionales y no relacionales.
• Conocimiento sobre Datawarehouse, datalake, datavault. BigQuery.
• Experiencia en observabilidad.
• Airflow, git.
• Capacidad para comunicarse con equipos interdisciplinarios.
• Capacidad para priorizar tareas según su impacto y urgencia en entornos dinámicos.
• Criterio para distinguir lo urgente de lo importante y actuar en consecuencia.
• Habilidad para gestionar múltiples prioridades y cumplir plazos ajustados.

OFRECEMOS:

• Misión a nivel regional: lograr que los negocios de LATAM se despreocupen de su logística.
• Salario: Competitivo y negociable según experiencia, habilidades y resultados del proceso de contratación.
• Esquema: 100% remoto.
• Horario: Lunes a Viernes 8:00 a 18:00 CST (México).- Con flexibilidad de horario cuando haya nuevos releases.
• Crecimiento y desarrollo profesional.

¡Te invitamos a aceptar el reto! Para aplicar en la vacante, postúlate por este medio y estaremos encantados de lograr nuestros objetivos junto a ti.

Si tu perfil hace match con los requerimientos de la vacante, nuestro equipo de reclutamiento estará en contacto contigo.