Remote Azure Data Engineer - Databricks & ADF Expert

DaCodes; Puebla de Zaragoza; Remote; MXN 391,000 - 446,000; Full time

Job summary

DaCodes busca un Azure Data Engineer con experiencia en Databricks y Azure Data Factory para un proyecto de corta duración enfocado en automatización y optimización de procesos ETL en Azure.

El candidato ideal debe diseñar, automatizar y mantener pipelines de datos, procesar archivos estructurados y asegurar la calidad e disponibilidad de la información para clientes LATAM y USA. Modalidad remota parcial.

Qualifications

• 5+ años de experiencia en Data Engineering, ETL Development o Data Integration.

Responsibilities

• Diseñar, desarrollar y mantener procesos ETL utilizando Azure Data Factory y Databricks.
• Implementar pipelines de integración de datos para la ingesta y procesamiento de archivos CSV, TXT, Excel y otras fuentes de información.
• Automatizar procesos de carga, transformación y validación de datos.
• Configurar y administrar Jobs y Workflows en Databricks para la ejecución programada de procesos.
• Desarrollar transformaciones de datos utilizando SQL y tecnologías del ecosistema Databricks.
• Monitorear, diagnosticar y resolver incidencias relacionadas con pipelines y procesos ETL.
• Garantizar la calidad, consistencia e integridad de los datos procesados.
• Colaborar con equipos técnicos y stakeholders para entender requerimientos de integración y automatización.
• Participar en actividades de optimización y mejora continua de procesos de datos.

Skills

Data Engineering

ETL Development

SQL

Python

Analytical Thinking

Tools

Azure Data Factory

Azure Databricks

SQL

Python

PySpark

Azure Data Lake Storage

Azure Blob Storage

Job description

¡Trabaja en DaCodes!

Somos una firma de expertos en software y transformación digital de alto impacto.

Durante 10 años hemos creado soluciones enfocadas en la tecnología e innovación gracias a nuestro equipo de casi 300 talentosos #DaCoders, incluyendo desarrolladores, arquitectos, diseñadores UX/UI, PMs, QA testers y más. Nuestro equipo colabora en proyectos con clientes en LATAM y Estados Unidos, logrando resultados sobresalientes.

En DaCodes, tendrás la oportunidad de impulsar tu desarrollo profesional, trabajar en diversos proyectos dentro de distintas industrias, y contribuir al diseño, implementación y optimización de infraestructuras en la nube.

Nuestros DaCoders tienen un gran impacto en el éxito de nuestro negocio y el de nuestros clientes. Serás el experto que participará en nuestros proyectos y tendrás acceso a startups disruptivas y marcas globales.

¿Te interesa?

Estamos buscando un(a) Azure Data Engineer con experiencia en Databricks y Azure Data Factory para integrarse a un proyecto de corta duración enfocado en la automatización y optimización de procesos de integración de datos.

Buscamos una persona con capacidad de ejecución, que pueda incorporarse rápidamente a un entorno productivo y contribuir en la construcción, automatización y mejora de procesos ETL dentro del ecosistema Azure. El perfil ideal cuenta con experiencia práctica desarrollando pipelines de datos, procesando archivos estructurados y automatizando flujos mediante Azure Data Factory y Databricks.

Esta posición está orientada a profesionales que disfrutan resolver retos relacionados con integración de datos, automatización operativa y procesamiento eficiente de información, colaborando con equipos técnicos y de negocio para garantizar la calidad y disponibilidad de los datos.

Requerimientos

Principales responsabilidades

• Diseñar, desarrollar y mantener procesos ETL utilizando Azure Data Factory y Databricks.
• Implementar pipelines de integración de datos para la ingesta y procesamiento de archivos CSV, TXT, Excel y otras fuentes de información.
• Automatizar procesos de carga, transformación y validación de datos.
• Configurar y administrar Jobs y Workflows en Databricks para la ejecución programada de procesos.
• Desarrollar transformaciones de datos utilizando SQL y tecnologías del ecosistema Databricks.
• Monitorear, diagnosticar y resolver incidencias relacionadas con pipelines y procesos ETL.
• Garantizar la calidad, consistencia e integridad de los datos procesados.
• Colaborar con equipos técnicos y stakeholders para entender requerimientos de integración y automatización.
• Participar en actividades de optimización y mejora continua de procesos de datos.

Perfil deseado

Experiencia

• 5+ años de experiencia en roles de Data Engineering, ETL Development o Data Integration.
• Experiencia comprobable trabajando con Azure Data Factory.
• Experiencia práctica desarrollando soluciones con Databricks.
• Experiencia implementando procesos ETL de extremo a extremo.
• Experiencia procesando e integrando archivos estructurados y fuentes de datos diversas.

Conocimientos técnicos

Indispensables

• Azure Data Factory (ADF).
• Azure Databricks.
• SQL avanzado.
• Desarrollo y automatización de procesos ETL.
• Diseño y mantenimiento de pipelines de datos.
• Integración y procesamiento de archivos CSV, TXT y Excel.
• Troubleshooting y monitoreo de procesos de datos.
• Python.
• PySpark.

Deseables

• Azure Data Lake Storage (ADLS).
• Azure Blob Storage.
• Git.
• Optimización de procesos de transformación de datos.

Habilidades blandas

• Capacidad de análisis y resolución de problemas.
• Autonomía y orientación a resultados.
• Comunicación efectiva.
• Atención al detalle.
• Proactividad.
• Capacidad para integrarse rápidamente a proyectos en ejecución.
• Organización y gestión eficiente de prioridades.

Requisitos adicionales

Modalidad: Remota.

Ubicación: LATAM.

Nivel: Semi Senior o Senior.

Disponibilidad para integrarse a un proyecto de ejecución rápida.

Experiencia previa trabajando en entornos cloud basados en Microsoft Azure

Rango salarial 35 a 40k netos (México) // 1800 USD Por mes. (LATAM)

Integración a marcas globales y startups disruptivas.

Trabajo remoto/Home office.

Horario ajustado a la célula de trabajo/proyecto asignado.

Trabajo de lunes a viernes.

Equipos de trabajo multiculturales.

Oportunidades dentro de nuestras diferentes líneas de negocio.

Orgullosamente certificados como Great Place to Work.