Data Engineer Azure Databricks - ETL Automation Specialist

DaCodes; Ciudad de México; Hybrid; MXN 391,000 - 446,000; Full time

Benefits offered by this job

Trabajo remoto/Home office

Great Place to Work

Job summary

DaCodes busca un Azure Data Engineer con experiencia en Databricks y Azure Data Factory para un proyecto de corta duración enfocado en automatización de procesos ETL en Azure. Deberás diseñar, automatizar y optimizar pipelines de datos, procesando archivos estructurados y asegurando la calidad de los datos en entornos cloud de Microsoft.

El candidato ideal tiene al menos 5 años en Data Engineering, experiencia con Azure Data Factory y Databricks, Python y SQL avanzado, y capacidad para

Qualifications

• 5+ años de experiencia en Data Engineering / ETL Development
• Experiencia comprobable trabajando con Azure Data Factory
• Experiencia práctica desarrollando soluciones con Databricks
• Experiencia implementando procesos ETL de extremo a extremo
• Experiencia procesando e integrando archivos estructurados y diversas fuentes de datos

Responsibilities

• Diseñar, desarrollar y mantener procesos ETL con Azure Data Factory y Databricks
• Implementar pipelines para ingesta y procesamiento de CSV, TXT, Excel y otras fuentes
• Automatizar cargas, transformaciones y validaciones de datos
• Configurar y gestionar Jobs y Workflows en Databricks
• Desarrollar transformaciones de datos con SQL y Databricks
• Monitorear y resolver incidencias de pipelines
• Garantizar calidad e integridad de datos
• Colaborar con equipos técnicos y stakeholders
• Participar en optimización y mejoras continuas

Tools

Azure Data Factory

Azure Databricks

SQL avanzado

Python

PySpark

Azure Data Lake Storage

Azure Blob Storage

Git

Job description

¡Trabaja en DaCodes!

Somos una firma de expertos en software y transformación digital de alto impacto.

Durante 10 años hemos creado soluciones enfocadas en la tecnología e innovación gracias a nuestro equipo de casi 300 talentosos #DaCoders, incluyendo desarrolladores, arquitectos, diseñadores UX/UI, PMs, QA testers y más. Nuestro equipo colabora en proyectos con clientes en LATAM y Estados Unidos, logrando resultados sobresalientes.

En DaCodes, tendrás la oportunidad de impulsar tu desarrollo profesional, trabajar en diversos proyectos dentro de distintas industrias, y contribuir al diseño, implementación y optimización de infraestructuras en la nube.

Nuestros DaCoders tienen un gran impacto en el éxito de nuestro negocio y el de nuestros clientes. Serás el experto que participará en nuestros proyectos y tendrás acceso a startups disruptivas y marcas globales.

¿Te interesa?

Estamos buscando un(a) Azure Data Engineer con experiencia en Databricks y Azure Data Factory para integrarse a un proyecto de corta duración enfocado en la automatización y optimización de procesos de integración de datos.

Buscamos una persona con capacidad de ejecución, que pueda incorporarse rápidamente a un entorno productivo y contribuir en la construcción, automatización y mejora de procesos ETL dentro del ecosistema Azure. El perfil ideal cuenta con experiencia práctica desarrollando pipelines de datos, procesando archivos estructurados y automatizando flujos mediante Azure Data Factory y Databricks.

Esta posición está orientada a profesionales que disfrutan resolver retos relacionados con integración de datos, automatización operativa y procesamiento eficiente de información, colaborando con equipos técnicos y de negocio para garantizar la calidad y disponibilidad de los datos.

Principales responsabilidades

• Diseñar, desarrollar y mantener procesos ETL utilizando Azure Data Factory y Databricks.
• Implementar pipelines de integración de datos para la ingesta y procesamiento de archivos CSV, TXT, Excel y otras fuentes de información.
• Automatizar procesos de carga, transformación y validación de datos.
• Configurar y administrar Jobs y Workflows en Databricks para la ejecución programada de procesos.
• Desarrollar transformaciones de datos utilizando SQL y tecnologías del ecosistema Databricks.
• Monitorear, diagnosticar y resolver incidencias relacionadas con pipelines y procesos ETL.
• Garantizar la calidad, consistencia e integridad de los datos procesados.
• Colaborar con equipos técnicos y stakeholders para entender requerimientos de integración y automatización.
• Participar en actividades de optimización y mejora continua de procesos de datos.

Experiencia

• 5+ años de experiencia en roles de Data Engineering, ETL Development o Data Integration.
• Experiencia comprobable trabajando con Azure Data Factory.
• Experiencia práctica desarrollando soluciones con Databricks.
• Experiencia implementando procesos ETL de extremo a extremo.
• Experiencia procesando e integrando archivos estructurados y fuentes de datos diversas.

Conocimientos técnicos

Indispensables

• Azure Data Factory (ADF).
• Azure Databricks.
• SQL avanzado.
• Desarrollo y automatización de procesos ETL.
• Diseño y mantenimiento de pipelines de datos.
• Integración y procesamiento de archivos CSV, TXT y Excel.
• Troubleshooting y monitoreo de procesos de datos.
• Python.
• PySpark.

Deseables

• Azure Data Lake Storage (ADLS).
• Azure Blob Storage.
• Git.
• Optimización de procesos de transformación de datos.

Habilidades blandas

• Capacidad de análisis y resolución de problemas.
• Autonomía y orientación a resultados.
• Comunicación efectiva.
• Atención al detalle.
• Proactividad.
• Capacidad para integrarse rápidamente a proyectos en ejecución.
• Organización y gestión eficiente de prioridades.

Requisitos adicionales

• Modalidad: Remota.
• Ubicación: LATAM.
• Nivel: Semi Senior o Senior.
• Disponibilidad para integrarse a un proyecto de ejecución rápida.
• Experiencia previa trabajando en entornos cloud basados en Microsoft Azure

Rango salarial 35 a 40k netos (México) // 1800 USD Por mes. (LATAM)

• Integración a marcas globales y startups disruptivas.
• Trabajo remoto/Home office.
• Horario ajustado a la célula de trabajo/proyecto asignado.
• Trabajo de lunes a viernes.
• Equipos de trabajo multiculturales.
• Oportunidades dentro de nuestras diferentes líneas de negocio.
• Orgullosamente certificados como Great Place to Work.