Azure Data Engineer Senior

Softtek; México; On-site; MXN 900,000 - 1,300,000; Full time

Job summary

Softtek busca un Ingeniero de Datos Azure Senior para diseñar, construir y optimizar pipelines de datos en la plataforma Azure. El candidato trabajará con Azure Data Factory, Azure Databricks y Azure Synapse Analytics para procesar grandes volúmenes y garantizar la calidad de los datos.

La posición requiere experiencia en Python/Scala, modelos SQL/NoSQL y gobernanza de datos. Se valorará experiencia en entornos ágiles y capacidad de colaboración con equipos multidisciplinarios.

Qualifications

• 5+ años de experiencia en Ingeniería de Datos.
• Diseño, desarrollo y optimización de ETL/ELT.

Responsibilities

• Diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.
• Implementar soluciones con Azure Databricks y Azure Data Factory.
• Diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.
• Garantizar la calidad, integridad y disponibilidad de la información.
• Integrar múltiples fuentes de datos estructurados y no estructurados.
• Implementar Unity Catalog para gobernanza y control de acceso a datos.
• Optimizar procesos de extracción y procesamiento para grandes volúmenes de información.
• Participar en arquitecturas basadas en eventos y microservicios.
• Colaborar con equipos multidisciplinarios para transformar requerimientos de negocio en soluciones técnicas.
• Implementar CI/CD para soluciones de datos.
• Identificar y resolver problemas de rendimiento y confiabilidad de los datos.

Skills

Inglés técnico

Arquitecturas orientadas a eventos

Python

Scala

Databricks

Azure Data Factory

Azure Databricks

Azure Synapse Analytics

Azure SQL Data Warehouse

Azure Event Hubs

SQL

NoSQL

Big data processing

JSON/XML/CSV/Parquet

Tools

ADF (Azure Data Factory)

Azure Databricks

Azure Synapse Analytics

Azure SQL Data Warehouse

Azure Event Hubs

Job description

Azure Data Engineer Senior

Empresa: Softtek
Tipo de empleo: Tiempo completo
Ubicación: México o Colombia

Descripción del trabajo

Ingeniero de Datos Azure Senior

Habilidades Requeridas

• 5+ años de experiencia en Ingeniería de Datos.


• Experiencia sólida en diseño, desarrollo y optimización de procesos ETL/ELT.


• Dominio de servicios Azure: Azure Data Factory (ADF), Azure Databricks, Azure Synapse Analytics / Azure SQL Data Warehouse, Azure Event Hubs


• Experiencia comprobable en diseño de bases de datos transaccionales.


• Conocimientos avanzados de bases de datos SQL y NoSQL.


• Experiencia desarrollando en Python y Scala dentro de entornos Databricks.


• Experiencia con procesamiento de datos a gran escala mediante Apache Spark.


• Conocimiento de arquitecturas orientadas a eventos y consumo de microservicios.


• Experiencia trabajando con formatos de datos: JSON, XML, CSV, Parquet


• Conocimiento y administración de Unity Catalog.


• Experiencia en implementación y mantenimiento de procesos CI/CD para soluciones de datos.


• Capacidad para optimizar consultas, procesos de extracción y rendimiento de plataformas de datos.

Habilidades Deseables

• Experiencia con Kafka u otras plataformas de streaming.


• Conocimiento de Data Lakehouse Architecture.


• Experiencia con Terraform o herramientas de Infraestructura como Código (IaC).


• Certificaciones Microsoft Azure relacionadas con Data Engineering.


• Experiencia en ambientes ágiles (Scrum / Kanban).


• Conocimiento de gobierno de datos, calidad de datos y seguridad en Azure.

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.


• Implementar soluciones robustas y escalables utilizando Azure Databricks y Azure Data Factory.


• Diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.


• Garantizar la calidad, integridad y disponibilidad de la información.


• Integrar múltiples fuentes de datos estructurados y no estructurados.


• Implementar y administrar Unity Catalog para el gobierno y control de acceso a datos.


• Optimizar procesos de extracción y procesamiento para grandes volúmenes de información.


• Participar en la definición de arquitecturas de datos modernas basadas en eventos y microservicios.


• Colaborar con equipos multidisciplinarios para entender requerimientos de negocio y transformarlos en soluciones técnicas.


• Implementar y mantener procesos de integración y despliegue continuo (CI/CD).


• Identificar y resolver problemas de rendimiento, calidad y confiabilidad de los datos.

Idiomas Requeridos

Inglés Básico