Data Management Engineer Cloud Etl Sr

Softtek; México; On-site; MXN 900,000 - 1,300,000; Full time

Job summary

Softtek busca Ingeniero de Datos Senior enfocado en Data Management y Cloud ETL para diseñar y optimizar pipelines de datos a gran escala. Se trabajará con SQL avanzado, herramientas de nube (Azure/AWS) y tecnologías de Big Data como Databricks y Spark, desarrollando soluciones de datos modernas.

El perfil requiere dominio de bases de datos relacionales, modelado de datos y experiencia en Data Lakes/Lakehouse, gobernanza de datos y visualización (Power BI/Tableau/Qlik Sense).

Qualifications

• Dominio avanzado de SQL en entornos relacionales.
• Experiencia con PostgreSQL, SQL Server, Oracle o equivalentes.
• Optimización de consultas y rendimiento de bases de datos.
• Diseño de modelos y estructuras de datos.
• Gestión de grandes volúmenes de información y Data Warehouses/Data Marts.
• Desarrollo avanzado en Python y construcción de Data Pipelines.
• Buenas prácticas de calidad y gobierno de datos.
• Experiencia con Databricks, Spark y PySpark.
• Conocimientos en Azure y herramientas de nube para datos.
• Conocimientos de Docker y Kubernetes.
• Experiencia con Data Lake / Lakehouse y arquitecturas modernas de datos.
• Conocimientos de DataOps y CI/CD para datos.
• Herramientas de visualización (Power BI/Tableau/Qlik Sense).
• Soluciones orientadas a ML y analytics avanzados.
• Arquitectura de microservicios y seguridad de datos.
• Certificaciones en Azure/AWS/Databricks o Big Data.
• Metodologías ágiles (Scrum/Kanban).
• Diseño y optimización de pipelines de datos para analítica y ops.
• Integración de datos de múltiples fuentes.
• Procesos ETL/ELT con alto rendimiento.
• Monitoreo, trazabilidad y automatización de procesos.

Skills

SQL avanzado

PostgreSQL

SQL Server

Oracle

Query tuning

Modelado de datos

Big Data

Data Warehouses/Data Marts

Python

Data Pipelines

Calidad y gobierno de datos

Azure

AWS

Databricks

Apache Spark / PySpark

Docker

Kubernetes

Data Lake / Lakehouse

DataOps / CI/CD

Visualización (Power BI/Tableau/Qlik)

Machine Learning / Advanced Analytics

Arquitectura de microservicios

Seguridad y gobernanza de datos

Tools

Databricks

Apache Spark

PySpark

Power BI

Tableau

Qlik Sense

Job description

Descripción del trabajo - Data Management Engineer Cloud ETL Sr

Ingeniero de Datos Big Data

Bases de Datos y SQL (Obligatorio)

• Dominio avanzado de SQL.
• Experiencia en PostgreSQL, SQL Server, Oracle o bases de datos relacionales equivalentes.
• Optimización de consultas (query tuning) y rendimiento.
• Diseño de modelos y estructuras de datos.
• Gestión y procesamiento de grandes volúmenes de información.
• Experiencia en administración y explotación de Data Warehouses y Data Marts.

Data Engineering y Python (Obligatorio)

• Desarrollo avanzado en Python.
• Construcción y mantenimiento de Data Pipelines.
• Desarrollo de transformaciones y validaciones de información.
• Implementación de buenas prácticas de calidad y gobierno de datos.

Databricks y Procesamiento Distribuido (Prioridad Alta)

• Experiencia sólida con Databricks.
• Desarrollo utilizando Apache Spark y PySpark.
• Procesamiento distribuido de grandes volúmenes de datos.
• Optimización de cargas y procesos de datos en entornos Big Data.
• Diseño de soluciones escalables de procesamiento masivo.
• Experiencia en Microsoft Azure.
• Implementación y administración de soluciones de datos en la nube.
• Integración de servicios cloud para analítica y procesamiento de datos.

Big Data y Arquitecturas Modernas

• Experiencia con al menos una de las siguientes tecnologías:
• Experiencia en arquitecturas distribuidas y procesamiento en tiempo real o por lotes.
• Experiencia con AWS y sus servicios de datos.
• Conocimientos de Docker y Kubernetes.
• Experiencia con Data Lake, Lakehouse y arquitecturas modernas de datos.
• Conocimientos en DataOps y CI/CD para entornos de datos.
• Experiencia con herramientas de visualización como Power BI, Tableau o Qlik Sense.
• Desarrollo de soluciones orientadas a Machine Learning y Advanced Analytics.
• Conocimiento en arquitectura de microservicios.
• Experiencia en gobierno, calidad y seguridad de datos.
• Certificaciones en Azure, AWS, Databricks o tecnologías Big Data.
• Conocimiento de metodologías ágiles (Scrum, Kanban).
• Diseñar, desarrollar y mantener arquitecturas de datos escalables y resilientes.
• Construir y optimizar pipelines de datos para entornos analíticos y operativos.
• Implementar procesos ETL/ELT de alta disponibilidad y rendimiento.
• Diseñar soluciones de integración de datos provenientes de múltiples fuentes.
• Desarrollar procesos de transformación y enriquecimiento de datos utilizando Python, Spark y Databricks.
• Optimizar el desempeño de consultas, bases de datos y procesos de carga.
• Participar en el diseño e implementación de plataformas Big Data y ecosistemas analíticos.
• Implementar soluciones de procesamiento distribuido para grandes volúmenes de datos.
• Colaborar con equipos de BI, Analytics, Ciencia de Datos y áreas de negocio.
• Garantizar la calidad, integridad, disponibilidad y confiabilidad de la información.
• Implementar monitoreo, trazabilidad y automatización de procesos de datos.
• Aplicar mejores prácticas de seguridad, gobierno y gestión de datos.
• Participar en iniciativas de modernización y migración de plataformas de datos hacia la nube.
• Documentar arquitecturas, desarrollos y estándares técnicos.