Data Engineer Especialista en PySpark

RetailBeat; Santiago de Querétaro; Vor Ort; MXN 420.000 - 780.000; Vollzeit

Zusammenfassung

RetailBeat está buscando un Data Engineer para recopilar, limpiar y organizar datos en la nube, garantizando disponibilidad y calidad para análisis de negocio en el sector retail. Trabajarás estrechamente con equipos de negocio y analítica para diseñar procesos de ETL y almacenamiento escalable.

Se requiere experiencia con PySpark, Azure Synapse y Databricks, manejo de ADLS Gen2 y Parquet, así como dominio de Azure SQL Server.

Qualifikationen

• Experiencia con PySpark y Azure Synapse (Spark pools + Pipelines).
• Manejo de ADLS Gen2 y Parquet; deseable en retail o consumo masivo.
• Dominio de bases de datos relacionales como Azure SQL Server.

Aufgaben

• Construir y mantener procesos de integración de datos en la nube (Azure).
• Desarrollar y optimizar pipelines con Spark (PySpark) y Python.
• Cargar, transformar y estructurar datos en Azure SQL Server y repositorios.
• Implementar controles y validaciones de calidad e integridad de datos.

Kenntnisse

Analítica de datos

Resolución de problemas

Ausbildung

Licenciatura o Ingeniería en Sistemas/Computación/Informática

Tools

Azure Synapse Analytics

Azure Data Factory

Azure Blob Storage

Azure Data Lake

Databricks

PySpark

Python

Azure SQL Server

Jobbeschreibung

Somos una empresa mexicana con mas de 22 años en el mercado, desarrollamos procesos y tecnología que ayudan a nuestros clientes a medir y garantizar la disponibilidad de sus productos en el punto de venta, así como a evaluar el cumplimento de sus objetivos de ejecución.Nuestro mercado principal son empresas de productos de consumo masivo, retailers y aquellas involucradas en el aseguramiento de la disponibilidad.

Con personal propio y nuestra tecnología llevamos a cabo estudios en campo para evaluar de forma imparcial la situación de las marcas de nuestro cliente en diferentes canales a nivel nacional.Estamos fortaleciendo nuestro equipo de Datos y Analítica para acelerar la construcción de productos de datos confiables y escalables.

El Data Engineer es encargado de recopilar, limpiar y organizar datos para que estén disponibles de manera precisa, confiable y oportuna, facilitando su uso en análisis y toma de decisiones. Trabaja en estrecha colaboración con equipos de negocio y analítica para diseñar e implementar procesos de integración, transformación y almacenamiento de datos, aplicando buenas prácticas de calidad y eficiencia.

Debe contar con habilidades en programación, manejo de bases de datos y herramientas de análisis, así como capacidad para resolver problemas, documentar procesos y comunicar hallazgos de forma clara. Su función abarca desde la preparación de datos hasta el soporte en su explotación, asegurando que los productos de datos sean escalables y cumplan con las necesidades de la organización.

• Construir y mantener procesos de integración de datos en la nube utilizando Azure Synapse Analytics, Azure Data Factory, Azure Blob Storage y Azure Data Lake.
• Desarrollar y optimizar pipelines de datos en Databricks empleando Spark (PySpark) y Python para el procesamiento eficiente de grandes volúmenes de información.
• Cargar, transformar y estructurar datos en Azure SQL Server y otros repositorios para su análisis y explotación.
• Implementar controles y validaciones que garanticen la calidad, integridad y consistencia de los datos.

Habilidades y Cualidades Necesarias:

• Dominio de herramientas y servicios de Azure: Synapse Analytics, Data Factory, Blob Storage, Data Lake y Databricks.
• Indispensable programación con Spark (PySpark) y Python para el manejo de datos a gran escala.
• Conocimiento en bases de datos relacionales, especialmente Azure SQL Server.
• Capacidad para optimizar procesos de ETL y trabajar con grandes volúmenes de datos.

Mejora en KPIS de satisfacción del cliente, crecimiento de cuentas gestionadas, eficiencia en reporteo y análisis mensual.

Licenciatura o ingeniería en Sistemas, Computación o Informática.

Experiencia:

1 a 2 años construyendo procesos de datos con PySpark y Azure Synapse (Spark pools + Pipelines), manejo de ADLS Gen2 y Parquet; deseable experiencia en ambientes de retail o consumo masivo.