Data Engineer - AWS Datalake & Analytics Pipelines

Empresa Confidencial; Santiago; Presencial; CLP 24.000.000 - 40.000.000; Jornada completa

Descripción de la vacante

Empresa Confidencial busca un Data Engineer para construir, mantener y optimizar pipelines de datos en el Datalake corporativo en AWS. Integrarás información de sistemas agrícolas, comerciales, de calidad y de soporte para entregar datos confiables y trazables a las áreas de negocio.

Serán clave las ingestas hacia el Datalake, el desarrollo de Glue Jobs en PySpark y las cargas a Redshift para consumo en Tableau y Athena.

Formación

• Levantamiento de requerimientos de datos y traducción a soluciones técnicas.

Responsabilidades

• Desarrollar y mantener las ingestas hacia el Datalake (S3) desde bases de datos relacionales y no relacionales, APIs, OData/SAP, webhooks, colas y archivos, utilizando AWS Glue, AppFlow, Transfer for SFTP, API Gateway y Lambda.
• Desarrollar Glue Jobs en PySpark para el flujo Raw → Staging → Analytics: tipificación de datos, homologación de catálogos, limpieza, deduplicación y aplicación de reglas de negocio.
• Construir y mantener los modelos de la capa Analytics y las cargas hacia Amazon Redshift para su consumo en Tableau y Athena.
• Orquestar los procesos mediante AWS Step Functions y Amazon EventBridge, monitorear su ejecución diaria, atender fallas y ejecutar reprocesos.
• Optimizar el desempeño y el costo de los procesos (Glue, S3, Athena y Redshift), aplicando particionamiento, formatos columnares y buenas prácticas de consulta.
• Asegurar el cumplimiento de los estándares de desarrollo definidos por el área, por parte de las células, proyectos y equipo interno, e implementar validaciones de calidad de datos y alertas.
• Documentar cada requerimiento y la solución desarrollada utilizando JIRA, y mantener actualizado el catálogo, el linaje y el diccionario de datos en OpenMetadata.

Conocimientos

PySpark

Python

SQL avanzado

AWS

Educación

AWS Certifications

AWS Certified Data Engineer – Associate

AWS Certified Solutions Architect – Associate

Herramientas

AWS Glue

AppFlow

Transfer for SFTP

API Gateway

Lambda

Redshift

Tableau

OpenMetadata

Terraform

CloudFormation

DynamoDB

Descripción del empleo

Empresa Confidencial busca un Data Engineer para construir, mantener y optimizar pipelines de datos en el Datalake corporativo en AWS. Integrarás información de sistemas agrícolas, comerciales, de calidad y de soporte para entregar datos confiables y trazables a las áreas de negocio.

Serán clave las ingestas hacia el Datalake, el desarrollo de Glue Jobs en PySpark y las cargas a Redshift para consumo en Tableau y Athena.