DATA ENGINEER

Empresa Confidencial; Santiago; Presencial; CLP 24.000.000 - 40.000.000; Jornada completa

Descripción de la vacante

Empresa Confidencial busca un Data Engineer para construir, mantener y optimizar pipelines de datos en el Datalake corporativo en AWS. Integrarás información de sistemas agrícolas, comerciales, de calidad y de soporte para entregar datos confiables y trazables a las áreas de negocio.

Serán clave las ingestas hacia el Datalake, el desarrollo de Glue Jobs en PySpark y las cargas a Redshift para consumo en Tableau y Athena.

Formación

• Levantamiento de requerimientos de datos y traducción a soluciones técnicas.

Responsabilidades

• Desarrollar y mantener las ingestas hacia el Datalake (S3) desde bases de datos relacionales y no relacionales, APIs, OData/SAP, webhooks, colas y archivos, utilizando AWS Glue, AppFlow, Transfer for SFTP, API Gateway y Lambda.
• Desarrollar Glue Jobs en PySpark para el flujo Raw → Staging → Analytics: tipificación de datos, homologación de catálogos, limpieza, deduplicación y aplicación de reglas de negocio.
• Construir y mantener los modelos de la capa Analytics y las cargas hacia Amazon Redshift para su consumo en Tableau y Athena.
• Orquestar los procesos mediante AWS Step Functions y Amazon EventBridge, monitorear su ejecución diaria, atender fallas y ejecutar reprocesos.
• Optimizar el desempeño y el costo de los procesos (Glue, S3, Athena y Redshift), aplicando particionamiento, formatos columnares y buenas prácticas de consulta.
• Asegurar el cumplimiento de los estándares de desarrollo definidos por el área, por parte de las células, proyectos y equipo interno, e implementar validaciones de calidad de datos y alertas.
• Documentar cada requerimiento y la solución desarrollada utilizando JIRA, y mantener actualizado el catálogo, el linaje y el diccionario de datos en OpenMetadata.

Conocimientos

PySpark

Python

SQL avanzado

AWS

Educación

AWS Certifications

AWS Certified Data Engineer – Associate

AWS Certified Solutions Architect – Associate

Herramientas

AWS Glue

AppFlow

Transfer for SFTP

API Gateway

Lambda

Redshift

Tableau

OpenMetadata

Terraform

CloudFormation

DynamoDB

Descripción del empleo

Importante empresa del sector alimentario con presencia a nivel mundial se encuentra en búsqueda de: DATA ENGINEER para integrar a su equipo.

Misión: Construir, mantener y optimizar los pipelines de datos del Datalake corporativo en AWS, integrando la información de los sistemas agrícolas, comerciales, de calidad y de soporte, de acuerdo con los estándares de arquitectura, seguridad y gobierno de datos definidos por el área, con el fin de que las áreas de negocio dispongan de información confiable, oportuna y trazable para la toma de decisiones.

• Participar en el levantamiento de requerimientos de datos con las áreas de negocio y traducirlos a soluciones técnicas.
• Desarrollar y mantener las ingestas hacia el Datalake (S3) desde bases de datos relacionales y no relacionales, APIs, OData/SAP, webhooks, colas y archivos, utilizando AWS Glue, AppFlow, Transfer for SFTP, API Gateway y Lambda.
• Desarrollar Glue Jobs en PySpark para el flujo Raw → Staging → Analytics: tipificación de datos, homologación de catálogos, limpieza, deduplicación y aplicación de reglas de negocio.
• Construir y mantener los modelos de la capa Analytics y las cargas hacia Amazon Redshift para su consumo en Tableau y Athena.
• Orquestar los procesos mediante AWS Step Functions y Amazon EventBridge, monitorear su ejecución diaria, atender fallas y ejecutar reprocesos.
• Optimizar el desempeño y el costo de los procesos (Glue, S3, Athena y Redshift), aplicando particionamiento, formatos columnares y buenas prácticas de consulta.
• Asegurar el cumplimiento de los estándares de desarrollo definidos por el área, por parte de las células, proyectos y equipo interno, e implementar validaciones de calidad de datos y alertas.
• Documentar cada requerimiento y la solución desarrollada utilizando JIRA, y mantener actualizado el catálogo, el linaje y el diccionario de datos en OpenMetadata.

Excluyentes: SQL avanzado (window functions, CTEs, optimización de consultas). Python aplicado a datos con PySpark. AWS Glue (Jobs y Data Catalog) y Amazon S3 (arquitectura por capas, formatos columnares, particionado). Amazon Athena. Formatos Parquet, JSON y CSV. Modelamiento de datos (modelo estrella, hechos y dimensiones, cargas incrementales). Bases de datos relacionales y no relacionales. Git. Amazon Redshift, AWS Step Functions, EventBridge, Lambda, DynamoDB, AppFlow, Transfer for SFTP, Lake Formation y Secrets Manager. Extracción desde SAP (OData, SAP BW) y consumo de APIs REST/SOAP. Infraestructura como código (Terraform o CloudFormation) y CI/CD. Herramientas de catálogo y gobierno de datos (OpenMetadata).

Deseables: Tableau. Metodologías ágiles y JIRA.

Certificaciones deseables: AWS Certified Data Engineer – Associate o AWS Certified Solutions Architect – Associate.

Entre 2 y 4 años en cargos similares, con al menos 1,5 años construyendo pipelines de datos en AWS.