Data Engineer AWS & Data Mesh (Colombia)

Accenture Global; Perímetro Urbano Barranquilla; On-site; COP 48,000,000 - 72,000,000; Full time

Job summary

Accenture busca Ingenieros de Datos – Colombia para diseñar, desarrollar e implementar pipelines y productos de datos sobre AWS, contribuyendo a arquitecturas Data Lake / Data Mesh con calidad, escalabilidad y buenas prácticas. Se valoran experiencia en ETL/ELT, Spark, SQL y orquestación con Airflow.

La persona trabajará en un equipo de tecnología, colaborando con clientes de diversas industrias para enfrentar la transformación digital y entregar soluciones eficientes en AWS.

Qualifications

• Experiencia en ingeniería de datos o participación en proyectos ETL/ELT (nivel Junior, Semi Senior o Senior).
• Data Engineering (AWS)
• AWS Glue, Python, PySpark y Spark SQL.
• Experiencia con Redshift, Athena y almacenamiento en S3.
• Construcción de pipelines de datos y procesamiento distribuido.
• Desarrollo de consultas SQL para transformación y validación.
• Buenas prácticas de desarrollo y uso de Git.
• Experiencia en Data Lake / Data Mesh y orquestación con Airflow / MWAA.

Responsibilities

• Diseñar, desarrollar y mantener procesos de ingesta y pipelines ETL/ELT sobre AWS.
• Construir y optimizar soluciones de procesamiento de datos utilizando AWS Glue, Python, PySpark, Spark SQL, Redshift y Athena.
• Diseñar pipelines de datos desde fuentes estructuradas, semiestructuradas y archivos hacia Amazon S3.
• Aplicar buenas prácticas de desarrollo, modularización y uso de librerías como PySpark y Pandas.
• Desarrollar consultas SQL para transformación, validación, cuadratura y explotación de datos.
• Participar en la optimización de cargas y procesamiento distribuido con Apache Spark.
• Gestionar metadatos y catalogación con AWS Glue Data Catalog.
• Orquestar pipelines de datos con Apache Airflow / MWAA (según nivel del rol).
• Implementar pruebas unitarias y controles de calidad de datos (según nivel del rol).
• Colaborar en la gestión de versiones y trabajo en repositorios Git.
• Apoyar el diseño y evolución de productos de datos y arquitecturas Data Lake / Data Mesh.

Skills

Data engineering

ETL/ELT pipelines

AWS

Python

PySpark

Spark SQL

SQL

Airflow

Tools

AWS Glue Data Catalog

Redshift

Athena

Amazon S3

Airflow / MWAA

Job description

Accenture busca Ingenieros de Datos – Colombia para diseñar, desarrollar e implementar pipelines y productos de datos sobre AWS, contribuyendo a arquitecturas Data Lake / Data Mesh con calidad, escalabilidad y buenas prácticas. Se valoran experiencia en ETL/ELT, Spark, SQL y orquestación con Airflow.

La persona trabajará en un equipo de tecnología, colaborando con clientes de diversas industrias para enfrentar la transformación digital y entregar soluciones eficientes en AWS.