Data Engineer: Pipelines, Datalake y Calidad de Datos

Bia Energy; Bogotá; Hybrid; COP 110,000,000 - 170,000,000; Full time

Job summary

Bia Energy busca talento visionario para diseñar, construir y mantener infraestructuras de datos escalables y seguras que permitan gestionar y analizar grandes volúmenes de información en la organización. El rol transforma datos en información útil para decisiones basadas en datos.

Se requiere más de 4 años en ingeniería de datos y experiencia con Python/Java/Scala, Spark, Kafka y plataformas en AWS/Azure/Google Cloud, además de habilidades en Airflow, Docker y Kubernetes.

Qualifications

• Más de 4 años en ingeniería de datos y desarrollo de soluciones de datos.
• Experiencia con pipelines, ETL/ELT y Data Lake.
• Conocimientos de bases de datos SQL/NoSQL y servicios en la nube.

Responsibilities

• Diseñar, construir y gestionar pipelines de datos desde origen a análisis.
• Implementar ETL/ELT robusto para integración y transformación.
• Implementación y soporte del Datalake.
• Asegurar calidad de datos mediante limpieza, validación y monitoreo.
• Optimizar bases de datos y almacenamiento para escalabilidad y rendimiento.
• Controles de acceso y seguridad en datos sensibles.
• Documentar procesos y estructuras de sistemas de datos.

Skills

Python

Java

Scala

Apache Spark

Hadoop

Kafka

PostgreSQL

MySQL

MongoDB

AWS

Azure

Google Cloud

Airflow

Docker

Kubernetes

Education

Ingeniería en Sistemas/Informática

Ciencias de la Computación

Tools

Airflow

Docker

Kubernetes

AWS

Azure

Google Cloud

Job description

Bia Energy busca talento visionario para diseñar, construir y mantener infraestructuras de datos escalables y seguras que permitan gestionar y analizar grandes volúmenes de información en la organización. El rol transforma datos en información útil para decisiones basadas en datos.

Se requiere más de 4 años en ingeniería de datos y experiencia con Python/Java/Scala, Spark, Kafka y plataformas en AWS/Azure/Google Cloud, además de habilidades en Airflow, Docker y Kubernetes.