Data Engineering Associate II

Jobtailor; Bogotá ciudad; Presencial; COP 60.000.000 - 90.000.000; Jornada completa

Descripción de la vacante

Jobtailor busca un Ingeniero de Datos para diseñar, construir y automatizar pipelines de datos, asegurando calidad, seguridad y trazabilidad en entornos AWS. Se trabajará con Python, PySpark, Spark y Hadoop para transformar grandes volúmenes de información.

Se valorará experiencia en diseño de ETL/ELT, manejo de HDFS, Git y Linux, con habilidades en orquestación de pipelines y consumo de APIs. El rol requiere entrega de soluciones robustas en un entorno de datos complejo.

Formación

• Experiencia en desarrollo de procesos de ingesta, transformación y calidad de datos.

Responsabilidades

• Diseñar, construir, automatizar y mantener pipelines de datos (ETL/ELT).
• Participar en procesos operativos de complejidad media y alta.
• Asegurar cumplimiento de estándares de calidad, productividad, seguridad y trazabilidad de datos.

Conocimientos

Python Development

Advanced SQL

ETL/ELT Design

AWS Services

Big Data

PySpark

Apache Spark

Hadoop

HDFS

Linux

Bash Scripting

Git

Herramientas

Docker

Podman

AWS S3

AWS Glue

AWS EMR

AWS Lambda

AWS IAM

AWS SageMaker

Git

Linux

Descripción del empleo

Responsibilities

• Diseñar, construir, automatizar y mantener procesos de ingesta, transformación, calidad y disponibilidad de datos
• Participar en la ejecución de procesos operativos de complejidad media y alta
• Asegurar el cumplimiento de estándares de calidad, productividad, seguridad y trazabilidad definidos por el área

Requirements

• Python para desarrollo de procesos, automatización, consumo de APIs y manejo de datos
• PySpark y Apache Spark para procesamiento distribuido y transformación de grandes volúmenes de información
• SQL avanzado para consultas, modelado y optimización de bases de datos
• Diseño y operación de pipelines ETL/ELT
• Manejo de Hadoop, HDFS y ecosistemas Big Data
• Control de versiones con Git
• Linux, scripting Bash y automatización de tareas
• Contenedores Docker o Podman
• Conocimiento de calidad, gobierno, seguridad y trazabilidad de datos
• Servicios AWS, especialmente Amazon S3, Athena, Glue, EMR, Lambda, IAM y SageMaker

Core Competencies

Proficient in designing, building, automating, and maintaining data ingestion, transformation, and quality processes. Expertise in Python, SQL, and Big Data technologies, ensuring compliance with data quality and security standards.

Highest-signal resume keywords

• Python Development
• Advanced SQL
• ETL/ELT Pipeline Design
• AWS Services
• Big Data Ecosystem Management

Hard Skills

• Python
• PySpark
• Apache Spark
• Advanced SQL
• ETL/ELT Design
• Hadoop
• HDFS
• Git
• Linux
• Bash Scripting

Industry Keywords

• Data Quality
• Data Governance
• Data Security
• Data Traceability

Tools & Technologies

• Docker
• Podman
• AWS S3
• AWS Athena
• AWS Glue
• AWS EMR
• AWS Lambda
• AWS IAM
• AWS SageMaker