Ingeniero de Datos Senior: Pipelines en Azure Databricks

Praxis; Bogotá; On-site; COP 120,000,000 - 200,000,000; Full time

Job summary

Praxis IT busca un Ingeniero de Datos Senior para unirse al equipo y participar en un proyecto de ingeniería y arquitectura de datos en la nube. Serás responsable de construir y mantener pipelines de ingestión desde SAP S/4HANA Cloud hacia Databricks, asegurando disponibilidad, calidad y rendimiento de Bronze y Silver.

La experiencia clave incluye Azure Data Factory, Databricks (Delta Lake, Auto Loader, Delta Live Tables, Unity Catalog), Python/PySpark y SQL avanzado.

Qualifications

• Experiencia en Azure Data Factory y Databricks.
• Sólidos conocimientos en Python y PySpark para transformación y procesamiento de datos.
• SQL avanzado con uso de CTEs, ventanas y optimización de consultas.
• Experiencia con ADLS Gen2 y control de versiones con Git.
• Experiencia en pipelines en entornos productivos de alto volumen.

Responsibilities

• Desarrollar y mantener pipelines de ingestión mediante Azure Data Factory.
• Construir y administrar las capas Bronze y Silver en Databricks.
• Implementar ingestión incremental con Watermark y CDC.
• Configurar ingestión continua con Auto Loader o Delta Live Tables.
• Gestionar la gobernanza de datos con Unity Catalog.
• Monitorear y optimizar el rendimiento de pipelines y consultas Spark.
• Documentar la arquitectura técnica y procesos implementados.

Skills

Azure Data Factory

Databricks

Python

PySpark

SQL

ADLS Gen2

Git

Data pipelines

Tools

Azure Data Factory

Databricks

Unity Catalog

Delta Lake

Auto Loader

Delta Live Tables

Python

SQL

Job description

Praxis IT busca un Ingeniero de Datos Senior para unirse al equipo y participar en un proyecto de ingeniería y arquitectura de datos en la nube. Serás responsable de construir y mantener pipelines de ingestión desde SAP S/4HANA Cloud hacia Databricks, asegurando disponibilidad, calidad y rendimiento de Bronze y Silver.

La experiencia clave incluye Azure Data Factory, Databricks (Delta Lake, Auto Loader, Delta Live Tables, Unity Catalog), Python/PySpark y SQL avanzado.