Ingeniero de Datos Senior | Azure + Databricks

Praxis; Bogotá; On-site; COP 120,000,000 - 200,000,000; Full time

Job summary

Praxis IT busca un Ingeniero de Datos Senior para unirse al equipo y participar en un proyecto de ingeniería y arquitectura de datos en la nube. Serás responsable de construir y mantener pipelines de ingestión desde SAP S/4HANA Cloud hacia Databricks, asegurando disponibilidad, calidad y rendimiento de Bronze y Silver.

La experiencia clave incluye Azure Data Factory, Databricks (Delta Lake, Auto Loader, Delta Live Tables, Unity Catalog), Python/PySpark y SQL avanzado.

Qualifications

• Experiencia en Azure Data Factory y Databricks.
• Sólidos conocimientos en Python y PySpark para transformación y procesamiento de datos.
• SQL avanzado con uso de CTEs, ventanas y optimización de consultas.
• Experiencia con ADLS Gen2 y control de versiones con Git.
• Experiencia en pipelines en entornos productivos de alto volumen.

Responsibilities

• Desarrollar y mantener pipelines de ingestión mediante Azure Data Factory.
• Construir y administrar las capas Bronze y Silver en Databricks.
• Implementar ingestión incremental con Watermark y CDC.
• Configurar ingestión continua con Auto Loader o Delta Live Tables.
• Gestionar la gobernanza de datos con Unity Catalog.
• Monitorear y optimizar el rendimiento de pipelines y consultas Spark.
• Documentar la arquitectura técnica y procesos implementados.

Skills

Azure Data Factory

Databricks

Python

PySpark

SQL

ADLS Gen2

Git

Data pipelines

Tools

Azure Data Factory

Databricks

Unity Catalog

Delta Lake

Auto Loader

Delta Live Tables

Python

SQL

Job description

En Praxis IT estamos en búsqueda de un Ingeniero de Datos Senior para unirse a nuestro equipo y participar en un proyecto de ingeniería y arquitectura de datos en la nube.

Serás responsable de construir y mantener los pipelines de ingestión de datos desde SAP S/4HANA Cloud hacia Databricks, garantizando la disponibilidad, calidad y rendimiento de las capas Bronze y Silver de la plataforma de datos.

• Experiencia en Azure Data Factory (ADF): creación de pipelines, linked services, triggers y monitoreo.
• Conocimientos sólidos en Databricks: Delta Lake, Auto Loader, Delta Live Tables (DLT) y Unity Catalog.
• Dominio de Python y PySpark para transformación y procesamiento de datos.
• SQL avanzado: CTEs, funciones de ventana y optimización de consultas.
• Experiencia con Azure Data Lake Storage Gen2 (ADLS).
• Manejo de Git y control de versiones.
• Experiencia construyendo y administrando pipelines en ambientes productivos de alto volumen.

Funciones principales

• Desarrollar y mantener pipelines de ingestión mediante Azure Data Factory.
• Construir y administrar las capas Bronze y Silver en Databricks.
• Implementar estrategias de ingestión incremental mediante Watermark y CDC.
• Configurar procesos de ingestión continua con Auto Loader o Delta Live Tables.
• Gestionar la gobernanza de datos mediante Unity Catalog.
• Monitorear y optimizar el rendimiento de pipelines y consultas Spark.
• Documentar la arquitectura técnica y los procesos implementados.

Contrato: Obra Labor