Ingeniería de Datos Azure - Databricks

GFT Technologies LATAM; Bogotá ciudad; On-site; COP 9,000,000 - 18,000,000; Full time

Job summary

GFT Technologies LATAM en Bogotá busca un Ingeniero de Datos con experiencia en Azure Databricks para diseñar y operar arquitecturas y pipelines de datos orientados a analítica e IA.

El perfil debe garantizar disponibilidad, calidad y seguridad de la información en entornos cloud, aplicando prácticas de automatización y gobierno de datos. Se valoran conocimientos en Delta Lake, Lakehouse y pipelines ETL/ELT.

Qualifications

• Profesional en ingeniería afín.
• Experiencia 3–5 años como Ingeniero/a de Datos.
• Conocimiento avanzado de SQL.
• Experiencia en Python o Scala.
• Experiencia en procesamiento distribuido con PySpark.
• Experiencia con Azure Databricks y Azure Data Factory.
• Experiencia con ADLS Gen2 y Delta Lake.
• Conocimiento de arquitectura Lakehouse y Medallion.
• Conocimiento de modelado dimensional y bases de datos relacionales/NoSQL.
• Conocimiento en gobierno y calidad de datos (Unity Catalog, Great Expectations).
• Experiencia en ingeniería de datos, integración ETL/ELT y observabilidad de pipelines.

Responsibilities

• Diseñar, construir y optimizar arquitecturas de datos basadas en Azure y Databricks.
• Implementar procesos ETL y ELT para integrar múltiples fuentes de información.
• Diseñar y administrar arquitecturas Data Lake y Lakehouse.
• Monitorear pipelines de datos para garantizar calidad y seguridad.
• Preparar datasets para analítica avanzada, reporting y ML.
• Colaborar con BI y ciencia de datos para acceso a la información.
• Definir controles de gobierno y calidad de datos.
• Implementar CI/CD para soluciones de datos.
• Diseñar soluciones escalables para procesamiento distribuido y grandes volúmenes de datos.
• Identificar oportunidades de optimización de costos y rendimiento.
• Evaluar tecnologías y mejores prácticas para evolución de la plataforma.

Skills

SQL

Python

Scala

PySpark

Azure Databricks

Azure Data Factory

ADLS Gen2

Delta Lake

Lakehouse

Delta Live Tables

Power BI

Unity Catalog

Event Hubs

Entra ID

RBAC

Git

Visual Studio Code

Education

Ingeniería (Sistemas/Industrial/Electrónica/Mecatrónica)

Tools

Azure DevOps

Git

Visual Studio Code

Job description

Buscamos una persona con experiencia en Ingeniería de Datos sobre Azure, especializada en Databricks, responsable de diseñar, construir y operar arquitecturas y pipelines de datos orientados a analítica e inteligencia artificial. El perfil deberá garantizar la disponibilidad, calidad, seguridad y escalabilidad de la información en entornos cloud, aplicando buenas prácticas de automatización y gobierno de datos.

Responsabilidades

• Diseñar, construir y optimizar arquitecturas de datos basadas en Azure y Databricks
• Implementar procesos ETL y ELT para integrar múltiples fuentes de información
• Diseñar y administrar arquitecturas Data Lake y Lakehouse
• Monitorear pipelines de datos para garantizar consistencia, calidad, trazabilidad y seguridad
• Preparar y optimizar datasets para analítica avanzada, reporting y modelos de Machine Learning
• Colaborar con equipos de BI, analítica y ciencia de datos para facilitar el acceso a la información
• Definir e implementar controles de gobierno y calidad de datos
• Implementar procesos de integración continua y despliegue continuo para soluciones de datos
• Diseñar soluciones escalables para procesamiento distribuido y grandes volúmenes de datos
• Identificar oportunidades de mejora para optimizar costos, rendimiento y tiempos de procesamiento
• Evaluar nuevas tecnologías y mejores prácticas para la evolución de la plataforma de datos

Requisitos y Calificaciones

Descripción del puesto:

Buscamos una persona con experiencia en Ingeniería de Datos sobre Azure, especializada en Databricks, responsable de diseñar, construir y operar arquitecturas y pipelines de datos orientados a analítica e inteligencia artificial. El perfil deberá garantizar la disponibilidad, calidad, seguridad y escalabilidad de la información en entornos cloud, aplicando buenas prácticas de automatización y gobierno de datos.

Responsabilidades

• Diseñar, construir y optimizar arquitecturas de datos basadas en Azure y Databricks
• Implementar procesos ETL y ELT para integrar múltiples fuentes de información
• Diseñar y administrar arquitecturas Data Lake y Lakehouse
• Monitorear pipelines de datos para garantizar consistencia, calidad, trazabilidad y seguridad
• Preparar y optimizar datasets para analítica avanzada, reporting y modelos de Machine Learning
• Colaborar con equipos de BI, analítica y ciencia de datos para facilitar el acceso a la información
• Definir e implementar controles de gobierno y calidad de datos
• Implementar procesos de integración continua y despliegue continuo para soluciones de datos
• Diseñar soluciones escalables para procesamiento distribuido y grandes volúmenes de datos
• Identificar oportunidades de mejora para optimizar costos, rendimiento y tiempos de procesamiento
• Evaluar nuevas tecnologías y mejores prácticas para la evolución de la plataforma de datos

Requisitos y Calificaciones

• Profesional en Ingeniería de Sistemas, Ingeniería Industrial, Ingeniería Electrónica, Ingeniería Mecatrónica o carreras afines
• Entre 3 y 5 años de experiencia como Ingeniero(a) de Datos
• Dominio avanzado de SQL
• Experiencia en Python o Scala
• Experiencia en procesamiento distribuido con PySpark
• Experiencia con Azure Databricks
• Experiencia con Azure Data Factory
• Experiencia con Azure Data Lake Storage Gen2 (ADLS Gen2)
• Conocimiento de Delta Lake
• Experiencia en arquitecturas Lakehouse
• Conocimiento de arquitectura Medallion
• Experiencia en modelado dimensional
• Experiencia con bases de datos relacionales
• Experiencia con bases de datos NoSQL
• Conocimiento en gobierno y calidad de datos
• Experiencia con Unity Catalog
• Experiencia con Delta Live Tables (DLT)
• Conocimiento de Great Expectations
• Experiencia en procesamiento de streaming mediante Event Hubs
• Experiencia con Azure DevOps y Git
• Conocimiento de Entra ID
• Conocimiento de RBAC
• Manejo de Power BI
• Manejo de Visual Studio Code
• Experiencia en integración de datos y procesos ETL/ELT
• Experiencia en análisis y modelado de datos

Diferenciales

• Experiencia en proyectos de Inteligencia Artificial y Machine Learning
• Conocimiento en DataOps y automatización de plataformas de datos
• Experiencia en optimización de costos en plataformas cloud
• Certificaciones de Azure relacionadas con Data Engineering
• Experiencia avanzada en observabilidad y monitoreo de pipelines de datos
• Participación en iniciativas de modernización de plataformas analíticas

Habilidades blandas

• Comunicación
• Resolución de Problemas
• Pensamiento analítico
• Trabajo en equipo
• Adaptabilidad
• Proactividad
• Autogestión
• Responsabilidad
• Integridad
• Servicio al Cliente
• Toma de Decisiones
• Construcción de Relaciones
• Gestión de Stakeholders
• Pensamiento Estratégico
• Orientación a resultados

En cumplimiento con nuestras disposiciones en materia de protección de datos personales, te informamos que la información que nos proporciones, será tratada conforme al Aviso de Privacidad que encontrarás en nuestra página web.En el apartado: Aviso de privacidad para el tratamiento de datos personales- candidato-