Ingeniero/a de Datos Ot Dmz IT

2Brains; Santiago; Presencial; CLP 39.060.000 - 61.380.000; Jornada completa

Descripción de la vacante

2Brains está buscando una Ingeniero/a de datos para diseñar e implementar pipelines en Azure Databricks y Lakehouse, integrando fuentes industriales, asegurando gobernanza y seguridad de datos. Se trabajará con Delta Lake, DABs y Unity Catalog para garantizar la calidad y disponibilidad de información en tiempo real y diferido.

El/la candidato/a ideal debe dominar Python y SQL, con experiencia en CI/CD, Azure Data Factory y DevOps.

Formación

• Experiencia en diseño e implementación de pipelines de ingesta en Azure Databricks.
• Conocimiento en seguridad y gobernanza de datos (Unity Catalog, Key Vault).

Responsabilidades

• Diseñar y optimizar flujos de ingesta de datos hacia Data Lake.
• Integrar nuevas fuentes y asegurar conectividad OT/DMZ/IT.
• Aplicar SQL/Python para transformación y calidad de datos.
• Gestionar CI/CD con Azure DevOps y control de versiones.

Conocimientos

Python

SQL

Apache Spark

PySpark

Databricks

Azure

CI/CD

GitHub

Data governance

Educación

Ingeniero Civil en Informática

Herramientas

Azure Data Factory

Delta Lake

DLT

Databricks Asset Bundles

Unity Catalog

Azure Key Vault

Descripción del empleo

El desafío

Este rol es fundamental para garantizar el éxito en proyectos de integración de sistemas OT-DMZ-IT. La persona seleccionada asumirá la responsabilidad de diseñar, optimizar y escalar la extracción, flujo y canalización de datos provenientes de entornos industriales (OT/FMS). Su objetivo principal será conectar de manera segura y eficiente la capa de planta con el Data Lake corporativo, aprovechando las capacidades del stack tecnológico basado en Azure y Databricks para asegurar la disponibilidad, calidad y gobernanza de la información en tiempo real y diferido.

En el día a día

Pipelines de datos: diseñar, construir y optimizar flujos de ingesta y orquestación en la nube (ADF / Databricks) desde sistemas industriales hacia el Data Lake. Integración de nuevas fuentes: incorporar nuevos orígenes de datos al Lakehouse corporativo, evaluando restricciones de conectividad y ciberseguridad entre OT, DMZ e IT. Transformación de datos: construir lógica de limpieza y procesamiento masivo con PySpark, Spark SQL, Delta Lake y DLT. Calidad del dato: auditar, monitorear y asegurar la consistencia del dato a lo largo de toda la solución. Gobernanza y seguridad: aplicar políticas de control de acceso (Unity Catalog) y gestionar credenciales (Azure Key Vault). Optimización: afinar consultas y consumo de recursos en clústeres y bases de datos relacionales/no relacionales. CI/CD: versionar código (Git/GitHub) e implementar despliegue continuo con Azure DevOps y DABs. Gestión de riesgos: identificar y mitigar riesgos que afecten la continuidad de la ingesta, documentando el traspaso a Continuidad Operacional.

Lo que necesita saber hacer

Lenguajes y procesamiento de datos

Python y SQL a nivel avanzado

Procesamiento distribuido a gran escala con Apache Spark y PySpark

Databricks & Arquitectura Lakehouse

Patrón Medallón (Bronze / Silver / Gold)

Workflows, Delta Lake, Databricks Asset Bundles (DABs), Autoloader Unity Catalog (gobernanza de datos) y Delta Live Tables (DLT)

Ecosistema Azure

Azure Data Factory (ADF) — orquestación de pipelines ETL/ELT

Azure Data Lake Storage Gen2 (ADLS Gen2)

Azure Key Vault — gestión de secretos

Azure DevOps / Git — CI/CD y versionamiento

Conocimientos en Redes e integración

Conectividad segura entre dominios de red (OT, DMZ, IT)

Nociones de ciberseguridad industrial, permisos y accesos

Formación académica

Título profesional: Ingeniero(a) Civil con especialidad en Informática, Computación, o carrera afín.

Formación académica

• Microsoft Certified: Azure Data Engineer Associate (o equivalente en ecosistema Azure)
• Databricks Certified Data Engineer (Associate o Professional)
• Cursos/diplomados en Big Data, Computación Distribuida, Arquitectura de Datos o Gobernanza Cloud