Data Engineer / Developer (Migración Databricks)

SSI OUTSOURCING; Santiago; On-site; CLP 22,000,000 - 38,000,000; Full time

Job summary

SSI Outsourcing busca un Data Engineer / Developer con experiencia en Python, SQL y Spark para liderar la migración de procesos ETL a Databricks en entornos productivos. El rol exige revisión de código generado por IA, validación de calidad, rendimiento y seguridad, y coordinación con equipos mediante Git Flow.

El candidato ideal debe poseer experiencia práctica en PySpark, Delta Lake y pipelines de datos, con enfoque en mantenibilidad y cumplimiento de estándares.

Qualifications

• Formación en Ingeniería Informática o equivalente.
• Experiencia en ingeniería de datos y desarrollo ETL.

Responsibilities

• Revisar y validar código generado por sistemas multiagentes e IA.
• Analizar código para rendimiento, calidad y mantenibilidad.
• Diseñar y ejecutar pruebas de paridad y reconciliación entre Legacy y Databricks.
• Gestionar seguridad y vulnerabilidades detectadas por herramientas SAST.
• Administrar flujos Git y Pull Requests.
• Resolver incidencias durante QA/UAT/despliegue.
• Monitorear pipelines en hipercare post-implementación.
• Escalar situaciones que requieran análisis arquitectónico.

Skills

Python

SQL

Data Engineering

Code Review

Git

CI/CD

Tools

PySpark

Apache Spark

Delta Lake

Databricks

Azure DevOps

YAML

Pytest

SQL Server Agent

Job description

Data Engineer / Developer | Migración de Procesos ETL a Databricks

¿Te apasiona la ingeniería de datos, la optimización de procesos ETL y la calidad del código en ambientes productivos? Buscamos un/a Data Engineer / Developer con sólida experiencia en Python, SQL y Apache Spark para participar en un desafiante proyecto de migración técnologica hacia Databricks.

Tendrás un rol clave asegurando que los desarrollos cumplan con altos estándares de calidad, rendimiento y seguridad, validando soluciones generadas mediante herramientas asistidas por IA y garantizando la correcta transición de procesos críticos de negocio.

Principales Responsabilidades

• Revisar y validar código generado por sistemas multiagentes e inteligencia artificial.
• Analizar bundles de código identificando riesgos de rendimiento, calidad y mantenibilidad.
• Diseñar y ejecutar pruebas de paridad y reconciliación de datos entre plataformas legacy y Databricks.
• Detectar y corregir problemas asociados a Spark como data skew, shuffles excesivos o tipificación incorrecta.
• Gestionar hallazgos de seguridad, vulnerabilidades y observaciones detectadas por herramientas SAST.
• Administrar ciclos de desarrollo mediante Git Flow y Pull Requests.
• Resolver incidencias levantadas durante QA, UAT y etapas de despliegue.
• Monitorear y estabilizar pipelines durante periódos de hipercare post-implementación.
• Escalar oportunamente situaciónes que requieran definición arquitectónica o análisis especializado.

Requisitos Excluyentes

• Formación profesional en Ingeniería Informática, Ingeniería Civil Informática, Ingeniería en Ejecución Informática o carrera afín.
• Experiencia en ingeniería de datos o desarrollo ETL.
• Experiencia trabajando con Python y SQL en ambientes productivos.
• Experiencia práctica utilizando Apache Spark y/o PySpark.
• Experiencia realizando revisión de código (Code Review) como parte habitual del trabajo.
• Manejo de Git y flujos de Pull Request.
• Experiencia en análisis, validación y depuración de procesos de datos en ambientes productivos.

Conocimientos Técnicos

• Python
• PySpark
• SQL / T-SQL
• Apache Spark
• Delta Lake
• ETL
• Git
• Pull Requests
• Code Review
• YAML
• Pytest
• SQL Server Agent
• CI/CD

Deseables

• Experiencia con Databricks y Databricks Asset Bundles.
• Conocimientos de Azure DevOps.
• Experiencia con seguridad de código y herramientas SAST.
• Conocimientos de SSIS o Alteryx.
• Git avanzado.
• Experiencia en automatización y validación de procesos de datos.

Buscamos Personas Que

• Posean criterio técnico y capacidad de análisis.
• Se sientan cómodas revisando y validando código desarrollado por terceros.
• Tengan foco en calidad, estabilidad y buenas prácticas.
• Sepan identificar cuándo resolver de manera autónoma y cuándo escalar situaciónes complejas.
• Se adapten a entornos de trabajo apoyados por herramientas de IA y automatización.