Senior Data Engineer ( AWS & Data Bricks)

INFORMÁTICA DELTA SAC; Lima Metropolitana; Presencial; PEN 60.000 - 120.000; Jornada completa

Descripción de la vacante

INFORMÁTICA DELTA SAC busca un profesional de datos para diseñar e implementar soluciones en la nube con AWS y Databricks. Se trabajará con ingestión, replicación y procesamiento de datos, aprovechando PySpark en EMR/Glue y flujos ETL/ELT orquestados por Airflow o Step Functions.

Se trabajará con arquitecturas backend de Databricks sobre AWS, Databricks Jobs y Unity Catalog para gestionar datos y componentes externos, con pipelines serverless usando Lambda, SQS y EventBridge para procesamiento

Formación

• Experiencia demostrable en AWS y Databricks.
• Conocimientos de DMS, PySpark y EMR/Glue.
• Capacidad para orquestar ETL/ELT con Airflow o Step Functions.

Responsabilidades

• Ingesta y replicación de datos con AWS DMS (CDC y batch).
• Procesamiento PySpark en EMR/Glue para rendimiento y costos.
• Orquestación de ETL/ELT con Airflow o Step Functions.
• Flujos de datos serverless con Lambda, SQS y EventBridge en tiempo real y batch.
• Gestión de arquitectura backend de Databricks sobre AWS.
• Manipulación de procesos de datos con Databricks (Jobs, Unity Catalog, External Components).

Conocimientos

Databricks on AWS

AWS experience

Herramientas

Databricks

Airflow

Step Functions

Lambda

EMR/Glue

Descripción del empleo

• Ingesta y replicación de datos con AWS DMS (CDC y batch) desde fuentes on-premise y cloud.
• Procesamiento distribuido con PySpark en EMR/Glue, optimizando rendimiento y costos.
• Orquestación de ETL/ELT con Airflow o Step Functions.
• Flujos de datos serverless con Lambda, SQS y EventBridge en casi tiempo real y batch.
• Gestión de arquitectura backend de Databricks sobre AWS
• Manipulación de procesos de datos con Databricks (Jobs, Unity Catalog, External Components)

Conocimientos y Certificaciones Indispensables:

• Databricks sobre AWS
• Experiencia en AWS / Databricks

Conocimientos y Certificaciones Deseables:

• Trabajo con equipos multidisciplinarios
• Pensamiento analitico con enfoque a resolucion de problemas