GCP Data Engineer - ETL Pipelines & Lakehouse

Stefanini; Santiago; In loco; CLP 25.000.000 - 40.000.000; Tempo pieno

Descrizione del lavoro

Stefanini busca un experto en ingeniería de datos para diseñar, desarrollar y mantener pipelines ETL/ELT en Google Cloud Platform. Trabajarás con BigQuery, Dataflow/Dataproc y Pub/Sub, implementando Airflow/Cloud Composer para orquestación y contribuyendo a Data Lake/Warehouse.

Deberás dominar Python y SQL avanzado, Spark/PySpark y promover buenas prácticas de CI/CD e Infraestructura como Código para garantizar calidad, trazabilidad y rendimiento de datos.

Competenze

• Diseño, desarrollo y mantenimiento de pipelines ETL/ELT (batch y event-driven).
• Implementación de soluciones en Google Cloud Platform (GCP).
• Desarrollo con Python, SQL y Spark/PySpark.
• Trabajo con BigQuery, Cloud Storage, Dataflow/Dataproc y Pub/Sub.
• Implementación y mantenimiento de Airflow/Cloud Composer para orquestación.
• Contribución a Data Lake/Warehouse/Lakehouse y modelado de datos.
• Automatización de procesos y despliegues con CI/CD e Infraestructura como Código (Terraform).
• Asegurar calidad, integridad, trazabilidad y disponibilidad de datos.

Mansioni

• Diseñar, desarrollar y mantener pipelines de datos ETL/ELT, tanto batch como event-driven.
• Implementar soluciones de procesamiento y almacenamiento sobre Google Cloud Platform.
• Desarrollar procesos utilizando Python, SQL y Spark/PySpark.
• Trabajar con servicios como BigQuery, Cloud Storage, Dataflow, Dataproc y Pub/Sub.
• Implementar y mantener procesos de orquestación mediante Airflow/Cloud Composer.
• Participar en la construcción y evolución de arquitecturas Data Lake, Data Warehouse y/o Lakehouse.

Conoscenze

GCP

BigQuery

Cloud Storage

Dataflow

Pub/Sub

Python

SQL avanzado

Spark PySpark

Airflow

Cloud Composer

ETL/ELT pipelines

Strumenti

Terraform

Git

Hadoop

Kafka

Vertex AI

Descrizione del lavoro

Stefanini busca un experto en ingeniería de datos para diseñar, desarrollar y mantener pipelines ETL/ELT en Google Cloud Platform. Trabajarás con BigQuery, Dataflow/Dataproc y Pub/Sub, implementando Airflow/Cloud Composer para orquestación y contribuyendo a Data Lake/Warehouse.

Deberás dominar Python y SQL avanzado, Spark/PySpark y promover buenas prácticas de CI/CD e Infraestructura como Código para garantizar calidad, trazabilidad y rendimiento de datos.