Data Engineer GCP

BCTecnologia; Santiago; On-site; CLP 60,000,000 - 90,000,000; Full time

Job summary

BC Tecnología busca un Ingeniero/a de Datos (Data Engineer GCP) para diseñar, construir y optimizar arquitecturas de datos y flujos de integración sobre Google Cloud Platform. El rol requiere experiencia en ETL/ELT, modelos de datos para Data Warehouse y Data Lake, y manejo de BigQuery.

Se valorará experiencia en Data Governance, Data Observability y orquestación con Cloud Composer (Airflow). El candidato trabajará con equipos interdisciplinarios para habilitar analítica avanzada y gobernanza de

Qualifications

• Experiencia en ingeniería de datos y desarrollo de soluciones sobre Google Cloud Platform (GCP).
• Dominio de BigQuery, incluyendo diseño, construcción, optimización y consultas sobre arquitecturas MPP (Massively Parallel Processing).
• Experiencia con Google Cloud Pub/Sub y Dataflow, para procesamiento de eventos y flujos de datos en tiempo real.
• Experiencia en diseño, construcción y mantenimiento de pipelines ETL/ELT.
• Conocimientos en diseño y optimización de modelos de datos para Data Warehouse y Data Lake.
• Dominio avanzado de Python y SQL, incluyendo desarrollo de scripts complejos y optimización de consultas.
• Conocimientos de procesamiento distribuido de datos mediante herramientas como Apache Spark.
• Experiencia utilizando Terraform para la implementación y administración de infraestructura como código (IaC) en GCP.
• Experiencia en orquestación de procesos y workflows mediante Cloud Composer (Apache Airflow).
• Manejo avanzado de Git y GitHub, aplicando buenas prácticas de control de versiones.
• Conocimientos y experiencia en metodologías CI/CD para automatización e implementación de soluciones de datos.
• Conocimientos de gobernanza, calidad, seguridad, trazabilidad y linaje de datos.
• Experiencia en monitoreo, observabilidad y gestión de alertas de procesos de datos.

Responsibilities

• Diseñar, desarrollar e implementar integraciones de datos para la construcción y administración de un Data Lake en Google Cloud Platform.
• Gestionar y procesar grandes volúmenes de datos mediante BigQuery, asegurando disponibilidad, rendimiento y eficiencia en las consultas.
• Desarrollar y administrar flujos de procesamiento de eventos en tiempo real y near real time utilizando Pub/Sub y Dataflow.
• Diseñar, desarrollar y optimizar procesos de ingesta, transformación y carga de datos mediante técnicas ETL/ELT.
• Implementar y optimizar modelos de datos en entornos Data Warehouse, facilitando las consultas y el autoservicio de analítica.
• Colaborar con equipos de Data Governance en la definición de catálogos de datos, linaje de información, trazabilidad y cumplimiento de estándares de seguridad.
• Automatizar el monitoreo y la generación de alertas de pipelines de datos mediante prácticas de Data Observability.
• Identificar oportunamente errores y fallos en los procesos de integración, asegurando la continuidad operacional.
• Implementar soluciones de procesamiento distribuido de datos.
• Participar en la automatización, orquestación y despliegue de soluciones de ingeniería de datos en Google Cloud.

Skills

Python

SQL

Data modeling

Data governance

Tools

BigQuery

Pub/Sub

Dataflow

Terraform

Airflow

Git

CI/CD

Spark

Job description

Ingeniero/a de Datos GCP – Data Engineer Google Cloud

En BC Tecnología buscamos un/a Ingeniero/a de Datos (Data Engineer GCP) para integrarse a un importante proyecto tecnológico, participando en el diseño, construcción y optimización de arquitecturas de datos y procesos de integración sobre Google Cloud Platform (GCP).

Objetivo del cargo

Diseñar, construir y optimizar arquitecturas de datos y flujos de integración (ETL/ELT) sobre el ecosistema de Google Cloud Platform, implementando soluciones escalables de ingeniería y modelos de datos eficientes que garanticen la disponibilidad, calidad y gobernanza de la información.

El objetivo es facilitar la toma de decisiones estratégicas y el desarrollo de soluciones de analítica avanzada dentro de la organización.

Principales funciones y responsabilidades

• Diseñar, desarrollar e implementar integraciones de datos para la construcción y administración de un Data Lake en Google Cloud Platform.
• Gestionar y procesar grandes volúmenes de datos mediante BigQuery, asegurando disponibilidad, rendimiento y eficiencia en las consultas.
• Desarrollar y administrar flujos de procesamiento de eventos en tiempo real y near real time utilizando Pub/Sub y Dataflow.
• Diseñar, desarrollar y optimizar procesos de ingesta, transformación y carga de datos mediante técnicas ETL/ELT.
• Implementar y optimizar modelos de datos en entornos Data Warehouse, facilitando las consultas y el autoservicio de analítica.
• Colaborar con equipos de Data Governance en la definición de catálogos de datos, linaje de información, trazabilidad y cumplimiento de estándares de seguridad.
• Automatizar el monitoreo y la generación de alertas de pipelines de datos mediante prácticas de Data Observability.
• Identificar oportunamente errores y fallos en los procesos de integración, asegurando la continuidad operacional.
• Implementar soluciones de procesamiento distribuido de datos.
• Participar en la automatización, orquestación y despliegue de soluciones de ingeniería de datos en Google Cloud.

Requisitos y conocimientos técnicos

• Experiencia en ingeniería de datos y desarrollo de soluciones sobre Google Cloud Platform (GCP).
• Dominio de BigQuery, incluyendo diseño, construcción, optimización y consultas sobre arquitecturas MPP (Massively Parallel Processing).
• Experiencia con Google Cloud Pub/Sub y Dataflow, para procesamiento de eventos y flujos de datos en tiempo real.
• Experiencia en diseño, construcción y mantenimiento de pipelines ETL/ELT.
• Conocimientos en diseño y optimización de modelos de datos para Data Warehouse y Data Lake.
• Dominio avanzado de Python y SQL, incluyendo desarrollo de scripts complejos y optimización de consultas.
• Conocimientos de procesamiento distribuido de datos mediante herramientas como Apache Spark.
• Experiencia utilizando Terraform para la implementación y administración de infraestructura como código (IaC) en GCP.
• Experiencia en orquestación de procesos y workflows mediante Cloud Composer (Apache Airflow).
• Manejo avanzado de Git y GitHub, aplicando buenas prácticas de control de versiones.
• Conocimientos y experiencia en metodologías CI/CD para automatización e implementación de soluciones de datos.
• Conocimientos de gobernanza, calidad, seguridad, trazabilidad y linaje de datos.
• Experiencia en monitoreo, observabilidad y gestión de alertas de procesos de datos.

Tecnologías principales

• Cloud: Google Cloud Platform (GCP).
• Procesamiento y almacenamiento: BigQuery, Data Lake, Data Warehouse, Apache Spark.
• Procesamiento en tiempo real: Pub/Sub, Dataflow.
• Integración de datos: ETL/ELT.
• Programación: Python avanzado, SQL avanzado.
• Orquestación: Cloud Composer, Apache Airflow.
• Infraestructura como código: Terraform.
• Control de versiones y despliegues: Git, GitHub, CI/CD.
• Gobernanza y monitoreo: Data Governance, Data Lineage, Data Observability.