Data Engineer - GCP | SR (Hybrid/SP)

Compass UOL; Botucatu; Presencial; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

Compass UOL busca um profissional sênior em dados para construir e manter pipelines escaláveis, assegurando ingestão, transformação e disponibilização de dados com alta qualidade. Você irá estruturar bases de dados, gerenciar DE/PARA e conectar fontes via APIs, migrando dados para BigQuery/Microsoft Fabric.

O papel envolve modelagem de dados avançada, uso de Data Lake/Lakehouse e participação no desenho de modelos de IA para gerar insights estratégicos.

Qualificações

• Experiência avançada em GCP (BigQuery).
• Experiência com Apache Spark e Airflow.
• Conhecimento de Kafka e DBT.
• Conhecimento de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra).
• Experiência com plataformas cloud (Databricks, AWS Glue, BigQuery).
• Experiência com implementação de arquiteturas de Data Lake/Data Lakehouse.
• Desejável conhecimento em estruturasção de modelos de IA.

Responsabilidades

• Construir e manter pipelines de dados escaláveis e confiáveis, com ingestão, transformação e disponibilização de dados de alta qualidade e performance.
• Organizar bases de dados e modelagem de dados.
• Gestão de Tabelas de Equivalência (DE/PARA).
• Conexão direta com fontes via APIs.
• Migração para BigQuery ou Microsoft Fabric.
• Estruturar modelos de IA para geração de insights a partir dos dados centralizados.

Conhecimentos

GCP BigQuery

Apache Spark

Airflow

Kafka

DBT

SQL/NoSQL databases

Databricks

AWS Glue

Data Lake / Lakehouse architecture

AI modeling basics

Ferramentas

PostgreSQL

MongoDB

Cassandra

Descrição da oferta de emprego

Job description

.

Main responsibilities

• Construir e manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
• Organização e Estrutura das Bases de Dados e Modelagem de Dados;
• Gestão de Tabelas de Equivalência (DE/PARA);
• Conexão Direta com Fontes (APIs);
• Migração Estratégica para BigQuery (BQ) ou Microsoft Fabric;
• Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados;

Requirements and skills

• Experiência e conhecimento avançado em GCP (BigQuery);
• Experiência com Apache Spark;
• Experiência com Airflow;
• Conhecimento em Kafka;
• Conhecimento em DBT;
• Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);
• Experiência com plataformas cloud (Databricks, AWS Glue, BigQuery);
• Experiência com implementação de arquiteturas de Data Lake e Data Lakehouse;
• Desejável conhecimento na estruturação de modelos de IA;