Data Engineer - GCP | SR (Hybrid/SP)

Compass UOL; São Paulo; Presencial; BRL 201 000 - 357 000; Tempo integral

Resumo da oferta

Compass UOL procura profissional para atuar na construção e manutenção de pipelines de dados escaláveis, com foco em ingestão, transformação e disponibilização de dados de alta qualidade. A posição envolve organização de bases, modelagem de dados e gestão de tabelas (DE/PARA), com conectividade direta a fontes via APIs.

Além disso, há migração estratégica para BigQuery/Microsoft Fabric, estruturação de modelos de IA para gerar insights estratégicos e integração com plataformas de cloud como

Qualificações

• Experiência avançada em GCP (BigQuery).
• Experiência com Apache Spark.
• Experiência com Apache Airflow.
• Conhecimento em Kafka.
• Conhecimento em DBT.
• Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra).
• Experiência com plataformas cloud (Databricks, AWS Glue).
• Arquiteturas de Data Lake/Data Lakehouse.
• Desejável conhecimento em modelos de IA.

Responsabilidades

• Construir e manter pipelines de dados escaláveis e confiáveis.
• Organização e Estrutura das Bases de Dados e Modelagem de Dados.
• Gestão de Tabelas de Equivalência (DE/PARA).
• Conexão Direta com Fontes (APIs).
• Migração Estratégica para BigQuery (BQ) ou Microsoft Fabric.
• Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados.

Conhecimentos

GCP BigQuery

Apache Spark

Airflow

Kafka

DBT

SQL/NoSQL

Databricks

AWS Glue

Data Lake / Lakehouse

Modelos de IA

Descrição da oferta de emprego

• Construir e manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
• Organização e Estrutura das Bases de Dados e Modelagem de Dados;
• Gestão de Tabelas de Equivalência (DE/PARA);
• Conexão Direta com Fontes (APIs);
• Migração Estratégica para BigQuery (BQ) ou Microsoft Fabric;
• Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados;

Responsabilidades e atribuições

• Construir e manter pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance;
• Organização e Estrutura das Bases de Dados e Modelagem de Dados;
• Gestão de Tabelas de Equivalência (DE/PARA);
• Conexão Direta com Fontes (APIs);
• Migração Estratégica para BigQuery (BQ) ou Microsoft Fabric;
• Estruturar modelos de IA para geração de insights estratégicos após a centralização dos dados;

Requisitos e qualificações

• Experiência e conhecimento avançado em GCP (BigQuery);
• Experiência com Apache Spark;
• Experiência com Airflow;
• Conhecimento em Kafka;
• Conhecimento em DBT;
• Experiência com bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra);
• Experiência com plataformas cloud (Databricks, AWS Glue, BigQuery);
• Experiência com implementação de arquiteturas de Data Lake e Data Lakehouse;
• Desejável conhecimento na estruturação de modelos de IA;