Senior Data Engineer (GCP)

CESAR - Centro de Estudios e Sistemas Avançados do Recife; Brasil; Remote; BRL 180,000 - 280,000; Full time

Benefits offered by this job

Plano de saúde e odontológico

Vale Refeição/Alimentação

Horário flexível

Treinamento e desenvolvimento

Diversidade & Inclusão

DayOff no mês do aniversário

Gympass

Job summary

CESAR - Centro de Estudos e Sistemas Avançados do Recife busca um Senior Data Engineer (GCP) para liderar a arquitetura de dados da nova plataforma de telemetria e observabilidade, transformando dados de manufatura, reparo e software em produtos confiáveis.

Você estabelecerá princípios, padrões e melhores práticas, apoiando análises, IA e aprendizado de máquina, atuando desde concepção até operação com foco em desempenho, segurança e custo.

Qualifications

• Engenharia de dados com visão ponta a ponta, do conceito à operação.
• Proficiência em três ou mais das linguagens: Java, Python, Spark, SQL ou Scala.
• Experiência com Google Cloud Platform (BigQuery), Airflow e bancos relacionais.
• Conhecimento em Kafka, Pub/Sub, microserviços e APIs REST.

Responsibilities

• Liderar a estratégia de arquitetura de dados da nova plataforma, estabelecendo diretrizes de catálogo, linhagem e observabilidade.
• Desenvolver produtos analíticos e pipelines com Airflow, DataProc, PySpark e BigQuery no GCP, com ingestão em streaming e batch.
• Realizar profiling de dados, definir métricas de qualidade, documentar fluxos e manter dicionários de dados.
• Construir pipelines para monitorar a qualidade dos dados e desempenho de modelos analíticos e IA/ML.
• Monitorar pipelines em produção, garantindo SLAs e otimizando infraestruturas.
• Conduzir PoCs, traduzir casos de uso em requisitos técnicos e orientar equipes no uso de ferramentas GCP.

Skills

Java

Python

Spark

SQL

Scala

Education

Mestrado ou pós-graduação em Ciência da Computação

Tools

Airflow

BigQuery

Terraform

Docker

Job description

Somos um centro de inovação e de educação que há quase 30 anos forma pessoas e impulsiona organizações, potencializando suas estratégias digitais. Resolvemos problemas complexos e desafiadores em um ambiente de trabalho descontraído, descentralizado e repleto de benefícios para nossos colaboradores, que atuam como protagonistas, interagindo diretamente com clientes de escala global.

Como Senior Data Engineer (GCP), sua missão será liderar a estratégia de arquitetura de dados e construir soluções escaláveis para uma nova Plataforma de Telemetria e Observabilidade. Você será responsável por transformar dados complexos de manufatura, reparo e atualização de software em produtos confiáveis e úteis.

Buscamos um profissional com forte visão arquitetural para estabelecer princípios, padrões e melhores práticas (catálogo, linhagem, segurança e interoperabilidade) para a plataforma. Você atuará de ponta a ponta, desde a concepção até a operação, garantindo o suporte a análises, IA e aprendizado de máquina. Topa? Vamos nessa!

Como será o seu dia a dia (Responsabilidades)

• Estratégia e Arquitetura: Liderar a estratégia de arquitetura de dados da nova plataforma, estabelecendo diretrizes de catálogo, linhagem e observabilidade. Projetar, desenvolver e gerenciar modelos de dados (conceituais, lógicos e físicos) para a Fábrica de Software.
• Desenvolvimento de Produtos de Dados: Desenvolver produtos analíticos e pipelines escaláveis utilizando Airflow, DataProc, PySpark e BigQuery no GCP, aplicando padrões de ingestão em streaming e batch.
• Qualidade e Governança: Realizar o profiling de dados, definir métricas de qualidade, documentar fluxos (mapeamento e linhagem) e manter dicionários de dados. Viabilizar a descoberta e integração (onboarding) de fontes diversas.
• Suporte a IA e Monitoramento: Construir pipelines para monitorar a qualidade dos dados e o desempenho de modelos analíticos, soluções de IA/ML e soluções baseadas em agentes (agentic solutions).
• Operação e Otimização: Monitorar pipelines em produção garantindo os SLAs estabelecidos. Otimizar continuamente a infraestrutura e os produtos para obter o máximo desempenho, segurança, confiabilidade e redução de custos.
• Consultoria e Liderança Técnica: Realizar Provas de Conceito (PoCs), traduzir casos de uso em requisitos técnicos, defender soluções bem projetadas e guiar as equipes de produto no uso de ferramentas do GCP.

O que precisamos que você tenha (Requisitos Obrigatórios)

• Experiência Consolidada: Engenharia de Dados, desenvolvimento de produtos de dados e lançamento de softwares, com vivência de ponta a ponta (do conceito à operação).
• Linguagens de Programação: Proficiência em pelo menos três das seguintes linguagens: Java, Python, Spark, SQL ou Scala.
• Ecossistema Cloud (GCP) e Dados: Forte experiência com Google BigQuery, orquestração de workflows (Airflow/Astronomer) e bancos de dados relacionais (MySQL, PostgreSQL, SQL Server).
• Streaming e Arquitetura Distribuída: Domínio em plataformas de mensageria/streaming em tempo real (Apache Kafka, GCP Pub/Sub), arquitetura de microsserviços para processamento de dados em larga escala e consumo de APIs REST.
• Cultura DevOps: Experiência prática na construção de pipelines e infraestrutura como código utilizando Terraform, Docker, Git/GitHub, GitHub Actions e Tekton.
• Ferramentas Ágeis: Vivência com ferramentas de gestão como Jira.
• Idioma: Inglês Avançado para comunicação diária.

Será um diferencial se você tiver

• Certificações Profissionais ativas do Google Cloud Platform (GCP).
• Mestrado ou pós-graduação equivalente em Ciência da Computação, Engenharia de Software, Sistemas de Informação, Ciência/Engenharia de Dados ou áreas correlatas.

Aqui no CESAR, nós temos algumas práticas que proporcionam uma rotina mais positiva para a pessoa colaboradora:

• Horário flexível e estrutura horizontal;
• Programas de treinamento e desenvolvimento;
• Cultura voltada para a Diversidade & Inclusão, onde você pode ser livre pra ser quem é!
• Plano de saúde e odontológico;
• Vale Refeição / Alimentação;
• Auxílios diversos (Idiomas, Creche, Lentes de Contato);
• Descontos em cursos da CESAR School;
• DayOff no mês do aniversário;
• Gympass, Moodar e Cíngulo (Foco em saúde física e mental).