Engenheiro de Dados e Plataforma de Agentes Sênior (GCP)

Leega Consultoria; Brasil; Remote; BRL 180,000 - 280,000; Full time

Benefits offered by this job

Convênio médico Porto Seguro

PLR (Participação nos Lucros)

Auxílio Creche

Vale Alimentação/Refeição Alelo

Auxílio Home Office

Certificações em Cloud

Job summary

A Leega Consultoria está buscando um engenheiro de dados experiente em infraestrutura e dados no GCP para desenhar, construir e manter pipelines de ingestão, transformação e qualidade de dados, com foco em LGPD e governança.

Você trabalhará com BigQuery, Dataflow, Dataproc, Vertex AI e ferramentas de MLOps, contribuindo para soluções escaláveis, seguras e conformes, aplicando FinOps e boas práticas de segurança.

Qualifications

• Domínio de Python e SQL.
• Experiência sólida em engenharia de dados no GCP: BigQuery, Cloud Storage, Dataflow/Dataproc e Pub/Sub.
• Experiência com orquestração de pipelines (Cloud Composer/Airflow).
• Governança e segurança de dados no GCP: Cloud IAM, Dataplex, policy tags e Cloud KMS.
• Terraform e CI/CD (Cloud Build, GitHub Actions ou similares).
• Experiência prática em ambientes GCP com múltiplos projetos, organização e folders.
• Vivência com sistemas distribuídos e orientados a eventos (filas, retries, idempotência e consistência).
• Experiência preparando dados para ao menos uma aplicação com LLM em produção (RAG ou agentes com uso de ferramentas).
• Conhecimento de LGPD aplicada a dados sensíveis, incluindo técnicas de anonimização e mascaramento.

Responsibilities

• Construir e manter pipelines de ingestão e transformação de dados em batch e streaming.
• Modelar e organizar o Data Lake/Lakehouse em BigQuery e BigLake com camadas, particionamento e otimização de custo e performance.
• Definir contratos de dados (schemas, freshness e SLAs) e monitorar a qualidade e a linhagem das fontes.
• Preparar dados para IA: limpeza, anonimização, chunking e geração de embeddings para Vertex AI RAG Engine, Vertex AI Search e vector stores.
• Garantir conformidade com a LGPD no tratamento de dados sensíveis de saúde, aplicando mascaramento, anonymização (Sensitive Data Protection), policy tags e residência de dados.
• Desenhar acesso a dados entre projetos (Cloud IAM, Dataplex, BigLake, Analytics Hub) evitando cópias, com menor privilégio e trilha de auditoria.
• Disponibilizar dados e sistemas internos como ferramentas para agentes via servidores MCP e MCP Toolbox, apoiando o time de IA na integração com Vertex AI Agent Engine e Agent Development Kit (ADK).
• Manter pipelines de MLOps/LLMOps com Vertex AI Pipelines, incluindo avaliação, guardrails (Model Armor) e monitoramento de drift e qualidade das respostas.
• Provisionar a infraestrutura de dados e IA como código com Terraform e CI/CD, e acompanhar custos por área, projeto e modelo (FinOps) com billing export para BigQuery e labels.
• Implementar observabilidade ponta a ponta (OpenTelemetry, Cloud Logging, Cloud Monitoring, Cloud Trace) e apoiar estratégias de resiliência e disaster recovery.

Skills

Python

SQL

BigQuery

Cloud Storage

Dataflow

Dataproc

Pub/Sub

Cloud Composer/Airflow

LGPD governance

Terraform

CI/CD

multi-project GCP

Tools

Vertex AI

BigLake

KMS

Dataplex

Cloud Build

GitHub Actions

Job description

Job description

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: éticae transparência, excelência dequalidade, trabalho em equipe, responsabilidadeeconômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS

Cadastre-se agora mesmo em nossas vagas!

Main responsibilities

• Construir e manter pipelines de ingestão, transformação e qualidade de dados em batch e streaming com BigQuery, Dataflow, Dataproc, Pub/Sub e Cloud Storage.
• Modelar e organizar o Data Lake/Lakehouse em BigQuery e BigLake, com camadas, particionamento e otimização de custo e performance.
• Definir contratos de dados (schemas, freshness e SLAs) e monitorar a qualidade e a linhagem das fontes.
• Preparar dados para IA: limpeza, anonimização, chunking e geração de embeddings para Vertex AI RAG Engine, Vertex AI Search e vector stores.
• Garantir conformidade com a LGPD no tratamento de dados sensíveis de saúde, aplicando mascaramento, anonimização (Sensitive Data Protection), policy tags e residência de dados antes que esses dados cheguem aos ambientes de IA.
• Desenhar acesso a dados entre projetos (Cloud IAM, Dataplex, BigLake, Analytics Hub) evitando cópias, com menor privilégio e trilha de auditoria.
• Disponibilizar dados e sistemas internos como ferramentas para agentes via servidores MCP e MCP Toolbox, apoiando o time de IA na integração com Vertex AI Agent Engine e Agent Development Kit (ADK).
• Manter pipelines de MLOps/LLMOps com Vertex AI Pipelines, incluindo avaliação, guardrails (Model Armor) e monitoramento de drift e qualidade das respostas.
• Provisionar a infraestrutura de dados e IA como código com Terraform e CI/CD, e acompanhar custos por área, projeto e modelo (FinOps) com billing export para BigQuery e labels.
• Implementar observabilidade ponta a ponta (OpenTelemetry, Cloud Logging, Cloud Monitoring, Cloud Trace) e apoiar estratégias de resiliência e disaster recovery.

Requisitos obrigatórios

• Domínio de Python e SQL.
• Experiência sólida em engenharia de dados no GCP: BigQuery, Cloud Storage, Dataflow ou Dataproc e Pub/Sub.
• Experiência com orquestração de pipelines (Cloud Composer/Airflow, Cloud Workflows ou similares).
• Conhecimento em governança e segurança de dados no GCP: Cloud IAM, Dataplex, policy tags e Cloud KMS.
• Terraform e CI/CD (Cloud Build, GitHub Actions ou similares).
• Experiência prática em ambientes GCP com múltiplos projetos, organização e folders.
• Vivência com sistemas distribuídos e orientados a eventos (filas, retries, idempotência e consistência).
• Experiência preparando dados para ao menos uma aplicação com LLM em produção (RAG ou agentes com uso de ferramentas).
• Conhecimento de LGPD aplicada a dados sensíveis, incluindo técnicas de anonimização e mascaramento.

Diferenciais

• Vertex AI (RAG Engine, Vertex AI Search, Agent Engine, Pipelines), Gemini e Model Armor.
• Frameworks de agentes (ADK, LangChain, LangGraph, CrewAI) e desenvolvimento de servidores MCP.
• Vector stores (Vertex AI Vector Search, AlloyDB com pgvector, BigQuery Vector Search); GraphRAG é um plus.
• Experiência no setor de saúde ou com padrões de dados clínicos (HL7, FHIR, Cloud Healthcare API).
• Data Mesh, arquitetura hub-and-spoke e FinOps no GCP.
• Certificação Google Cloud Professional Data Engineer, Professional Machine Learning Engineer ou FinOps Certified Practitioner.

Competências comportamentais

• Comunicação clara com cientistas de dados, times de IA, áreas de negócio e parceiros externos.
• Disciplina de segurança e ética no tratamento de dados sensíveis de pacientes, especialmente quando consumidos por agentes autônomos.
• Capacidade de explicitar trade-offs técnicos (cópia de dados vs. acesso entre projetos, batch vs. streaming, custo vs. latência).
• Hábito de documentar e atribuir ownership de pipelines, fontes de dados e ferramentas entre os times.

Vaga Remota

Additional information

Na nossa empresa, você encontrará um ambiente colaborativo e um pacote de benefícios que visa o seu crescimento, saúde e qualidade de vida. Confira abaixo os benefícios que oferecemos:

Convênio Médico Porto Seguro

Cuidado completo para você e sua família, com possibilidade de incluir cônjuge e filhos.

Convênio Odontológico Porto Seguro

Proteção odontológica para você e seus dependentes.

Participação nos Lucros e Resultados (PLR)

Reconhecimento pelo seu trabalho e contribuição para o sucesso da empresa.

Auxílio Creche

Suporte financeiro para que pais e mães cuidem dos pequenos com tranquilidade.

Vale Alimentação e Refeição Alelo

Garantindo refeições práticas e confortáveis no seu dia a dia.

Auxílio Home Office

Incentivo para que você tenha um espaço de trabalho confortável em casa.

Parcerias com Instituições de Ensino

Educação ao seu alcance, com descontos e incentivos em cursos e graduações.

Incentivo para Certificações, inclusive em Cloud

Avance sua carreira com certificações nas principais tecnologias como: GCP, Azure, AWS entre outras.

Pontos Livelo

Acumule pontos e use como preferir, com total liberdade de escolha.

Total Pass

Incentivo à saúde com planos deacademiacom desconto para colaboradores e familiares.

Mindself

Incentivo à melhorar a qualidade de vida através de meditação e o Mindfulness.