AI Solution Developer - Curadoria

Capgemini; Recife; Hybrid; BRL 60,000 - 90,000; Full time

Benefits offered by this job

Plano de carreira

Universidade corporativa

Certificações com parceiros

Benefícios de idiomas

Job summary

A Capgemini Brasil procura um AI Solution Developer - Curadoria Júnior para atuar no ecossistema de IA. O desafio envolve desenvolver ferramentas em Python, APIs e pipelines de avaliação para modelos de IA, além de monitorar LLMs e agentes em produção.

Você trabalhará com equipes de Prompt Engineering e AI Engineering, contribuindo para padrões de qualidade, testes automatizados e melhoria contínua de soluções de IA.

Qualifications

• Conhecimento em Python e desenvolvimento de software.
• Noções de APIs REST e manipulação de JSON.
• Conhecimento básico em ambiente Linux.
• Interesse por IA, IA Generativa e qualidade de software.
• Experiência com avaliação de LLMs é diferencial.

Responsibilities

• Desenvolver em Python ferramentas, APIs, pipelines e automações para avaliação de modelos e IA.
• Construir pipelines de avaliação automatizada para LLMs, RAG e AI Agents.
• Criar datasets, benchmarks e conjuntos de testes para avaliação de soluções IA.
• Desenvolver mecanismos para avaliar qualidade, precisão e aderência às instruções.
• Implementar métricas de avaliação para diferentes casos de uso.
• Desenvolver avaliações com LLM-as-a-Judge, regras determinísticas e métricas semânticas.
• Implementar regression testing para detecção de degradação de qualidade.
• Desenvolver APIs e serviços em Python para disponibilização dos mecanismos de curadoria.
• Monitorar comportamento de LLMs e agentes em produção.

Skills

Python

APIs REST

Pipelines

LLMs

RAG

AI Agents

Regression testing

Git/GitHub

Linux basics

SQL basics

Tools

Ragas

DeepEval

LangSmith

Langfuse

Arize Phoenix

Job description

Nossa Oportunidade: Você é apaixonado(a) por tecnologia, inovação e quer fazer parte de um ambiente inclusivo, colaborativo e em constante evolução? Então essa oportunidade é para você!Na Capgemini, valorizamos o equilíbrio entre vida pessoal e profissional. Por isso, oferecemos modelos de trabalho flexível, híbrido, de acordo com as necessidades do projeto. Nosso objetivo é proporcionar a melhor experiência para você, respeitando seu estilo de vida e promovendo bem-estar.Estamos em busca de um(a) AI Solution Developer - Curadoria Júnior , para compor nosso time.Responsabilidades:Desenvolver em Python ferramentas, APIs, pipelines e automações para avaliação de modelos e aplicações de IA.Construir pipelines de avaliação automatizada para LLMs, RAG e AI Agents.Criar datasets, benchmarks e conjuntos de testes para avaliação de soluções baseadas em IA.Desenvolver mecanismos automatizados para avaliar qualidade, precisão, relevância, consistência e aderência às instruções .Implementar métricas e critérios de avaliação para diferentes casos de uso.Desenvolver avaliações utilizando LLM-as-a-Judge, regras determinísticas, métricas semânticas e avaliações híbridas .Implementar regression testing para identificar degradação de qualidade após alterações em modelos, prompts ou aplicações.Desenvolver APIs e serviços em Python para disponibilização dos mecanismos de curadoria.Monitorar o comportamento de LLMs e agentes em produção.Identificar e investigar alucinações, vieses, inconsistências, respostas inadequadas, falhas de instrução e comportamentos inesperados .Desenvolver mecanismos para avaliação de AI Agents , incluindo qualidade das decisões, seleção de ferramentas, execução de workflows e resultados gerados.Criar métricas e mecanismos de monitoramento para acompanhamento contínuo da qualidade.Desenvolver processos para versionamento de datasets, avaliações, prompts e configurações .Trabalhar com times de Prompt Engineering e AI Engineering na identificação e correção de problemas de qualidade.Apoiar a definição de critérios de aceitação e quality gates para soluções de IA.Automatizar processos de curadoria, testes e validação utilizando Python.Realizar análise dos resultados dos experimentos e investigar causas de degradação de qualidade.Desenvolver soluções para avaliação contínua de aplicações de LLM, RAG e agentes .Contribuir para definição de padrões e boas práticas de AI Quality, Evaluation e Responsible AI .Documentar metodologias, métricas, datasets, experimentos e resultados.Requisitos Técnicos:Conhecimento em Python.Lógica de programação e desenvolvimento de software.Conhecimento básico de APIs REST e manipulação de JSON.Conhecimento em Git/GitHub.Noções de banco de dados SQL.Interesse por Inteligência Artificial e IA Generativa.Familiaridade com conceitos de testes, automação e qualidade de software.Conhecimento básico em ambiente Linux.DiferenciaisExperiência prática com Python aplicado a AI/ML/GenAI.Experiência com avaliação de LLMs e aplicações de Generative AI.Experiência desenvolvendo ferramentas, APIs ou pipelines de avaliação automatizada em Python.Experiência com AI Agents e avaliação de agentes.Conhecimento de frameworks como Ragas, DeepEval, LangSmith, Langfuse, Arize Phoenix ou similares.Experiência com LLM-as-a-Judge.Experiência com criação e gerenciamento de datasets para avaliação.Conhecimento de NLP, Machine Learning ou Data Science.Experiência com observabilidade de aplicações de LLM.Conhecimento de Prompt Injection, Jailbreaks e Adversarial Testing.Experiência com Kubernetes, Docker e CI/CD.Experiência com ambientes cloud.Conhecimento de práticas de MLOps/LLMOps.Desenvolvimento e BenefíciosAqui, você é protagonista da sua carreira! Oferecemos:Plano de carreira estruturado e trilhas personalizadas de aprendizado.Universidade Corporativa, com acesso a Harvard, Pluralsight.Certificações oficiais com parceiros como SAP, AWS, Microsoft, Salesforce.Idiomas com EF Education First (Inglês, Espanhol, Francês e Alemão).Bem-estar completo:Assistência médica e odontológica.TotalPass e Equilibrium (saúde física e mental).Previdência privada e seguro de vida.Programa Family Care: licenças maternidade e paternidade estendidas, apoio à fertilidade, orientação personalizada em saúde e bem-estar.Vale-refeição, clube de benefícios e muito mais!Diversidade, Inclusão e Pertencimento:Na Capgemini, você pode ser quem você é. Valorizamos a diversidade em todas as suas formas e promovemos um ambiente inclusivo por meio de comitês como:Women@Capgemini – Empoderamento feminino e equidade de gênero.Capgemini Black – Representatividade e valorização da cultura negra.LGBTQIA+@Capgemini, Capgemini Accessibility, entre outros.Nosso compromisso é contínuo: somos reconhecidos pela GPTW, Bloomberg Gender Equality Index, EDGE e Ethisphere como uma das empresas mais éticas e inclusivas do mundo. Nossas vagas são para todas as pessoas, independentemente de cor, etnia, religião, idade, identidade de gênero, orientação sexual ou deficiência.Make It RealNa Capgemini, liberamos a energia humana por meio da tecnologia para construir um futuro mais inclusivo, sustentável e inovador. Se você compartilha desses valores, venha transformar o mundo com a gente!