12447642 - CURADOR DE IA

DigAI; United States; À distance; USD 90 000 - 150 000; Plein temps

Résumé du poste

DigAI procura um profissional apaixonado por IA para atuar na garantia de qualidade, segurança e evolução de soluções baseadas em Inteligência Artificial Generativa. Você fará avaliação contínua de modelos de linguagem, desenvolvendo métricas, datasets de teste e cenários adversariais, alinhando entregas ao negócio e à experiência do usuário.

O papel envolve engenharia de prompts, validação de dados, testes de segurança e privacidade, além de trabalhar com equipes de Produto, Engenharia,

Qualifications

• Experiência prévia atuando como Engenheiro de IA ou em funções técnicas correlatas.
• Sólida experiência com modelos de linguagem (LLMs) e aplicação de Inteligência Artificial Generativa.
• Conhecimento prático em Engenharia de Prompts e técnicas de otimização de instruções.
• Vivência com avaliação de qualidade de modelos de IA e criação de datasets de testes e benchmark.
• Capacidade de compreender o funcionamento técnico de sistemas de IA para atuar em parceria com times de engenharia e desenvolvimento.

Responsabilités

• Avaliar e classificar a precisão, clareza, relevância e consistência das respostas geradas por modelos de Inteligência Artificial.
• Criar e padronizar métricas, rubricas de avaliação, conjuntos de dados de teste e cenários adversariais.
• Realizar a curadoria, organização e validação de dados e bases de conhecimento, garantindo a qualidade e integridade das informações.
• Projetar, testar e otimizar prompts (Engenharia de Prompts), reduzindo ambiguidades e comportamentos inconsistentes.
• Executar testes de segurança, privacidade e viés (como testes de prompt injection, jailbreak e suporte a red teaming).
• Monitorar o comportamento dos modelos em produção, analisando métricas de desempenho e feedback de usuários para propor melhorias contínuas.
• Manter a governança e documentação técnica atualizadas, registradas e rastreáveis.
• Atuar como referência técnica, orientando outros profissionais da equipe e colaborando com áreas de Produto, Engenharia, Negócios e Compliance.

Connaissances

Engenharia de IA

LLMs

Engenharia de Prompts

Avaliação de qualidade de IA

Análise de dados

Outils

Python

SQL

Description du poste

Estamos em busca de um profissional apaixonado por tecnologia e inovação para atuar na garantia da qualidade, segurança e evolução de soluções baseadas em Inteligência Artificial Generativa. Nesta oportunidade, você desempenhará um papel fundamental na avaliação contínua de modelos de linguagem, garantindo que as entregas sejam éticas, precisas, alinhadas às necessidades do negócio e com excelente experiência para o usuário final. Se você busca um ambiente dinâmico, colaborativo e com constante aprendizado, onde sua capacidade técnica e analítica farão a diferença na construção de produtos de alto impacto, esta oportunidade é para você!

Responsabilidades

• Avaliar e classificar a precisão, clareza, relevância e consistência das respostas geradas por modelos de Inteligência Artificial.
• Criar e padronizar métricas, rubricas de avaliação, conjuntos de dados de teste e cenários adversariais.
• Realizar a curadoria, organização e validação de dados e bases de conhecimento, garantindo a qualidade e integridade das informações.
• Projetar, testar e otimizar prompts (Engenharia de Prompts), reduzindo ambiguidades e comportamentos inconsistentes.
• Executar testes de segurança, privacidade e viés (como testes de prompt injection, jailbreak e suporte a red teaming).
• Monitorar o comportamento dos modelos em produção, analisando métricas de desempenho e feedback de usuários para propor melhorias contínuas.
• Manter a governança e documentação técnica atualizadas, registradas e rastreáveis.
• Atuar como referência técnica, orientando outros profissionais da equipe e colaborando com áreas de Produto, Engenharia, Negócios e Compliance.

Requisitos obrigatórios

• Experiência prévia atuando como Engenheiro de IA ou em funções técnicas correlatas.
• Sólida experiência com modelos de linguagem (LLMs) e aplicação de Inteligência Artificial Generativa.
• Conhecimento prático em Engenharia de Prompts e técnicas de otimização de instruções.
• Vivência com avaliação de qualidade de modelos de IA e criação de datasets de testes e benchmark.
• Capacidade de compreender o funcionamento técnico de sistemas de IA para atuar em parceria com times de engenharia e desenvolvimento.

Diferenciais

• Familiaridade com arquiteturas de RAG, Embeddings, Agentes e Bases de Conhecimento.
• Conhecimento prático ou noções de programação em Python e consultas em SQL.
• Experiência com ferramentas de anotação, observabilidade e métricas de qualidade para IA.
• Conhecimentos em técnicas de segurança para LLMs, além de noções de LGPD, privacidade e IA responsável.

O que esperamos

Buscamos um profissional com perfil analítico, visão crítica e excelente capacidade de comunicação para traduzir desafios subjetivos de qualidade em métricas claras e mensuráveis. Esperamos autonomia, proatividade para propor soluções éticas e eficientes, e entusiasmo para liderar boas práticas no uso da inteligência artificial dentro da organização.