ESPECIALISTA QUALIDADE IA

Profarma Group; Rio de Janeiro; On-site; BRL 167,400 - 279,000; Full time

Job summary

Uma empresa de soluções em IA procura um profissional para garantir a qualidade e consistência das suas soluções. O candidato será responsável por criar planos de teste, definir frameworks de garantia de qualidade e colaborar com equipes de Data Science e Engenharia. É essencial experiência em auditorias éticas e no uso de ferramentas como Power BI e Grafana. O trabalho focará também em mitigação de riscos e estratégias de melhoria contínua em inteligência artificial.

Qualifications

• Responsável por garantir a qualidade e consistência nas soluções de IA.
• Experiência em automação de testes e monitoramento de performance.
• Capacidade de trabalhar colaborativamente com equipes de Data Science e Engenharia.

Responsibilities

• Criar e executar planos de teste funcionais para modelos de IA.
• Definir frameworks de QA e conduzir auditorias de viés e conformidade.
• Colaborar com times técnicos e de negócio para melhorias contínuas.

Skills

Garantia de qualidade em IA

Criação e execução de planos de teste

Definição de frameworks de QA

Monitoramento e mitigação de data drift e model drift

Comunicação técnica

Tools

Power BI

Grafana

Metabase

Job description

Responsibilities

• Garantir a qualidade, consistência e previsibilidade de soluções de IA antes e após o deploy;
• Criar e executar planos de teste funcionais, manuais e automatizados para modelos tradicionais e generativos;
• Definir e implementar frameworks de QA e automação de testes para IA;
• Executar testes de performance, segurança e robustez em guardrails de IA generativa;
• Conduzir auditorias de viés, ética, conformidade e aderência à LGPD;
• Avaliar métricas de performance (acurácia, precisão, recall, F1-score e consistência contextual);
• Monitorar e mitigar data drift e model drift em produção;
• Testar fluxos de prompts e agentes de IA quanto à coerência, factualidade e aderência ao contexto;
• Documentar resultados, riscos, planos de mitigação e relatórios executivos de qualidade;
• Propor melhorias contínuas e padronizar boas práticas de QA para IA corporativa;
• Atuar de forma colaborativa com times de Data Science, Engenharia de ML e Segurança da Informação;
• Avaliação de modelos e feedback humano (Human Feedback Loop, RLHF)
• Validação e monitoramento de dados (Great Expectations, Evidently AI, Data Validation)
• Observabilidade e métricas de IA (acurácia, custo, latência)
• Dashboards e visualização de dados (Power BI, Grafana, Metabase)
• Governança de dados e IA
• LGPD e segurança da informação
• Anonimização, rastreabilidade e ética em IA corporativa
• Pensamento analítico
• Atenção a detalhes
• Comunicação técnica e com stakeholders
• Visão crítica e orientação a qualidade
• Organização e gestão de múltiplos pipelines
• Trabalho colaborativo com times técnicos e de negócio
• Foco em melhoria contínua
• Ética e responsabilidade no uso de IA