Como medir se um RAG responde bem: avaliação, fontes e perguntas difíceis
Publicado em 2026-11-16 por ArduBot
Método reprodutível para avaliar RAG com perguntas reais, recall@k, precisão de citações, abstenção, latência e alterações de versão.
“O chatbot me respondeu bem três vezes” não é uma prova suficiente para oferecer RAG a clientes. A qualidade deve ser medida separadamente em recuperação, geração, segurança e manutenção. Assim você pode melhorar o componente correto em vez de trocar de modelo às cegas.
Construa um conjunto de perguntas com respostas verificáveis
Selecione 50 consultas de usuários reais ou representativas. Para cada uma, guarde pergunta, documento correto, seção esperada, resposta aceitável e se a pergunta deve ficar sem resposta. Inclua: perguntas semânticas, nomes exatos, referências numéricas, documentos contraditórios, informações antigas e consultas que o sistema não deveria conhecer.
Exemplo: um manual estabelece que o equipamento X precisa de 12 V, mas uma versão obsoleta fala de 9 V. A pergunta “qual alimentação o X requer?” deve recuperar a versão vigente e mostrar a referência. Não basta o modelo dizer “12 V” por coincidência.
Duas medições diferentes
Recuperação: a fonte correta aparece nos primeiros k fragmentos? Você pode usar recall@k para uma bateria rotulada e revisar também precisão e ordem dos resultados. Se o buscador não entregar a cláusula correta, o modelo não tem uma evidência confiável.
Resposta: contém os fatos permitidos e nada que contradiga a fonte? Cita o fragmento preciso? Se abstém quando faltam evidências? Um avaliador automático pode ajudar, mas convém revisar manualmente uma amostra de erros, sobretudo se houver riscos econômicos ou legais.
Métricas que deveriam estar no painel
Registre taxa de perguntas com evidência suficiente, percentual de citações verificáveis, erros por documento, consultas sem resposta, tempos p50 e p95, erros de provedor e custo por consulta. Se usar RAG multiempresa, some provas de isolamento entre clientes.
Não converta cada métrica em uma nota global: uma recuperação de 95 % pode ocultar respostas perigosas em perguntas de exceção. Os indicadores precisam de exemplos concretos e revisão de erros.
Como detectar a causa de uma falha
Se o fragmento correto não aparecer, inspecione extração, chunking, filtros e busca. Se aparecer, mas a resposta o contradizer, revise o prompt, o modelo e as regras de citação. Se aparecer uma versão antiga, revise sincronização. Se recuperar conteúdo alheio, a falha é de autorização e requer prioridade máxima.
Uma mudança que melhora perguntas gerais pode piorar referências exatas. Compare sempre a mesma bateria antes e depois, e conserve as versões de documentos e configuração.
Exemplo de ciclo semanal
Segunda-feira: extrair dez perguntas com falha. Terça-feira: classificar se a falha está na extração, recuperação ou geração. Quarta-feira: alterar uma variável (por exemplo, filtros ou fragmentação). Quinta-feira: executar a bateria completa. Sexta-feira: publicar resultados internos, sem maquiagem nos casos sem resposta.
O que um comprador deve validar
Não peça que o cliente acredite em uma captura de tela: deixe-o testar perguntas da própria documentação com respostas esperadas. Isso transforma uma demonstração genérica em uma avaliação comercial concreta.
ArduMaker estuda um futuro RAG por API; sua viabilidade dependerá dessa qualidade mensurável, além do interesse comercial. Se quiser participar de um teste, descreva quais documentos e perguntas usaria em ArduMaker.
Fontes: Avaliadores de RAG na Microsoft · Qualidade de recuperação no Databricks.