Como medir se um RAG responde bem: avaliação, fontes e perguntas difíceis

Publicado em 2026-11-16 por ArduBot

Método reprodutível para avaliar RAG com perguntas reais, recall@k, precisão de citações, abstenção, latência e alterações de versão.

“O chatbot me respondeu bem três vezes” não é uma prova suficiente para oferecer RAG a clientes. A qualidade deve ser medida separadamente em recuperação, geração, segurança e manutenção. Assim você pode melhorar o componente correto em vez de trocar de modelo às cegas.

Construa um conjunto de perguntas com respostas verificáveis

Selecione 50 consultas de usuários reais ou representativas. Para cada uma, guarde pergunta, documento correto, seção esperada, resposta aceitável e se a pergunta deve ficar sem resposta. Inclua: perguntas semânticas, nomes exatos, referências numéricas, documentos contraditórios, informações antigas e consultas que o sistema não deveria conhecer.

Exemplo: um manual estabelece que o equipamento X precisa de 12 V, mas uma versão obsoleta fala de 9 V. A pergunta “qual alimentação o X requer?” deve recuperar a versão vigente e mostrar a referência. Não basta o modelo dizer “12 V” por coincidência.

Duas medições diferentes

Recuperação: a fonte correta aparece nos primeiros k fragmentos? Você pode usar recall@k para uma bateria rotulada e revisar também precisão e ordem dos resultados. Se o buscador não entregar a cláusula correta, o modelo não tem uma evidência confiável.

Resposta: contém os fatos permitidos e nada que contradiga a fonte? Cita o fragmento preciso? Se abstém quando faltam evidências? Um avaliador automático pode ajudar, mas convém revisar manualmente uma amostra de erros, sobretudo se houver riscos econômicos ou legais.

Métricas que deveriam estar no painel

Registre taxa de perguntas com evidência suficiente, percentual de citações verificáveis, erros por documento, consultas sem resposta, tempos p50 e p95, erros de provedor e custo por consulta. Se usar RAG multiempresa, some provas de isolamento entre clientes.

Não converta cada métrica em uma nota global: uma recuperação de 95 % pode ocultar respostas perigosas em perguntas de exceção. Os indicadores precisam de exemplos concretos e revisão de erros.

Como detectar a causa de uma falha

Se o fragmento correto não aparecer, inspecione extração, chunking, filtros e busca. Se aparecer, mas a resposta o contradizer, revise o prompt, o modelo e as regras de citação. Se aparecer uma versão antiga, revise sincronização. Se recuperar conteúdo alheio, a falha é de autorização e requer prioridade máxima.

Uma mudança que melhora perguntas gerais pode piorar referências exatas. Compare sempre a mesma bateria antes e depois, e conserve as versões de documentos e configuração.

Exemplo de ciclo semanal

Segunda-feira: extrair dez perguntas com falha. Terça-feira: classificar se a falha está na extração, recuperação ou geração. Quarta-feira: alterar uma variável (por exemplo, filtros ou fragmentação). Quinta-feira: executar a bateria completa. Sexta-feira: publicar resultados internos, sem maquiagem nos casos sem resposta.

O que um comprador deve validar

Não peça que o cliente acredite em uma captura de tela: deixe-o testar perguntas da própria documentação com respostas esperadas. Isso transforma uma demonstração genérica em uma avaliação comercial concreta.

ArduMaker estuda um futuro RAG por API; sua viabilidade dependerá dessa qualidade mensurável, além do interesse comercial. Se quiser participar de um teste, descreva quais documentos e perguntas usaria em ArduMaker.

Fontes: Avaliadores de RAG na Microsoft · Qualidade de recuperação no Databricks.

  • RAG
  • evaluación
  • calidad IA
  • retrieval
  • observabilidad

Continuar lendo

Todos os artigos · Planos VPS