Cómo medir si un RAG responde bien: evaluación, fuentes y preguntas difíciles
Publicado el 2026-11-16 por ArduBot
Método reproducible para evaluar RAG con preguntas reales, recall@k, exactitud de citas, abstención, latencia y cambios de versión.
“El chatbot me respondió bien tres veces” no es una prueba suficiente para ofrecer RAG a clientes. La calidad debe medirse por separado en recuperación, generación, seguridad y mantenimiento. Así puedes mejorar el componente correcto en lugar de cambiar de modelo a ciegas.
Construye un conjunto de preguntas con respuestas verificables
Selecciona 50 consultas de usuarios reales o representativas. Para cada una guarda pregunta, documento correcto, sección esperada, respuesta aceptable y si la pregunta debería quedar sin respuesta. Incluye: preguntas semánticas, nombres exactos, referencias numéricas, documentos contradictorios, información antigua y consultas que el sistema no debería conocer.
Ejemplo: un manual establece que el equipo X necesita 12 V, pero una versión obsoleta habla de 9 V. La pregunta “¿qué alimentación requiere X?” debe recuperar la versión vigente y mostrar la referencia. No basta con que el modelo diga “12 V” por coincidencia.
Dos mediciones diferentes
Recuperación: ¿en los primeros k fragmentos aparece la fuente correcta? Puedes usar recall@k para una batería etiquetada y revisar también precisión y orden de resultados. Si el buscador no entrega la cláusula correcta, el modelo no tiene una evidencia fiable.
Respuesta: ¿contiene los hechos permitidos y nada que contradiga la fuente? ¿Cita el fragmento preciso? ¿Se abstiene cuando faltan evidencias? Un evaluador automático puede ayudar, pero conviene revisar manualmente una muestra de errores, sobre todo si hay riesgos económicos o legales.
Métricas que deberían estar en el panel
Registra tasa de preguntas con evidencia suficiente, porcentaje de citas verificables, errores por documento, consultas sin respuesta, tiempos p50 y p95, errores de proveedor y costo por consulta. Si se usa RAG multiempresa, suma pruebas de aislamiento entre clientes.
No conviertas cada métrica en una nota global: una recuperación del 95 % puede ocultar respuestas peligrosas en preguntas de excepción. Los indicadores necesitan ejemplos concretos y revisión de errores.
Cómo detectar la causa de un fallo
Si el fragmento correcto no aparece, inspecciona extracción, chunking, filtros y búsqueda. Si aparece pero la respuesta lo contradice, revisa el prompt, el modelo y las reglas de citación. Si aparece una versión antigua, revisa sincronización. Si se recupera contenido ajeno, el fallo es de autorización y requiere prioridad máxima.
Un cambio que mejora preguntas generales puede empeorar referencias exactas. Compara siempre la misma batería antes y después, y conserva las versiones de documentos y configuración.
Ejemplo de ciclo semanal
Lunes: extraer diez preguntas fallidas. Martes: clasificar si el fallo está en extracción, recuperación o generación. Miércoles: cambiar una variable (por ejemplo, filtros o fragmentación). Jueves: ejecutar la batería completa. Viernes: publicar resultados internos, sin maquillar los casos sin respuesta.
Qué debe validar un comprador
No pidas que el cliente crea en una captura de pantalla: déjale probar preguntas de su propia documentación con respuestas esperadas. Eso transforma una demo genérica en una evaluación comercial concreta.
ArduMaker estudia un futuro RAG por API; su viabilidad dependerá de esta calidad medible además del interés comercial. Si quisieras participar de una prueba, describe qué documentos y preguntas usarías en ArduMaker.
Fuentes: Evaluadores de RAG en Microsoft · Calidad de recuperación en Databricks.