Cómo evaluar un asistente RAG antes de usarlo en tu empresa
Una respuesta convincente necesita evidencia. Prepara preguntas de prueba y comprueba qué hace el asistente cuando falta información o cambia una fuente.
Un asistente puede responder rápido, escribir con claridad y mostrar citas sin haber entendido bien una pregunta. Para decidir si sirve en una empresa, necesito comprobar la relación entre lo que pregunta la persona, lo que dicen las fuentes y lo que afirma la respuesta.
Mi punto de partida para un piloto es preparar preguntas y criterios de revisión antes de ampliar su uso. Así la evaluación no depende de que una demostración haya salido bien.
Define qué significa una respuesta aceptable
Para una consulta sobre procedimientos, una respuesta aceptable debe resolver lo preguntado, conservar las condiciones importantes y permitir revisar la fuente. Si falta información, el asistente debe reconocerlo.
Conviene separar fidelidad al contexto, cobertura de la pregunta y corrección de la respuesta. Microsoft distingue estas dimensiones en su guía de evaluación de soluciones RAG. Un texto puede usar únicamente el contexto disponible y, aun así, dejar fuera una condición necesaria.
El criterio debe escribirse con palabras del proceso. Por ejemplo: “La respuesta conserva el plazo y la excepción indicada, y el enlace abre la sección que los respalda”. Eso permite que una persona conocedora del tema revise el resultado.
Prepara preguntas que puedan revelar fallos
Una prueba útil incluye situaciones incómodas, además de las preguntas fáciles. Esta tabla usa un procedimiento completamente ficticio:
| Caso | Ejemplo de prueba | Qué comprobar |
|---|---|---|
| Información disponible | Preguntar un plazo que aparece expresamente. | Coincide con la fuente y mantiene sus condiciones. |
| Información ausente | Preguntar una excepción que no está documentada. | No inventa una regla ni una cita. |
| Pregunta ambigua | “¿Cuándo tengo que enviarlo?” sin identificar qué. | Pide el contexto necesario. |
| Versión sustituida | Mantener una copia antigua fuera del conjunto activo. | No la presenta como vigente. |
| Fuentes contradictorias | Dos documentos activos indican pasos incompatibles. | Expone el conflicto para revisión. |
| Acceso restringido | Consultar un documento fuera del permiso de prueba. | El sistema impide recuperar contenido no autorizado. |
Cada caso necesita una fuente de referencia y un resultado esperado. La lista puede empezar pequeña y crecer con las dudas reales del equipo. Las pruebas de permisos deben hacerse en un entorno y con datos preparados para ese fin.
Revisa la evidencia de cada afirmación
Una cita al final de una respuesta no demuestra que todo el párrafo esté respaldado. Abriría la referencia y comprobaría el plazo, la cifra o la condición concreta que se afirma.
Si la respuesta dice “hay diez días y se permite una ampliación”, la fuente debe sostener ambas partes. Cuando solo respalda el plazo, la ampliación sigue siendo una afirmación sin evidencia.
También comprobaría que el enlace abre el documento correcto y que la página o sección permite localizar el fragmento. Una referencia que obliga a buscar de nuevo en un archivo completo aporta menos ayuda a quien necesita verificar un detalle.
Distingue dónde se produjo el error
Cuando una respuesta falla, separaría la revisión en pasos:
- ¿El documento correcto estaba disponible y activo?
- ¿La extracción conservó el texto necesario?
- ¿La búsqueda recuperó el fragmento pertinente?
- ¿La respuesta interpretó ese fragmento sin agregar datos?
- ¿La interfaz mostró la fuente y los límites con claridad?
Esta revisión evita ajustar las instrucciones del modelo cuando el problema está en un archivo ilegible o en una versión equivocada. La mejora debe dirigirse al punto que falló.
Prueba también lo que cambia
Actualizar la biblioteca merece una comprobación propia. Sustituiría una fuente de prueba, esperaría a que termine el procesamiento y repetiría las preguntas afectadas. Revisaría que la versión anterior deje de recuperarse y que el sistema permita conocer qué información está consultando.
También probaría una interrupción del servicio de generación. La persona debe recibir un estado comprensible y una forma de continuar; el sistema no debería aparentar una respuesta documentada cuando no pudo consultar o generar el resultado.
Registra resultados que permitan decidir
Guardaría por caso la fecha, las fuentes y versiones utilizadas, el resultado esperado, el fallo observado y la corrección aplicada. Los registros de evaluación deben tratarse según la sensibilidad de su contenido.
Separaría las métricas: respuestas con afirmaciones sin respaldo, referencias incorrectas, preguntas incompletamente resueltas y fallos de acceso. También mediría el tiempo para comprobar una respuesta y los errores de procesamiento. Un único porcentaje de “precisión” oculta diferencias que importan al negocio.
Después de una modificación, repetiría las pruebas afectadas y algunos casos que antes funcionaban. No publicaría una cifra de mejora sin un conjunto definido y resultados comparables.
Un piloto para decidir el siguiente paso
Antes de ampliar el uso, acordaría qué fallos impiden continuar y cuáles necesitan revisión humana. El alcance depende de las consecuencias de equivocarse y de quién mantiene la información.
Puedes leer cómo planteo RAG con fuentes verificables y cuándo elegir un buscador o un asistente.
Si tu equipo está probando una solución, cuéntame qué preguntas necesita resolver y cómo comprueba hoy las respuestas. Podemos definir una evaluación inicial como parte del servicio de integración de IA y RAG.