Hippocampus en LegalBench-RAG: tasa de éxito del 86 %, por delante de todos los demás sistemas de recuperación

La prueba

LegalBench-RAG, de ZeroEntropy, pide la cláusula que responde a una pregunta sobre un contrato o una política concretos: acuerdos de confidencialidad, acuerdos de fusión, contratos comerciales, políticas de privacidad. Ejecutamos su partición mini: 776 preguntas sobre 72 documentos que a menudo se parecen entre sí. Es una de las pruebas de nuestro informe de benchmarks, versión 3.1, del 20 de octubre de 2026.

Cómo leer las cifras

• Tasa de éxito: de las preguntas que resolvería una búsqueda perfecta, la proporción que resuelve cada sistema. Aquí, una búsqueda perfecta consiste en entregar al modelo de respuesta las páginas de evidencia de cada pregunta; las preguntas que aun así falla (una respuesta de referencia errónea, una pregunta ambigua o una demasiado difícil incluso con las páginas correctas) quedan fuera.
• Respuestas correctas (todas las preguntas): cuentan todas las preguntas, sin filtrar ninguna. Una respuesta es correcta cuando el juez la considera conforme a la respuesta de referencia del conjunto de datos. Hippocampus 82 %, Azure AI Search 75 %.
• Evidencia encontrada: la proporción de los pasajes necesarios para responder que encontró la búsqueda, de media.
• Como referencia: sin documentos, el modelo de respuesta acierta el 28,2 % de memoria. Con las páginas correctas, acierta el 92,0 %.

Resultados

• Cara a cara frente a Hippocampus: Azure AI Search 102 : 45 (p < 10⁻⁵), Vertex AI Search 125 : 53 (p < 10⁻⁷), OpenAI File Search 134 : 51 (p < 10⁻⁹), OpenAI Direct Search 149 : 35 (p < 10⁻¹⁷). Cada par enfrenta las preguntas que Hippocampus acertó y el otro sistema no, con el caso inverso (prueba de los signos bilateral).

La referencia es un pasaje y no una respuesta breve, así que una respuesta formulada de forma distinta a la cláusula puede restar puntuación; alrededor del 3 % de las preguntas (20 de 776) son discutibles.

Vertex AI Search y las comillas. Vertex AI Search interpreta las comillas dobles como un operador de frase exacta, y LegalBench-RAG pone entre comillas los nombres de las partes. Enviadas tal cual, 347 de las 373 preguntas con comillas no devolvieron ningún pasaje, y Vertex AI Search acertó el 37 % de todas las preguntas. Los demás sistemas devolvieron pasajes para todas. Solo para Vertex AI Search eliminamos las comillas de la consulta de búsqueda, y de ahí salen sus cifras en la tabla. El paso de respuesta vio cada pregunta tal como estaba formulada.

Nuestros fallos

Una auditoría automatizada revisó las 141 preguntas que Hippocampus no acertó: 88 fallos reales, 4 preguntas ambiguas, 27 problemas de la referencia y 22 correctas pero menos completas que la referencia. Los fallos reales son el 11 % de todas las preguntas. La auditoría es una ayuda para leer los fallos, no un veredicto humano.

Velocidad

Aquí Hippocampus es el más preciso, no el más rápido. En la mediana, una búsqueda tarda 1,8 segundos en Hippocampus, 0,4 segundos en Azure AI Search, 0,3 segundos en Vertex AI Search y 1,7 segundos en OpenAI Direct Search. Estos tiempos proceden de la versión 2.4 del informe y cubren solo la búsqueda.

En contratos, los sistemas están más cerca entre sí que en los informes financieros, y aun así la ventaja es clara frente a cada uno de ellos. Cuando los documentos se parecen, como ocurre con los acuerdos del mismo tipo, el tiempo extra se traduce en un resultado distinto.

Cómo lo probamos

Todos los sistemas indexaron los mismos archivos e hicieron una búsqueda por pregunta. El mismo modelo de respuesta (GPT-5.4 mini) y el mismo juez (Claude Sonnet 5) se encargaron de todas las respuestas. La configuración completa y los prompts están en la página de pruebas, en la pestaña Legal.

El conjunto de datos

LegalBench-RAG (la partición mini) es de ZeroEntropy, en github.com/zeroentropy-ai/legalbenchrag, con licencia MIT. Lo usamos tal como se publicó y solo informamos de las puntuaciones: aquí no se reproduce ninguna pregunta, respuesta ni pasaje.