Benchmarks · 21 de octubre de 2026
Hippocampus en FinanceBench: tasa de éxito del 92 %, la más alta de cinco sistemas de recuperación
En FinanceBench, Hippocampus tiene una tasa de éxito del 92,2 %, la más alta de cinco sistemas de recuperación, frente al 76,6 % del siguiente, Azure AI Search.
En esta páginaLa prueba
La prueba
FinanceBench, de Patronus AI, plantea 150 preguntas de analista sobre empresas cotizadas estadounidenses: cifras, ratios y valoraciones. Las respuestas están en 84 informes anuales, trimestrales y de hechos relevantes (10-K, 10-Q, 8-K), y cada pregunta indica su documento. Es una de las pruebas de nuestro informe de benchmarks, versión 3.1, del 20 de octubre de 2026.
Cómo leer las cifras
- Tasa de éxito: de las preguntas que resolvería una búsqueda perfecta, la proporción que resuelve cada sistema. Aquí, una búsqueda perfecta consiste en entregar al modelo de respuesta las páginas de evidencia de cada pregunta; las preguntas que aun así falla (una respuesta de referencia errónea, una pregunta ambigua o una demasiado difícil incluso con las páginas correctas) quedan fuera.
- Respuestas correctas (todas las preguntas): cuentan todas las preguntas, sin filtrar ninguna. Una respuesta es correcta cuando el juez la considera conforme a la respuesta de referencia del conjunto de datos. Hippocampus 86 %, Azure AI Search 70 %.
- Evidencia encontrada: la proporción de los pasajes necesarios para responder que encontró la búsqueda, de media.
- Como referencia: sin documentos, el modelo de respuesta acierta el 40,7 % de memoria. Con las páginas correctas, acierta el 85,3 %.
Resultados
| Sistema | Tasa de éxito | Respuestas correctas (todas las preguntas) | Evidencia encontrada |
|---|---|---|---|
| Hippocampus | 92,2 % | 86,0 % | 85 % |
| Azure AI Search | 76,6 % | 70,0 % | 58 % |
| OpenAI File Search | 52,3 % | 48,7 % | 35 % |
| Vertex AI Search | 40,6 % | 37,3 % | 24 % |
| OpenAI Direct Search | 37,5 % | 32,7 % | 23 % |
- Cara a cara frente a Hippocampus: Azure AI Search 29 : 5 (p < 10⁻⁴), OpenAI File Search 60 : 4 (p < 10⁻¹³), Vertex AI Search 76 : 3 (p < 10⁻¹⁸), OpenAI Direct Search 82 : 2 (p < 10⁻²¹). Cada par enfrenta las preguntas que Hippocampus acertó y el otro sistema no, con el caso inverso (prueba de los signos bilateral).
Vertex AI Search y OpenAI Direct Search puntúan por debajo del nivel sin documentos: con resultados de búsqueda pobres, el modelo opta más a menudo por no responder en lugar de adivinar. Algunas respuestas de referencia eligen una de varias fórmulas habituales o una sola interpretación de una pregunta imprecisa; alrededor del 7 % de las preguntas (10 de 150) son discutibles.
Tasa de éxito en FinanceBench, cinco sistemas de recuperación
De las preguntas que el modelo de respuesta acierta cuando recibe las páginas correctas, cada barra es la proporción que un sistema acierta con su propia búsqueda.
- Hippocampus 92,2 %
- Azure AI Search 76,6 %
- OpenAI File Search 52,3 %
- Vertex AI Search 40,6 %
- OpenAI Direct Search 37,5 %
Vista de tabla: cada recuento detrás del gráfico
| Nombre | Valor |
|---|---|
| Hippocampus | 92,2 % |
| Azure AI Search | 76,6 % |
| OpenAI File Search | 52,3 % |
| Vertex AI Search | 40,6 % |
| OpenAI Direct Search | 37,5 % |
Aciertos en FinanceBench, todas las preguntas contadas
Cada barra es la proporción de todas las preguntas respondidas conforme a la referencia, con el modelo de respuesta solo y con las páginas correctas entregadas como escala.
- Hippocampus 86,0 %
- Azure AI Search 70,0 %
- OpenAI File Search 48,7 %
- Vertex AI Search 37,3 %
- OpenAI Direct Search 32,7 %
- Como referencia: el modelo de respuesta con las páginas correctas 85,3 %
- Como referencia: el modelo de respuesta solo, sin documentos 40,7 %
Vista de tabla: cada recuento detrás del gráfico
| Nombre | Valor |
|---|---|
| Hippocampus | 86,0 % |
| Azure AI Search | 70,0 % |
| OpenAI File Search | 48,7 % |
| Vertex AI Search | 37,3 % |
| OpenAI Direct Search | 32,7 % |
| Como referencia: el modelo de respuesta con las páginas correctas | 85,3 % |
| Como referencia: el modelo de respuesta solo, sin documentos | 40,7 % |
Nuestros fallos
Una auditoría automatizada revisó las 21 preguntas que Hippocampus no respondió correctamente: 9 fallos reales, 8 preguntas ambiguas, 4 problemas de la referencia y ninguna correcta pero menos completa. Los fallos reales son el 6 % de todas las preguntas. La auditoría es una ayuda para leer los fallos, no un veredicto humano.
Velocidad
Aquí Hippocampus es el más preciso, no el más rápido. En la mediana, una búsqueda tarda 1,8 segundos en Hippocampus, 0,4 segundos en Azure AI Search, 0,3 segundos en Vertex AI Search y 1,7 segundos en OpenAI Direct Search. Estos tiempos proceden de la versión 2.4 del informe y cubren solo la búsqueda.
Para una respuesta sencilla en un único documento claramente distinto, una búsqueda rápida en la nube suele bastar. Cuando los documentos se parecen, una respuesta necesita varios pasajes o un error sale caro, el tiempo extra se traduce en un resultado distinto.
Cómo lo probamos
Todos los sistemas indexaron los mismos archivos e hicieron una búsqueda por pregunta. El mismo modelo de respuesta (GPT-5.4 mini) y el mismo juez (Claude Sonnet 5) se encargaron de todas las respuestas. La configuración completa y los prompts están en la página de pruebas, en la pestaña Finanzas.
El conjunto de datos
FinanceBench (las 150 preguntas de código abierto) es de Patronus AI, en github.com/patronus-ai/financebench, con licencia CC BY-NC 4.0. Lo usamos tal como se publicó y solo informamos de puntuaciones: aquí no se reproduce ninguna pregunta, respuesta ni pasaje.
