Compruébalo tú mismo.
Benchmarks públicos sobre informes financieros y contratos, y nuestro benchmark de la FDA. Alterna entre ellos y revisa las pruebas por tu cuenta.
FinanceBench y LegalBench-RAG, probados el 20 de octubre de 2026, y nuestro benchmark de la FDA. En los benchmarks públicos, cada sistema hizo una búsqueda por pregunta, con el mismo modelo de respuesta (GPT-5.4 mini, razonamiento bajo) y el mismo juez (Claude Sonnet 5, mayoría de tres votos). El tiempo de búsqueda se midió en la versión 2.4 de nuestro informe de benchmarks.
- 92% tasa de éxito en FinanceBench De las preguntas que resolvería una búsqueda perfecta, Hippocampus resuelve el 92 %. El siguiente sistema: 77 %.
- 86% tasa de éxito en LegalBench-RAG De las preguntas que resolvería una búsqueda perfecta, Hippocampus resuelve el 86 %. El siguiente sistema: 78 %.
- 1.8 s tiempo mediano de búsqueda de Hippocampus Vertex AI Search 0,3 s y Azure AI Search 0,4 s, ambos menos precisos.
Cara a cara
FinanceBench: tasa de éxito por sistema
150 preguntas de analista sobre 84 informes de empresas estadounidenses, de Patronus AI. Cada barra es la proporción de preguntas con respuesta que el sistema acierta con su propia búsqueda.
Leer el informe completoCara a cara
LegalBench-RAG: tasa de éxito por sistema
776 preguntas sobre 72 contratos y políticas de privacidad, de ZeroEntropy. Cada barra es la proporción de preguntas con respuesta que el sistema acierta con su propia búsqueda.
Leer el informe completoCara a cara
Salud: respuestas correctas por sistema
Todos los sistemas respondieron a través de GPT-5.4 mini, el mismo modelo pequeño.
Leer el informe completoSalud
Pero con un modelo más potente, el resultado mejora todavía más.
- 100% precisión de recuperación Con Claude Opus 5 respondiendo. Se alcanzó un documento fuente correcto para cada pregunta con respuesta, en cada repetición.
- 97% correctas Con Claude Opus 5 respondiendo. Dos ejecuciones completas del conjunto de preguntas (47 de 48 y 46 de 48), incluida la pregunta de control rechazada en las seis repeticiones.
- 6/6 pregunta de control rechazada Con Claude Opus 5 respondiendo. Ante algo que los documentos no pueden responder, rechazó la pregunta de control en las seis repeticiones.
Cómo lo probamos
La misma prueba para todos los sistemas
En Finanzas y Legal, todos los sistemas indexaron los mismos documentos e hicieron una búsqueda por pregunta. El mismo modelo de respuesta (GPT-5.4 mini, razonamiento bajo) redactó todas las respuestas y el mismo juez (Claude Sonnet 5, tres votos) las calificó. En Salud, GPT-5.4 mini redactó todas las respuestas de las barras, GPT-5 las calificó (tres votos) y Hippocampus podía buscar hasta 12 veces.
Elige Finanzas, Legal o Salud para ver cómo se ejecutó ese benchmark.
Cómo reproducirlo
Repite los resultados financieros
Descarga los conjuntos de datos, configura cada sistema como se indica abajo y califica con los prompts.
Conjuntos de datos
- FinanceBench (las 150 de código abierto), Patronus AI, github.com/patronus-ai/financebench, licencia CC BY-NC 4.0
- SECQUE, Ben Yoash et al., huggingface.co/datasets/nogabenyoash/SecQue, licencia MIT
Se usan tal como se publicaron. Esta página no reproduce ninguna pregunta, respuesta ni pasaje de ellos.
Cómo se configuró cada sistema
- OpenAI File Search. Vector store con fragmentación automática; la herramienta file-search, 10 resultados, una búsqueda.
- OpenAI Direct Search. El mismo vector store, consultado una vez con la pregunta, 10 resultados.
- Azure AI Search. Vectorización con el asistente de importación, fragmentos de 2.000 caracteres con 500 de solapamiento, text-embedding-3-large; una consulta híbrida con el clasificador semántico, top 10.
- Vertex AI Search. Edición Standard, UE; analizador de diseño, fragmentos de 500 tokens con los encabezados superiores; una búsqueda, clasificación predeterminada, expansión de consultas desactivada, top 10.
- Hippocampus. Configuración predeterminada, nada ajustado para cada prueba; una búsqueda por pregunta a través de la API de búsqueda, versión de búsqueda del 18 de octubre de 2026.
Cómo se calificaron las respuestas
- Mismos documentos. Todos los sistemas indexaron archivos idénticos, fijados por suma de comprobación.
- Una búsqueda por pregunta. La pregunta tal como está escrita; solo OpenAI File Search deja que el modelo redacte su consulta.
- Un paso de respuesta. GPT-5.4 mini (razonamiento bajo), la misma instrucción para todos los sistemas.
- Un juez. Claude Sonnet 5, tres votos por respuesta; cuenta la mayoría y, si los tres votos difieren, se toma el veredicto intermedio.
- Tasa de éxito. De las preguntas que el modelo de respuesta acierta cuando recibe las páginas correctas (el techo), la proporción que cada sistema acierta con su propia búsqueda. El suelo es el mismo modelo sin documentos.
Auditoría de los fallos
Claude Opus 5.5 clasificó cada respuesta que no coincidía con la referencia, de todos los sistemas y del techo, como fallo real, pregunta ambigua, problema de la referencia o correcta pero menos completa. La auditoría es automática y no sabía qué sistema había respondido.
Prompts
Todos los prompts, literalmente. Los marcadores de posición entre corchetes angulares se rellenan para cada pregunta; no se envió nada más. El suelo es el modelo de respuesta sin documentos; el techo es el mismo modelo con las páginas correctas.
File Search es el único sistema cuya consulta redacta el modelo. En FinanceBench y SECQUE, GPT-5.4 mini la redactó con estas instrucciones, limitado a una búsqueda; después su respuesta se descartó y se sustituyó por el paso de respuesta común.
INSTRUCTION
You answer questions using only the provided material. Answer directly and concisely, stating the fact asked for. If the material does not contain the answer, say so plainly instead of guessing.
MESSAGE
CONTEXT CHUNKS:
--- Source 1 ---
Document: <document title>
<passage text>
--- Source 2 ---
…
---
QUESTION: <the dataset's question, verbatim>SYSTEM PROMPT
You grade a retrieval assistant's answer against a reference answer.
Reply with ONLY a JSON object:
{"verdict": "correct" | "partially_correct" | "incorrect" | "refused",
"reference_suspect": true | false,
"reference_suspect_quote": "<verbatim quote from the ANSWER, or null>",
"matched_variant": <integer index, or null>,
"rationale": "<one sentence>"}
Definitions:
- "correct": conveys the same substance the question asked for.
- "partially_correct": part of that substance, with a material omission — or right
but hedged so heavily the reader could not act on it.
- "incorrect": CONTRADICTS the reference on something the question asked for.
- "refused": declines to answer, says the information is not available, or asks
for clarification instead of answering.
Scope rule — apply this first, it is the one graders get wrong:
The reference states what a correct answer must CONTAIN, never what it may not
also say. Anything the answer adds beyond the reference is OUTSIDE the
reference's scope: it can never lower the verdict. Extra findings, extra caveats,
additional true detail, more sources, richer formatting — all irrelevant to the
grade. Only a CONTRADICTION of something the question asked for counts against
the answer. "Mentions things the reference does not mention" is not a defect.
Numeric agreement — use these bands, do not invent a tolerance:
- within 10% of the reference value, or inside a stated confidence interval → treat as matching
- 10-25% off, same direction and same conclusion → at most "partially_correct"
- more than 25% off, or the opposite direction/conclusion → "incorrect"
- a DIFFERENT statistic that the answer clearly labels (per-trial where the
reference pooled, a subgroup where the reference used all trials) is not a
contradiction: grade "partially_correct" if the question asked for the
reference's aggregation level, "correct" if it did not.
matched_variant: when ALTERNATIVE ACCEPTABLE ANSWERS are supplied below, they are
every bit as correct as the primary reference - they record that this question has
more than one legitimate reading (a different trial, a different table, normalized
vs. raw figures, label vs. clinical study report). Grade against the primary
reference AND every alternative, and award the BEST verdict any of them yields.
Set matched_variant to the 0-based index of the alternative that produced it, or
null when the primary reference did. Never lower a verdict because the answer
matched an alternative rather than the primary - choosing between legitimate
sources is not the assistant's error.
reference_suspect: set true ONLY when the answer cites the corpus for something
that CONTRADICTS the reference, and put that verbatim quote from the answer in
reference_suspect_quote. No quote means no flag — leave it false and set the
quote to null.
Two failures this rule exists to prevent, both real:
- An answer that simply does not mention what the reference says is NOT evidence
the reference is wrong. It may be answering a narrower or different question.
A contract reference read "appointed as sole and exclusive agent"; the answer
said the party is called "the Customer". Both are true in the document, the
answer just addressed a different clause. That was flagged and should not have
been.
- Do not protect the reference because it is the reference. Where the answer
cites the document for a specific, checkable claim and the reference asserts
something the document does not support, say so — even though your verdict is
"incorrect". [One example omitted here: it came from a test that is not in this report.]
Still give your best verdict on the merits either way. This exists because gold
answers written from secondary material have repeatedly turned out to contradict
the source documents.
Grade only substance. Do not reward style, apologies or confidence. An answer
that is right for the wrong reason is still "correct" — judging the reasoning is
not your job.
MESSAGE
QUESTION:
<question>
REFERENCE ANSWER:
<the dataset's reference answer>
ASSISTANT'S ANSWER:
<the system's answer>INSTRUCTION
Answer as briefly as the question allows. State the specific answer first: the figure with its unit and the fiscal period it belongs to, or the yes/no with the one fact that decides it. When the answer has to be computed, give the inputs and the formula in one line. No preamble, no restating the question, no closing remarks. Keep citations.
SEARCH INSTRUCTIONS
- This is a document-grounded question set over company filings: ALWAYS search the documents before answering, including questions that read like general knowledge. The expected answer comes from the named company's filing for the named period, never from memory.
- When a question needs figures from more than one statement or period (an income statement AND a cash flow statement, two fiscal years), run a SEPARATE search for each figure instead of one combined query.
- Search again whenever the results are thin, come from another company or another period, or cover only part of the question. Refine the wording, or search for the missing figure specifically.
- Stop when further searching would add nothing — not merely when you have something to say.INSTRUCTION
You answer questions from your own knowledge. You have no documents and no search. Answer directly and concisely. If you do not know, say so in one sentence.
MESSAGE
QUESTION: <question>The answer step above, unchanged, with the benchmark's own evidence for the question as the context chunks.Cómo reproducirlo
Repite los resultados legales
Descarga los conjuntos de datos, configura cada sistema como se indica abajo y califica con los prompts.
Conjuntos de datos
- LegalBench-RAG (mini), ZeroEntropy, github.com/zeroentropy-ai/legalbenchrag, licencia MIT
Se usa tal como se publicó. Esta página no reproduce ninguna pregunta, respuesta ni pasaje de él.
Cómo se configuró cada sistema
- OpenAI File Search. Vector store con fragmentación automática; la herramienta file-search, 10 resultados, una búsqueda.
- OpenAI Direct Search. El mismo vector store, consultado una vez con la pregunta, 10 resultados.
- Azure AI Search. Vectorización con el asistente de importación, fragmentos de 2.000 caracteres con 500 de solapamiento, text-embedding-3-large; una consulta híbrida con el clasificador semántico, top 10.
- Vertex AI Search. Edición Standard, UE; analizador de diseño, fragmentos de 500 tokens con los encabezados superiores; una búsqueda, clasificación predeterminada, expansión de consultas desactivada, top 10; comillas eliminadas de la consulta (ver abajo).
- Hippocampus. Configuración predeterminada, nada ajustado para cada prueba; una búsqueda por pregunta a través de la API de búsqueda, versión de búsqueda del 18 de octubre de 2026 (LegalBench-RAG: la versión del 19 de octubre, sin diferencia medible).
Cómo se calificaron las respuestas
- Mismos documentos. Todos los sistemas indexaron archivos idénticos, fijados por suma de comprobación.
- Una búsqueda por pregunta. La pregunta tal como está escrita; solo OpenAI File Search deja que el modelo redacte su consulta.
- Un paso de respuesta. GPT-5.4 mini (razonamiento bajo), la misma instrucción para todos los sistemas.
- Un juez. Claude Sonnet 5, tres votos por respuesta; cuenta la mayoría y, si los tres votos difieren, se toma el veredicto intermedio.
- Tasa de éxito. De las preguntas que el modelo de respuesta acierta cuando recibe las páginas correctas (el techo), la proporción que cada sistema acierta con su propia búsqueda. El suelo es el mismo modelo sin documentos.
Auditoría de los fallos
Claude Opus 5.5 clasificó cada respuesta que no coincidía con la referencia, de todos los sistemas y del techo, como fallo real, pregunta ambigua, problema de la referencia o correcta pero menos completa. La auditoría es automática y no sabía qué sistema había respondido.
Vertex AI Search y las comillas
Vertex AI Search interpreta las comillas dobles como un operador de frase exacta. Al enviar tal cual los nombres de las partes entrecomillados de LegalBench-RAG, 347 de sus 373 preguntas con comillas no devolvieron ningún pasaje, así que, solo para Vertex, eliminamos las comillas de la consulta de búsqueda. El paso de respuesta vio todas las preguntas tal como estaban escritas.
Prompts
Todos los prompts, literalmente. Los marcadores de posición entre corchetes angulares se rellenan para cada pregunta; no se envió nada más. El suelo es el modelo de respuesta sin documentos; el techo es el mismo modelo con las páginas correctas.
INSTRUCTION
You answer questions using only the provided material. Answer directly and concisely, stating the fact asked for. If the material does not contain the answer, say so plainly instead of guessing.
MESSAGE
CONTEXT CHUNKS:
--- Source 1 ---
Document: <document title>
<passage text>
--- Source 2 ---
…
---
QUESTION: <the dataset's question, verbatim>SYSTEM PROMPT
You grade a retrieval assistant's answer against a reference answer.
Reply with ONLY a JSON object:
{"verdict": "correct" | "partially_correct" | "incorrect" | "refused",
"reference_suspect": true | false,
"reference_suspect_quote": "<verbatim quote from the ANSWER, or null>",
"matched_variant": <integer index, or null>,
"rationale": "<one sentence>"}
Definitions:
- "correct": conveys the same substance the question asked for.
- "partially_correct": part of that substance, with a material omission — or right
but hedged so heavily the reader could not act on it.
- "incorrect": CONTRADICTS the reference on something the question asked for.
- "refused": declines to answer, says the information is not available, or asks
for clarification instead of answering.
Scope rule — apply this first, it is the one graders get wrong:
The reference states what a correct answer must CONTAIN, never what it may not
also say. Anything the answer adds beyond the reference is OUTSIDE the
reference's scope: it can never lower the verdict. Extra findings, extra caveats,
additional true detail, more sources, richer formatting — all irrelevant to the
grade. Only a CONTRADICTION of something the question asked for counts against
the answer. "Mentions things the reference does not mention" is not a defect.
Numeric agreement — use these bands, do not invent a tolerance:
- within 10% of the reference value, or inside a stated confidence interval → treat as matching
- 10-25% off, same direction and same conclusion → at most "partially_correct"
- more than 25% off, or the opposite direction/conclusion → "incorrect"
- a DIFFERENT statistic that the answer clearly labels (per-trial where the
reference pooled, a subgroup where the reference used all trials) is not a
contradiction: grade "partially_correct" if the question asked for the
reference's aggregation level, "correct" if it did not.
matched_variant: when ALTERNATIVE ACCEPTABLE ANSWERS are supplied below, they are
every bit as correct as the primary reference - they record that this question has
more than one legitimate reading (a different trial, a different table, normalized
vs. raw figures, label vs. clinical study report). Grade against the primary
reference AND every alternative, and award the BEST verdict any of them yields.
Set matched_variant to the 0-based index of the alternative that produced it, or
null when the primary reference did. Never lower a verdict because the answer
matched an alternative rather than the primary - choosing between legitimate
sources is not the assistant's error.
reference_suspect: set true ONLY when the answer cites the corpus for something
that CONTRADICTS the reference, and put that verbatim quote from the answer in
reference_suspect_quote. No quote means no flag — leave it false and set the
quote to null.
Two failures this rule exists to prevent, both real:
- An answer that simply does not mention what the reference says is NOT evidence
the reference is wrong. It may be answering a narrower or different question.
A contract reference read "appointed as sole and exclusive agent"; the answer
said the party is called "the Customer". Both are true in the document, the
answer just addressed a different clause. That was flagged and should not have
been.
- Do not protect the reference because it is the reference. Where the answer
cites the document for a specific, checkable claim and the reference asserts
something the document does not support, say so — even though your verdict is
"incorrect". [One example omitted here: it came from a test that is not in this report.]
Still give your best verdict on the merits either way. This exists because gold
answers written from secondary material have repeatedly turned out to contradict
the source documents.
Grade only substance. Do not reward style, apologies or confidence. An answer
that is right for the wrong reason is still "correct" — judging the reasoning is
not your job.
MESSAGE
QUESTION:
<question>
REFERENCE ANSWER:
<the dataset's reference answer>
ASSISTANT'S ANSWER:
<the system's answer>INSTRUCTION
You answer questions from your own knowledge. You have no documents and no search. Answer directly and concisely. If you do not know, say so in one sentence.
MESSAGE
QUESTION: <question>The answer step above, unchanged, with the benchmark's own evidence for the question as the context chunks.Cómo lo probamos
El método en salud
Los documentos son públicos; las preguntas no. Esto es lo que se ejecutó.
Datos
Diez documentos públicos de la FDA, 2.198 páginas: revisiones, fichas técnicas y una publicación de ensayo sobre Saxenda, Wegovy y Zepbound. Dieciséis preguntas, cada una formulada tres veces en conversaciones independientes: 8 fáciles, 4 de dificultad media y 4 difíciles, una de ellas una pregunta de control que los documentos no pueden responder, en la que lo correcto es rechazarla.
Cómo se configuró cada sistema
- Hippocampus. Busca tantas veces como necesita, hasta 12, con recuperación jerárquica; además recibe una visión general de la colección, una breve guía de búsqueda e instrucciones de respuesta, refinadas en ejecuciones anteriores con estas preguntas.
- OpenAI File Search. Los diez PDF en un vector store con fragmentación predeterminada; hasta 12 llamadas y 10 resultados por llamada, ajustes de esta evaluación.
- Búsqueda en vector store de OpenAI. El mismo store, una búsqueda con la pregunta, 10 resultados.
- PageIndex. Documentos indexados por el servicio en la nube de PageIndex; en un solo paso, el modelo eligió hasta seis secciones de los diez árboles de documentos y respondió a partir de ellas, de hasta 12.000 caracteres cada una. Es nuestra adaptación de la búsqueda en árbol publicada por PageIndex.
- Sin documentos. El mismo modelo por sí solo.
GPT-5.4 mini redactó todas las respuestas: lo único que se mantuvo fijo.
Cómo se calificaron las respuestas
GPT-5, tres votos, por mayoría, frente a las respuestas de referencia del conjunto de preguntas. Rechazar la pregunta de control cuenta como correcto. Las respuestas parcialmente correctas y las preguntas con respuesta que se rechazaron puntúan cero. Antes de las ejecuciones, se corrigieron tres respuestas de referencia contrastándolas con los documentos fuente, y todos los sistemas se calificaron con el mismo conjunto corregido.
Repetición y el modelo más potente
OpenAI File Search ejecutó el conjunto completo dos veces con ajustes idénticos y obtuvo 38 y 34 de 48. Los demás sistemas se ejecutaron una vez, así que las diferencias de unas pocas respuestas pueden deberse solo a la variación entre ejecuciones. Con Claude Opus 5 respondiendo, la misma configuración de Hippocampus acertó 93 de 96 en dos ejecuciones completas (47 y 46 de 48); los demás sistemas no se ejecutaron con ese modelo, así que esa cifra no es una comparación.
Preguntas y respuestas de referencia
Los diez documentos son públicos: publicaciones de la FDA y un artículo de revista revisado por pares. Las preguntas y las respuestas de referencia se redactaron con un cliente y le pertenecen; con el acuerdo de ese cliente, podemos mostrárselas a partes cualificadas, junto con cada respuesta calificada, bajo un acuerdo de confidencialidad (NDA).
- 92% tasa de éxito en FinanceBench De las preguntas que resolvería una búsqueda perfecta, Hippocampus resuelve el 92 %. El siguiente sistema: 77 %.
- 86% de todas las preguntas de FinanceBench respondidas correctamente Cuentan todas las preguntas, sin filtrar ninguna. El siguiente sistema: 70 %.
- 85% de la evidencia encontrada en FinanceBench Proporción de los pasajes necesarios para responder que encontró la búsqueda. El siguiente sistema: 58 %.
Cara a cara
FinanceBench: tasa de éxito por sistema
150 preguntas de analista sobre 84 informes de empresas estadounidenses, de Patronus AI. Cada barra es la proporción de preguntas con respuesta que el sistema acierta con su propia búsqueda.
Leer el informe completoAnálisis de resultados
Lo que muestra FinanceBench.
Cifras, ratios y valoraciones sobre las finanzas de una empresa, en 84 informes anuales, trimestrales y de hechos relevantes (10-K, 10-Q, 8-K). Cercano al trabajo real de un analista: un documento por pregunta, mencionado en la propia pregunta.
Cara a cara
SECQUE: tasa de éxito por sistema
565 preguntas de expertos sobre 45 informes presentados ante la SEC, de Ben Yoash et al. Cada barra es la proporción de preguntas con respuesta que el sistema acierta con su propia búsqueda.
Leer el informe completoAnálisis de resultados
Lo que muestra SECQUE.
Comparar y calcular ratios, tendencias y riesgos en 45 informes presentados ante la SEC. Tareas realistas de analista: las respuestas suelen necesitar varios pasajes y un cálculo.
- 85.7% tasa de éxito De las preguntas que resolvería una búsqueda perfecta, Hippocampus resuelve el 85,7 %. El siguiente sistema: 78,3 %.
- 82% de todas las preguntas respondidas correctamente Cuentan todas las preguntas, sin filtrar ninguna. El siguiente sistema: 75 %.
- 86% de la evidencia encontrada Proporción de los pasajes necesarios para responder que encontró la búsqueda. El siguiente sistema: 75 %.
Cara a cara
LegalBench-RAG: tasa de éxito por sistema
776 preguntas sobre 72 contratos y políticas de privacidad, de ZeroEntropy. Cada barra es la proporción de preguntas con respuesta que el sistema acierta con su propia búsqueda.
Leer el informe completoAnálisis de resultados
Lo que muestra LegalBench-RAG.
Acuerdos de confidencialidad, acuerdos de fusión, contratos comerciales y políticas de privacidad: 72 documentos, la partición mini de LegalBench-RAG. Cercano al trabajo de revisión jurídica: la respuesta es un pasaje de un documento concreto, mencionado por su nombre, entre acuerdos muy parecidos.
- 100% precisión de recuperación Con Claude Opus 5 respondiendo. Se alcanzó un documento fuente correcto para cada pregunta con respuesta, en cada repetición.
- 97% correctas Con Claude Opus 5 respondiendo. Dos ejecuciones completas del conjunto de preguntas (47 de 48 y 46 de 48), incluida la pregunta de control rechazada en las seis repeticiones.
- 6/6 pregunta de control rechazada Con Claude Opus 5 respondiendo. Ante algo que los documentos no pueden responder, rechazó la pregunta de control en las seis repeticiones.
Cara a cara
Salud: respuestas correctas por sistema
Todos los sistemas respondieron a través de GPT-5.4 mini, el mismo modelo pequeño.
Leer el informe completoAnálisis de resultados
Lo que muestra el benchmark de la FDA.
Todos los sistemas con acceso a los documentos respondieron la mayoría (de 19 a 24 de 24), y el modelo solo respondió la mitad con su propio conocimiento, ya que son documentos públicos. Las búsquedas de un solo dato apenas separan a los sistemas.
Pruébalo con tus propios documentos.
Nivel gratuito, sin tarjeta, sin clave de API. Importa un documento y hazle la pregunta en la que las alternativas fallan.