Voyez par vous-même.
Des benchmarks publics sur des rapports financiers réglementaires et des contrats, et notre benchmark FDA. Passez de l'un à l'autre et vérifiez les preuves vous-même.
FinanceBench et LegalBench-RAG, testés le 20 octobre 2026, et notre benchmark FDA. Dans les benchmarks publics, chaque système a effectué une recherche par question, avec le même modèle de réponse (GPT-5.4 mini, raisonnement faible) et le même juge (Claude Sonnet 5, majorité de trois votes). Le temps de recherche a été mesuré dans la version 2.4 de notre rapport de benchmark.
- 92% de taux de réussite sur FinanceBench Parmi les questions qu'une recherche parfaite résoudrait, Hippocampus en résout 92 %. Meilleur des autres systèmes : 77 %.
- 86% de taux de réussite sur LegalBench-RAG Parmi les questions qu'une recherche parfaite résoudrait, Hippocampus en résout 86 %. Meilleur des autres systèmes : 78 %.
- 1,8 s temps de recherche médian d'Hippocampus Vertex AI Search 0,3 s, Azure AI Search 0,4 s, tous deux moins précis.
Face à face
FinanceBench : taux de réussite par système
150 questions d'analystes sur 84 rapports réglementaires de sociétés américaines, de Patronus AI. Chaque barre représente la part des questions résolubles auxquelles le système répond juste avec sa propre recherche.
Lire le rapport completFace à face
LegalBench-RAG : taux de réussite par système
776 questions sur 72 contrats et politiques de confidentialité, de ZeroEntropy. Chaque barre représente la part des questions résolubles auxquelles le système répond juste avec sa propre recherche.
Lire le rapport completFace à face
Santé : bonnes réponses par système
Chaque système a répondu via GPT-5.4 mini, le même petit modèle.
Lire le rapport completSanté
Mais avec un modèle plus puissant, le résultat s'améliore encore.
- 100% de précision de récupération Réponses de Claude Opus 5. Un document source correct atteint pour chaque question à laquelle on peut répondre, à chaque répétition.
- 97% correctes Réponses de Claude Opus 5. Deux passages complets du jeu de questions (47 sur 48 et 46 sur 48), y compris la question de contrôle déclinée lors des six répétitions.
- 6/6 question de contrôle déclinée Réponses de Claude Opus 5. Face à une question à laquelle les documents ne permettent pas de répondre, il a décliné la question de contrôle lors des six répétitions.
Notre méthode de test
Le même test pour chaque système
En Finance et en Juridique, chaque système a indexé les mêmes documents et effectué une recherche par question. Le même modèle de réponse (GPT-5.4 mini, raisonnement faible) a rédigé chaque réponse, et le même juge (Claude Sonnet 5, trois votes) l'a notée. En Santé, GPT-5.4 mini a rédigé chaque réponse représentée dans les barres, GPT-5 les a notées (trois votes), et Hippocampus pouvait effectuer jusqu'à 12 recherches.
Choisissez Finance, Juridique ou Santé pour voir comment ce benchmark a été mené.
Comment reproduire
Reproduisez les résultats en finance
Téléchargez les jeux de données, configurez chaque système comme ci-dessous et notez les réponses avec les prompts fournis.
Jeux de données
- FinanceBench (les 150 questions en open source), Patronus AI, github.com/patronus-ai/financebench, licence CC BY-NC 4.0
- SECQUE, Ben Yoash et al., huggingface.co/datasets/nogabenyoash/SecQue, licence MIT
Utilisés tels que publiés. Cette page ne reproduit aucune de leurs questions, réponses ou passages.
Configuration de chaque système
- OpenAI File Search. Vector store avec découpage automatique ; l'outil file-search, 10 résultats, une recherche.
- OpenAI Direct Search. Le même vector store, interrogé une fois avec la question, 10 résultats.
- Azure AI Search. Vectorisation par l'assistant d'importation, fragments de 2 000 caractères avec un chevauchement de 500, text-embedding-3-large ; une requête hybride avec le classeur sémantique, top 10.
- Vertex AI Search. Édition Standard, UE ; analyseur de mise en page, fragments de 500 tokens avec les titres parents ; une recherche, classement par défaut, expansion de requête désactivée, top 10.
- Hippocampus. Paramètres par défaut, aucun réglage propre à un test ; une recherche par question via l'API de recherche, version de recherche du 18 octobre 2026.
Notation des réponses
- Mêmes documents. Chaque système a indexé les mêmes fichiers, figés par somme de contrôle.
- Une recherche par question. La question telle que rédigée ; seul OpenAI File Search laisse le modèle rédiger sa requête.
- Une seule étape de réponse. GPT-5.4 mini (raisonnement faible), la même instruction pour chaque système.
- Un seul juge. Claude Sonnet 5, trois votes par réponse ; la majorité l'emporte, et en cas de trois verdicts différents, le verdict médian est retenu.
- Taux de réussite. Parmi les questions que le modèle de réponse résout quand on lui fournit les bonnes pages (le plafond), la part que chaque système résout avec sa propre recherche. Le plancher est le même modèle sans aucun document.
Audit des échecs
Chaque réponse non conforme à la référence, pour chaque système et pour le plafond, a été classée par Claude Opus 5.5 comme un véritable échec, une question ambiguë, un problème de référence, ou une réponse juste mais moins complète. L'audit est automatisé et ne savait pas quel système avait répondu.
Prompts
Chaque prompt, mot pour mot. Les variables entre chevrons sont remplies pour chaque question ; rien d'autre n'a été envoyé. Le plancher est le modèle de réponse sans documents ; le plafond est le même modèle auquel on fournit les bonnes pages.
File Search est le seul système dont la requête est rédigée par le modèle. Sur FinanceBench et SECQUE, GPT-5.4 mini l'a rédigée selon ces instructions, limité à une seule recherche ; sa réponse a ensuite été écartée et remplacée par l'étape de réponse commune.
INSTRUCTION
You answer questions using only the provided material. Answer directly and concisely, stating the fact asked for. If the material does not contain the answer, say so plainly instead of guessing.
MESSAGE
CONTEXT CHUNKS:
--- Source 1 ---
Document: <document title>
<passage text>
--- Source 2 ---
…
---
QUESTION: <the dataset's question, verbatim>SYSTEM PROMPT
You grade a retrieval assistant's answer against a reference answer.
Reply with ONLY a JSON object:
{"verdict": "correct" | "partially_correct" | "incorrect" | "refused",
"reference_suspect": true | false,
"reference_suspect_quote": "<verbatim quote from the ANSWER, or null>",
"matched_variant": <integer index, or null>,
"rationale": "<one sentence>"}
Definitions:
- "correct": conveys the same substance the question asked for.
- "partially_correct": part of that substance, with a material omission — or right
but hedged so heavily the reader could not act on it.
- "incorrect": CONTRADICTS the reference on something the question asked for.
- "refused": declines to answer, says the information is not available, or asks
for clarification instead of answering.
Scope rule — apply this first, it is the one graders get wrong:
The reference states what a correct answer must CONTAIN, never what it may not
also say. Anything the answer adds beyond the reference is OUTSIDE the
reference's scope: it can never lower the verdict. Extra findings, extra caveats,
additional true detail, more sources, richer formatting — all irrelevant to the
grade. Only a CONTRADICTION of something the question asked for counts against
the answer. "Mentions things the reference does not mention" is not a defect.
Numeric agreement — use these bands, do not invent a tolerance:
- within 10% of the reference value, or inside a stated confidence interval → treat as matching
- 10-25% off, same direction and same conclusion → at most "partially_correct"
- more than 25% off, or the opposite direction/conclusion → "incorrect"
- a DIFFERENT statistic that the answer clearly labels (per-trial where the
reference pooled, a subgroup where the reference used all trials) is not a
contradiction: grade "partially_correct" if the question asked for the
reference's aggregation level, "correct" if it did not.
matched_variant: when ALTERNATIVE ACCEPTABLE ANSWERS are supplied below, they are
every bit as correct as the primary reference - they record that this question has
more than one legitimate reading (a different trial, a different table, normalized
vs. raw figures, label vs. clinical study report). Grade against the primary
reference AND every alternative, and award the BEST verdict any of them yields.
Set matched_variant to the 0-based index of the alternative that produced it, or
null when the primary reference did. Never lower a verdict because the answer
matched an alternative rather than the primary - choosing between legitimate
sources is not the assistant's error.
reference_suspect: set true ONLY when the answer cites the corpus for something
that CONTRADICTS the reference, and put that verbatim quote from the answer in
reference_suspect_quote. No quote means no flag — leave it false and set the
quote to null.
Two failures this rule exists to prevent, both real:
- An answer that simply does not mention what the reference says is NOT evidence
the reference is wrong. It may be answering a narrower or different question.
A contract reference read "appointed as sole and exclusive agent"; the answer
said the party is called "the Customer". Both are true in the document, the
answer just addressed a different clause. That was flagged and should not have
been.
- Do not protect the reference because it is the reference. Where the answer
cites the document for a specific, checkable claim and the reference asserts
something the document does not support, say so — even though your verdict is
"incorrect". [One example omitted here: it came from a test that is not in this report.]
Still give your best verdict on the merits either way. This exists because gold
answers written from secondary material have repeatedly turned out to contradict
the source documents.
Grade only substance. Do not reward style, apologies or confidence. An answer
that is right for the wrong reason is still "correct" — judging the reasoning is
not your job.
MESSAGE
QUESTION:
<question>
REFERENCE ANSWER:
<the dataset's reference answer>
ASSISTANT'S ANSWER:
<the system's answer>INSTRUCTION
Answer as briefly as the question allows. State the specific answer first: the figure with its unit and the fiscal period it belongs to, or the yes/no with the one fact that decides it. When the answer has to be computed, give the inputs and the formula in one line. No preamble, no restating the question, no closing remarks. Keep citations.
SEARCH INSTRUCTIONS
- This is a document-grounded question set over company filings: ALWAYS search the documents before answering, including questions that read like general knowledge. The expected answer comes from the named company's filing for the named period, never from memory.
- When a question needs figures from more than one statement or period (an income statement AND a cash flow statement, two fiscal years), run a SEPARATE search for each figure instead of one combined query.
- Search again whenever the results are thin, come from another company or another period, or cover only part of the question. Refine the wording, or search for the missing figure specifically.
- Stop when further searching would add nothing — not merely when you have something to say.INSTRUCTION
You answer questions from your own knowledge. You have no documents and no search. Answer directly and concisely. If you do not know, say so in one sentence.
MESSAGE
QUESTION: <question>The answer step above, unchanged, with the benchmark's own evidence for the question as the context chunks.Comment reproduire
Reproduisez les résultats juridiques
Téléchargez les jeux de données, configurez chaque système comme ci-dessous et notez les réponses avec les prompts fournis.
Jeux de données
- LegalBench-RAG (mini), ZeroEntropy, github.com/zeroentropy-ai/legalbenchrag, licence MIT
Utilisé tel que publié. Cette page ne reproduit aucune de ses questions, réponses ou passages.
Configuration de chaque système
- OpenAI File Search. Vector store avec découpage automatique ; l'outil file-search, 10 résultats, une recherche.
- OpenAI Direct Search. Le même vector store, interrogé une fois avec la question, 10 résultats.
- Azure AI Search. Vectorisation par l'assistant d'importation, fragments de 2 000 caractères avec un chevauchement de 500, text-embedding-3-large ; une requête hybride avec le classeur sémantique, top 10.
- Vertex AI Search. Édition Standard, UE ; analyseur de mise en page, fragments de 500 tokens avec les titres parents ; une recherche, classement par défaut, expansion de requête désactivée, top 10 ; guillemets retirés de la requête (voir ci-dessous).
- Hippocampus. Paramètres par défaut, aucun réglage propre à un test ; une recherche par question via l'API de recherche, version de recherche du 18 octobre 2026 (LegalBench-RAG : version du 19 octobre, sans différence mesurable).
Notation des réponses
- Mêmes documents. Chaque système a indexé les mêmes fichiers, figés par somme de contrôle.
- Une recherche par question. La question telle que rédigée ; seul OpenAI File Search laisse le modèle rédiger sa requête.
- Une seule étape de réponse. GPT-5.4 mini (raisonnement faible), la même instruction pour chaque système.
- Un seul juge. Claude Sonnet 5, trois votes par réponse ; la majorité l'emporte, et en cas de trois verdicts différents, le verdict médian est retenu.
- Taux de réussite. Parmi les questions que le modèle de réponse résout quand on lui fournit les bonnes pages (le plafond), la part que chaque système résout avec sa propre recherche. Le plancher est le même modèle sans aucun document.
Audit des échecs
Chaque réponse non conforme à la référence, pour chaque système et pour le plafond, a été classée par Claude Opus 5.5 comme un véritable échec, une question ambiguë, un problème de référence, ou une réponse juste mais moins complète. L'audit est automatisé et ne savait pas quel système avait répondu.
Vertex AI Search et les guillemets
Vertex AI Search interprète les guillemets doubles comme un opérateur d'expression exacte. LegalBench-RAG met les noms des parties entre guillemets : envoyées telles quelles, 347 de ses 373 questions avec guillemets n'ont renvoyé aucun passage ; pour Vertex uniquement, nous avons donc retiré les guillemets de la requête de recherche. L'étape de réponse a vu chaque question telle que rédigée.
Prompts
Chaque prompt, mot pour mot. Les variables entre chevrons sont remplies pour chaque question ; rien d'autre n'a été envoyé. Le plancher est le modèle de réponse sans documents ; le plafond est le même modèle auquel on fournit les bonnes pages.
INSTRUCTION
You answer questions using only the provided material. Answer directly and concisely, stating the fact asked for. If the material does not contain the answer, say so plainly instead of guessing.
MESSAGE
CONTEXT CHUNKS:
--- Source 1 ---
Document: <document title>
<passage text>
--- Source 2 ---
…
---
QUESTION: <the dataset's question, verbatim>SYSTEM PROMPT
You grade a retrieval assistant's answer against a reference answer.
Reply with ONLY a JSON object:
{"verdict": "correct" | "partially_correct" | "incorrect" | "refused",
"reference_suspect": true | false,
"reference_suspect_quote": "<verbatim quote from the ANSWER, or null>",
"matched_variant": <integer index, or null>,
"rationale": "<one sentence>"}
Definitions:
- "correct": conveys the same substance the question asked for.
- "partially_correct": part of that substance, with a material omission — or right
but hedged so heavily the reader could not act on it.
- "incorrect": CONTRADICTS the reference on something the question asked for.
- "refused": declines to answer, says the information is not available, or asks
for clarification instead of answering.
Scope rule — apply this first, it is the one graders get wrong:
The reference states what a correct answer must CONTAIN, never what it may not
also say. Anything the answer adds beyond the reference is OUTSIDE the
reference's scope: it can never lower the verdict. Extra findings, extra caveats,
additional true detail, more sources, richer formatting — all irrelevant to the
grade. Only a CONTRADICTION of something the question asked for counts against
the answer. "Mentions things the reference does not mention" is not a defect.
Numeric agreement — use these bands, do not invent a tolerance:
- within 10% of the reference value, or inside a stated confidence interval → treat as matching
- 10-25% off, same direction and same conclusion → at most "partially_correct"
- more than 25% off, or the opposite direction/conclusion → "incorrect"
- a DIFFERENT statistic that the answer clearly labels (per-trial where the
reference pooled, a subgroup where the reference used all trials) is not a
contradiction: grade "partially_correct" if the question asked for the
reference's aggregation level, "correct" if it did not.
matched_variant: when ALTERNATIVE ACCEPTABLE ANSWERS are supplied below, they are
every bit as correct as the primary reference - they record that this question has
more than one legitimate reading (a different trial, a different table, normalized
vs. raw figures, label vs. clinical study report). Grade against the primary
reference AND every alternative, and award the BEST verdict any of them yields.
Set matched_variant to the 0-based index of the alternative that produced it, or
null when the primary reference did. Never lower a verdict because the answer
matched an alternative rather than the primary - choosing between legitimate
sources is not the assistant's error.
reference_suspect: set true ONLY when the answer cites the corpus for something
that CONTRADICTS the reference, and put that verbatim quote from the answer in
reference_suspect_quote. No quote means no flag — leave it false and set the
quote to null.
Two failures this rule exists to prevent, both real:
- An answer that simply does not mention what the reference says is NOT evidence
the reference is wrong. It may be answering a narrower or different question.
A contract reference read "appointed as sole and exclusive agent"; the answer
said the party is called "the Customer". Both are true in the document, the
answer just addressed a different clause. That was flagged and should not have
been.
- Do not protect the reference because it is the reference. Where the answer
cites the document for a specific, checkable claim and the reference asserts
something the document does not support, say so — even though your verdict is
"incorrect". [One example omitted here: it came from a test that is not in this report.]
Still give your best verdict on the merits either way. This exists because gold
answers written from secondary material have repeatedly turned out to contradict
the source documents.
Grade only substance. Do not reward style, apologies or confidence. An answer
that is right for the wrong reason is still "correct" — judging the reasoning is
not your job.
MESSAGE
QUESTION:
<question>
REFERENCE ANSWER:
<the dataset's reference answer>
ASSISTANT'S ANSWER:
<the system's answer>INSTRUCTION
You answer questions from your own knowledge. You have no documents and no search. Answer directly and concisely. If you do not know, say so in one sentence.
MESSAGE
QUESTION: <question>The answer step above, unchanged, with the benchmark's own evidence for the question as the context chunks.Comment nous avons testé
La méthode en santé
Les documents sont publics ; les questions ne le sont pas. Voici ce qui a été exécuté.
Données
Dix documents publics de la FDA, 2 198 pages : évaluations, notices et une publication d'essai clinique pour Saxenda, Wegovy et Zepbound. Seize questions, chacune posée trois fois dans des conversations indépendantes : 8 faciles, 4 moyennes et 4 difficiles, dont une question de contrôle à laquelle les documents ne permettent pas de répondre et pour laquelle décliner est la bonne réponse.
Configuration de chaque système
- Hippocampus. Effectue autant de recherches que nécessaire, jusqu'à 12, avec une récupération hiérarchique ; il reçoit aussi une vue d'ensemble de la collection, un court guide de recherche et des instructions de réponse, affinés lors d'exécutions antérieures sur ces questions.
- OpenAI File Search. Les dix PDF dans un seul vector store avec le découpage par défaut ; jusqu'à 12 appels et 10 résultats par appel, réglages propres à cette évaluation.
- Recherche OpenAI vector store. Le même vector store, une recherche avec la question, 10 résultats.
- PageIndex. Documents indexés par le service cloud de PageIndex ; en une étape, le modèle a choisi jusqu'à six sections parmi les dix arbres de documents et a répondu à partir d'elles, jusqu'à 12 000 caractères chacune. Il s'agit de notre adaptation de la recherche arborescente publiée par PageIndex.
- Sans documents. Le même modèle, seul.
GPT-5.4 mini a rédigé chaque réponse : le seul élément maintenu constant.
Notation des réponses
GPT-5, trois votes, à la majorité, par rapport aux réponses de référence du jeu de questions. Décliner la question de contrôle compte comme une bonne réponse. Les réponses partiellement correctes et les questions déclinées alors qu'une réponse était possible valent zéro. Avant les exécutions, trois réponses de référence ont été corrigées d'après les documents sources, et chaque système a été noté par rapport au même jeu corrigé.
Répétition et modèle plus puissant
OpenAI File Search a passé le jeu complet deux fois avec des réglages identiques et a obtenu 38 et 34 sur 48. Les autres systèmes n'ont été exécutés qu'une fois ; des écarts de quelques réponses peuvent donc venir de la seule variation d'une exécution à l'autre. Avec Claude Opus 5 pour répondre, la même configuration d'Hippocampus a répondu correctement à 93 questions sur 96 sur deux passages complets (47 et 46 sur 48) ; les autres systèmes n'ont pas été exécutés avec ce modèle, ce chiffre n'est donc pas une comparaison.
Questions et réponses de référence
Les dix documents sont publics : des publications de la FDA et un article de revue à comité de lecture. Les questions et les réponses de référence ont été rédigées avec un client et lui appartiennent ; avec l'accord de ce client, nous pouvons les présenter à des parties qualifiées, avec chaque réponse notée, sous accord de confidentialité (NDA).
- 92% de taux de réussite sur FinanceBench Parmi les questions qu'une recherche parfaite résoudrait, Hippocampus en résout 92 %. Meilleur des autres systèmes : 77 %.
- 86% de bonnes réponses sur l'ensemble des questions FinanceBench Chaque question compte, rien n'est filtré. Meilleur des autres systèmes : 70 %.
- 85% des preuves FinanceBench trouvées Part des passages nécessaires à la réponse que la recherche a trouvés. Meilleur des autres systèmes : 58 %.
Face à face
FinanceBench : taux de réussite par système
150 questions d'analystes sur 84 rapports réglementaires de sociétés américaines, de Patronus AI. Chaque barre représente la part des questions résolubles auxquelles le système répond juste avec sa propre recherche.
Lire le rapport completAnalyse des résultats
Ce que montre FinanceBench.
Chiffres, ratios et appréciations sur les finances d'une société, à partir de 84 rapports annuels, trimestriels et ponctuels (10-K, 10-Q, 8-K). Proche du vrai travail d'analyste : un document par question, nommé dans la question.
Face à face
SECQUE : taux de réussite par système
565 questions d'experts sur 45 rapports déposés auprès de la SEC, de Ben Yoash et al. Chaque barre représente la part des questions résolubles auxquelles le système répond juste avec sa propre recherche.
Lire le rapport completAnalyse des résultats
Ce que montre SECQUE.
Comparer et calculer des ratios, des tendances et des risques sur 45 rapports déposés auprès de la SEC. Des tâches d'analyste réalistes : les réponses demandent souvent plusieurs passages et un calcul.
- 85.7% de taux de réussite Parmi les questions qu'une recherche parfaite résoudrait, Hippocampus en résout 85,7 %. Meilleur des autres systèmes : 78,3 %.
- 82% de bonnes réponses sur l'ensemble des questions Chaque question compte, rien n'est filtré. Meilleur des autres systèmes : 75 %.
- 86% des preuves trouvées Part des passages nécessaires à la réponse que la recherche a trouvés. Meilleur des autres systèmes : 75 %.
Face à face
LegalBench-RAG : taux de réussite par système
776 questions sur 72 contrats et politiques de confidentialité, de ZeroEntropy. Chaque barre représente la part des questions résolubles auxquelles le système répond juste avec sa propre recherche.
Lire le rapport completAnalyse des résultats
Ce que montre LegalBench-RAG.
Accords de confidentialité (NDA), accords de fusion, contrats commerciaux et politiques de confidentialité : 72 documents, le sous-ensemble mini de LegalBench-RAG. Proche du travail de revue juridique : la réponse est un passage d'un document nommé, parmi des accords qui se ressemblent.
- 100% de précision de récupération Réponses de Claude Opus 5. Un document source correct atteint pour chaque question à laquelle on peut répondre, à chaque répétition.
- 97% correctes Réponses de Claude Opus 5. Deux passages complets du jeu de questions (47 sur 48 et 46 sur 48), y compris la question de contrôle déclinée lors des six répétitions.
- 6/6 question de contrôle déclinée Réponses de Claude Opus 5. Face à une question à laquelle les documents ne permettent pas de répondre, il a décliné la question de contrôle lors des six répétitions.
Face à face
Santé : bonnes réponses par système
Chaque système a répondu via GPT-5.4 mini, le même petit modèle.
Lire le rapport completAnalyse des résultats
Ce que montre le benchmark FDA.
Chaque système ayant accès aux documents a répondu à la plupart d'entre elles (19 à 24 sur 24), et le modèle seul a répondu à la moitié à partir de ses propres connaissances, puisqu'il s'agit de documents publics. Les recherches portant sur un seul fait ne font guère de différence entre les systèmes.
Voyez-le sur vos propres documents.
Offre Free, sans carte, sans clé API. Importez un document et posez-lui la question que les alternatives ratent.