Benchmarks · 21 octobre 2026
Hippocampus sur LegalBench-RAG : taux de réussite de 86 %, devant tous les autres systèmes de récupération
Sur LegalBench-RAG, Hippocampus atteint un taux de réussite de 86 %, devant tous les autres systèmes de récupération. Le suivant est Azure AI Search, à 78 %.
Sur cette pageLe test
Le test
LegalBench-RAG, de ZeroEntropy, demande la clause qui répond à une question sur un contrat ou une politique précis : accords de confidentialité (NDA), accords de fusion, contrats commerciaux, politiques de confidentialité. Nous avons utilisé son sous-ensemble mini : 776 questions sur 72 documents qui se ressemblent souvent. C'est l'un des tests de notre rapport de benchmark, version 3.1, du 20 octobre 2026.
Comment lire les chiffres
- Taux de réussite : parmi les questions qu'une recherche parfaite résoudrait, la part que chaque système résout. Ici, une recherche parfaite consiste à fournir au modèle de réponse les pages justificatives propres à chaque question ; les questions qu'il manque encore (une réponse de référence erronée, une question ambiguë, ou une question trop difficile même avec les bonnes pages) sont écartées.
- Bonnes réponses (toutes les questions) : chaque question compte, rien n'est filtré. Une réponse est juste lorsque le juge la trouve conforme à la réponse de référence du jeu de données. Hippocampus 82 %, Azure AI Search 75 %.
- Preuves trouvées : la part des passages nécessaires pour répondre que la recherche a trouvés, en moyenne.
- Pour situer : sans documents, le modèle de réponse obtient 28,2 % de bonnes réponses de mémoire. Avec les bonnes pages, il en obtient 92,0 %.
Résultats
| Système | Taux de réussite | Bonnes réponses (toutes les questions) | Preuves trouvées |
|---|---|---|---|
| Hippocampus | 85,7 % | 81,8 % | 86 % |
| Azure AI Search | 78,3 % | 74,5 % | 75 % |
| Vertex AI Search | 76,1 % | 72,6 % | 74 % |
| OpenAI File Search | 74,9 % | 71,1 % | 72 % |
| OpenAI Direct Search | 70,6 % | 67,1 % | 65 % |
- Face à face avec Hippocampus : Azure AI Search 102 : 45 (p < 10⁻⁵), Vertex AI Search 125 : 53 (p < 10⁻⁷), OpenAI File Search 134 : 51 (p < 10⁻⁹), OpenAI Direct Search 149 : 35 (p < 10⁻¹⁷). Chaque paire oppose les questions où Hippocampus a répondu juste et l'autre système non, au cas inverse (test des signes bilatéral).
La référence est un passage plutôt qu'une réponse courte, si bien qu'une réponse formulée autrement que la clause peut perdre des points ; environ 3 % des questions (20 sur 776) sont contestées.
Vertex AI Search et les guillemets. Vertex AI Search interprète les guillemets doubles comme un opérateur d'expression exacte, et LegalBench-RAG met les noms des parties entre guillemets. Envoyées telles quelles, 347 des 373 questions avec guillemets n'ont renvoyé aucun passage, et Vertex AI Search a répondu juste à 37 % de l'ensemble des questions. Les autres systèmes ont renvoyé des passages pour chacune. Pour Vertex AI Search uniquement, nous avons retiré les guillemets de la requête de recherche, d'où ses chiffres dans le tableau. L'étape de réponse a vu chaque question telle qu'elle était rédigée.
Taux de réussite sur LegalBench-RAG, cinq systèmes de récupération
Parmi les questions auxquelles le modèle de réponse répond juste quand on lui fournit les bonnes pages, chaque barre est la part qu'un système résout avec sa propre recherche.
- Hippocampus 85,7 %
- Azure AI Search 78,3 %
- Vertex AI Search 76,1 %
- OpenAI File Search 74,9 %
- OpenAI Direct Search 70,6 %
Vue tableau : chaque décompte derrière le graphique
| Nom | Valeur | Remarque |
|---|---|---|
| Hippocampus | 85,7 % | |
| Azure AI Search | 78,3 % | |
| Vertex AI Search | 76,1 % | Guillemets retirés de sa requête de recherche ; envoyée telle quelle, 37 % de bonnes réponses sur l'ensemble des questions |
| OpenAI File Search | 74,9 % | |
| OpenAI Direct Search | 70,6 % |
Bonnes réponses sur LegalBench-RAG, toutes les questions comptées
Chaque barre est la part de toutes les questions auxquelles la réponse est conforme à la référence ; le modèle de réponse seul et celui qui reçoit les bonnes pages figurent pour situer.
- Hippocampus 81,8 %
- Azure AI Search 74,5 %
- Vertex AI Search 72,6 %
- OpenAI File Search 71,1 %
- OpenAI Direct Search 67,1 %
- Pour situer : le modèle de réponse avec les bonnes pages 92,0 %
- Pour situer : le modèle de réponse seul, sans documents 28,2 %
Vue tableau : chaque décompte derrière le graphique
| Nom | Valeur | Remarque |
|---|---|---|
| Hippocampus | 81,8 % | |
| Azure AI Search | 74,5 % | |
| Vertex AI Search | 72,6 % | Guillemets retirés de sa requête de recherche ; envoyée telle quelle, 37 % de bonnes réponses sur l'ensemble des questions |
| OpenAI File Search | 71,1 % | |
| OpenAI Direct Search | 67,1 % | |
| Pour situer : le modèle de réponse avec les bonnes pages | 92,0 % | |
| Pour situer : le modèle de réponse seul, sans documents | 28,2 % |
Nos échecs
Un audit automatisé a examiné les 141 questions auxquelles Hippocampus n'a pas bien répondu : 88 véritables échecs, 4 questions ambiguës, 27 problèmes de référence et 22 réponses justes mais moins complètes que la référence. Les véritables échecs représentent 11 % de l'ensemble des questions. L'audit aide à analyser les échecs ; ce n'est pas un verdict humain.
Vitesse
Hippocampus est ici le plus précis, pas le plus rapide. En médiane, une recherche prend 1,8 seconde dans Hippocampus, 0,4 seconde dans Azure AI Search, 0,3 seconde dans Vertex AI Search et 1,7 seconde dans OpenAI Direct Search. Ces temps proviennent de la version 2.4 du rapport et ne couvrent que la recherche.
Sur les contrats, les systèmes sont plus proches les uns des autres que sur les rapports financiers, et l'avance reste nette face à chacun d'eux. Quand les documents se ressemblent, comme c'est le cas des accords d'un même type, le temps supplémentaire se traduit par un résultat différent.
Notre méthode de test
Chaque système a indexé les mêmes fichiers et effectué une recherche par question. Le même modèle de réponse (GPT-5.4 mini) et le même juge (Claude Sonnet 5) ont traité chaque réponse. Les paramètres complets et les prompts figurent sur la page des preuves, sous l'onglet Juridique.
Le jeu de données
LegalBench-RAG (le sous-ensemble mini) est publié par ZeroEntropy, sur github.com/zeroentropy-ai/legalbenchrag, sous licence MIT. Nous l'utilisons tel que publié et ne communiquons que les scores : aucune question, réponse ni aucun passage n'est reproduit ici.
