Benchmarks · 21. Oktober 2026
Hippocampus bei LegalBench-RAG: 86 % Erfolgsquote, vor jedem anderen Retrieval-System
Bei LegalBench-RAG erreicht Hippocampus eine Erfolgsquote von 86 % und liegt damit vor jedem anderen Retrieval-System. Dahinter folgt Azure AI Search mit 78 %.
Auf dieser SeiteDer Test
Der Test
LegalBench-RAG von ZeroEntropy fragt nach der Klausel, die eine Frage zu einem bestimmten Vertrag oder einer bestimmten Richtlinie beantwortet: Geheimhaltungsvereinbarungen, Fusionsverträge, Handelsverträge, Datenschutzerklärungen. Wir haben den Mini-Split ausgeführt: 776 Fragen zu 72 Dokumenten, die sich oft ähneln. Er ist einer der Tests in unserem Benchmark-Bericht, Version 3.1, vom 20. Oktober 2026.
So lesen Sie die Zahlen
- Erfolgsquote: der Anteil der von einer perfekten Suche lösbaren Fragen, den jedes System löst. Eine perfekte Suche heißt hier: Das Antwortmodell erhält zu jeder Frage deren eigene Belegseiten; die Fragen, die es trotzdem verfehlt (eine falsche Referenzantwort, eine mehrdeutige Frage oder eine, die selbst mit den richtigen Seiten zu schwer ist), bleiben unberücksichtigt.
- Richtig beantwortet (alle Fragen): Jede Frage zählt, nichts wird herausgefiltert. Eine Antwort ist richtig, wenn der Richter sie als übereinstimmend mit der Referenzantwort des Datensatzes bewertet. Hippocampus 81,8 %, Azure AI Search 74,5 %.
- Gefundene Belegpassagen: der Anteil der zur Antwort nötigen Passagen, den die Suche gefunden hat, im Durchschnitt.
- Zur Einordnung: Ohne Dokumente beantwortet das Antwortmodell 28,2 % der Fragen aus dem Gedächtnis richtig. Mit den richtigen Seiten sind es 92,0 %.
Ergebnisse
| System | Erfolgsquote | Richtig beantwortet (alle Fragen) | Gefundene Belegpassagen |
|---|---|---|---|
| Hippocampus | 85,7 % | 81,8 % | 86 % |
| Azure AI Search | 78,3 % | 74,5 % | 75 % |
| Vertex AI Search | 76,1 % | 72,6 % | 74 % |
| OpenAI File Search | 74,9 % | 71,1 % | 72 % |
| OpenAI Direct Search | 70,6 % | 67,1 % | 65 % |
- Direktvergleich mit Hippocampus: Azure AI Search 102 : 45 (p < 10⁻⁵), Vertex AI Search 125 : 53 (p < 10⁻⁷), OpenAI File Search 134 : 51 (p < 10⁻⁹), OpenAI Direct Search 149 : 35 (p < 10⁻¹⁷). Jedes Paar stellt die Fragen, die Hippocampus richtig beantwortet hat und das andere System nicht, dem umgekehrten Fall gegenüber (zweiseitiger Vorzeichentest).
Die Referenz ist eine Passage statt einer kurzen Antwort, daher kann eine Antwort, die anders formuliert ist als die Klausel, Punkte kosten; etwa 3 % der Fragen (20 von 776) sind strittig.
Vertex AI Search und Anführungszeichen. Vertex AI Search liest doppelte Anführungszeichen als Operator für eine exakte Wortfolge, und LegalBench-RAG setzt Parteinamen in Anführungszeichen. Unverändert gesendet, lieferten 347 der 373 Fragen mit Anführungszeichen keine Passage, und Vertex AI Search beantwortete 37 % aller Fragen richtig. Die anderen Systeme lieferten für jede dieser Fragen Passagen. Nur für Vertex AI Search haben wir die Anführungszeichen aus der Suchanfrage entfernt; daraus ergeben sich seine Werte in der Tabelle. Der Antwortschritt sah jede Frage im Originalwortlaut.
Erfolgsquote bei LegalBench-RAG, fünf Retrieval-Systeme
Von den Fragen, die das Antwortmodell mit den richtigen Seiten richtig beantwortet, ist jeder Balken der Anteil, den ein System mit seiner eigenen Suche richtig beantwortet.
- Hippocampus 85,7 %
- Azure AI Search 78,3 %
- Vertex AI Search 76,1 %
- OpenAI File Search 74,9 %
- OpenAI Direct Search 70,6 %
Tabellenansicht: jede Zahl hinter dem Diagramm
| Name | Wert | Hinweis |
|---|---|---|
| Hippocampus | 85,7 % | |
| Azure AI Search | 78,3 % | |
| Vertex AI Search | 76,1 % | Anführungszeichen aus der Suchanfrage entfernt; unverändert gesendet, 37 % aller Fragen richtig |
| OpenAI File Search | 74,9 % | |
| OpenAI Direct Search | 70,6 % |
Richtig beantwortet bei LegalBench-RAG, alle Fragen gezählt
Jeder Balken ist der Anteil aller Fragen, die in Übereinstimmung mit der Referenz beantwortet wurden; das Antwortmodell allein und mit den richtigen Seiten dienen zur Einordnung.
- Hippocampus 81,8 %
- Azure AI Search 74,5 %
- Vertex AI Search 72,6 %
- OpenAI File Search 71,1 %
- OpenAI Direct Search 67,1 %
- Zur Einordnung: das Antwortmodell mit den richtigen Seiten 92,0 %
- Zur Einordnung: das Antwortmodell allein, ohne Dokumente 28,2 %
Tabellenansicht: jede Zahl hinter dem Diagramm
| Name | Wert | Hinweis |
|---|---|---|
| Hippocampus | 81,8 % | |
| Azure AI Search | 74,5 % | |
| Vertex AI Search | 72,6 % | Anführungszeichen aus der Suchanfrage entfernt; unverändert gesendet, 37 % aller Fragen richtig |
| OpenAI File Search | 71,1 % | |
| OpenAI Direct Search | 67,1 % | |
| Zur Einordnung: das Antwortmodell mit den richtigen Seiten | 92,0 % | |
| Zur Einordnung: das Antwortmodell allein, ohne Dokumente | 28,2 % |
Unsere Fehler
Eine automatisierte Prüfung hat die 141 Fragen untersucht, die Hippocampus nicht richtig beantwortet hat: 88 echte Fehler, 4 mehrdeutige Fragen, 27 Probleme mit der Referenz und 22 Antworten, die richtig, aber weniger vollständig als die Referenz sind. Echte Fehler machen 11 % aller Fragen aus. Die Prüfung hilft beim Einordnen der Fehler; sie ist kein menschliches Urteil.
Geschwindigkeit
Hippocampus ist hier das genaueste System, nicht das schnellste. Im Median dauert eine Suche in Hippocampus 1,8 Sekunden, in Azure AI Search 0,4 Sekunden, in Vertex AI Search 0,3 Sekunden und in OpenAI Direct Search 1,7 Sekunden. Diese Zeiten stammen aus Version 2.4 des Berichts und umfassen nur die Suche.
Bei Verträgen liegen die Systeme enger beieinander als bei den Finanzberichten, und der Vorsprung ist gegenüber jedem von ihnen dennoch deutlich. Wenn Dokumente einander ähneln, wie es Vereinbarungen derselben Art tun, bringt die zusätzliche Zeit ein anderes Ergebnis.
So haben wir getestet
Jedes System hat dieselben Dateien indexiert und pro Frage eine Suche ausgeführt. Dasselbe Antwortmodell (GPT-5.4 mini) schrieb jede Antwort, derselbe Richter (Claude Sonnet 5) bewertete sie. Alle Einstellungen und Prompts finden Sie auf der Nachweisseite im Tab „Recht“.
Der Datensatz
LegalBench-RAG (der Mini-Split) stammt von ZeroEntropy, abrufbar unter github.com/zeroentropy-ai/legalbenchrag, lizenziert unter MIT. Wir verwenden den Datensatz wie veröffentlicht und berichten nur Ergebnisse: Keine Frage, Antwort oder Passage wird hier wiedergegeben.
