Benchmarks · 21. Oktober 2026
Hippocampus bei FinanceBench: 92 % Erfolgsquote, die höchste von fünf Retrieval-Systemen
Bei FinanceBench erreicht Hippocampus eine Erfolgsquote von 92,2 %, die höchste von fünf Retrieval-Systemen, gegenüber 76,6 % beim nächstbesten System, Azure AI Search.
Auf dieser SeiteDer Test
Der Test
FinanceBench von Patronus AI stellt 150 Analystenfragen zu börsennotierten US-Unternehmen: Kennzahlen, Verhältniszahlen und Einschätzungen. Die Antworten stehen in 84 Jahres-, Quartals- und Ad-hoc-Berichten (10-K, 10-Q, 8-K), und jede Frage nennt ihr Dokument. Er ist einer der Tests in unserem Benchmark-Bericht, Version 3.1, vom 20. Oktober 2026.
So lesen Sie die Zahlen
- Erfolgsquote: der Anteil der von einer perfekten Suche lösbaren Fragen, den jedes System löst. Eine perfekte Suche heißt hier: Das Antwortmodell erhält zu jeder Frage deren eigene Belegseiten; die Fragen, die es trotzdem verfehlt (eine falsche Referenzantwort, eine mehrdeutige Frage oder eine, die selbst mit den richtigen Seiten zu schwer ist), bleiben unberücksichtigt.
- Richtig beantwortet (alle Fragen): Jede Frage zählt, nichts wird herausgefiltert. Eine Antwort ist richtig, wenn der Richter sie als übereinstimmend mit der Referenzantwort des Datensatzes bewertet. Hippocampus 86 %, Azure AI Search 70 %.
- Gefundene Belegpassagen: der Anteil der zur Antwort nötigen Passagen, den die Suche gefunden hat, im Durchschnitt.
- Zur Einordnung: Ohne Dokumente beantwortet das Antwortmodell 40,7 % der Fragen aus dem Gedächtnis richtig. Mit den richtigen Seiten sind es 85,3 %.
Ergebnisse
| System | Erfolgsquote | Richtig beantwortet (alle Fragen) | Gefundene Belegpassagen |
|---|---|---|---|
| Hippocampus | 92,2 % | 86,0 % | 85 % |
| Azure AI Search | 76,6 % | 70,0 % | 58 % |
| OpenAI File Search | 52,3 % | 48,7 % | 35 % |
| Vertex AI Search | 40,6 % | 37,3 % | 24 % |
| OpenAI Direct Search | 37,5 % | 32,7 % | 23 % |
- Direktvergleich mit Hippocampus: Azure AI Search 29 : 5 (p < 10⁻⁴), OpenAI File Search 60 : 4 (p < 10⁻¹³), Vertex AI Search 76 : 3 (p < 10⁻¹⁸), OpenAI Direct Search 82 : 2 (p < 10⁻²¹). Jedes Paar stellt die Fragen, die Hippocampus richtig beantwortet hat und das andere System nicht, dem umgekehrten Fall gegenüber (zweiseitiger Vorzeichentest).
Vertex AI Search und OpenAI Direct Search liegen unter dem Wert ohne Dokumente: Bei schwachen Suchergebnissen lehnt das Modell eine Antwort häufiger ab, statt zu raten. Manche Referenzantworten wählen eine von mehreren Standardformeln oder eine Lesart einer vagen Frage; etwa 7 % der Fragen (10 von 150) sind strittig.
Erfolgsquote bei FinanceBench, fünf Retrieval-Systeme
Von den Fragen, die das Antwortmodell mit den richtigen Seiten richtig beantwortet, ist jeder Balken der Anteil, den ein System mit seiner eigenen Suche richtig beantwortet.
- Hippocampus 92,2 %
- Azure AI Search 76,6 %
- OpenAI File Search 52,3 %
- Vertex AI Search 40,6 %
- OpenAI Direct Search 37,5 %
Tabellenansicht: jede Zahl hinter dem Diagramm
| Name | Wert |
|---|---|
| Hippocampus | 92,2 % |
| Azure AI Search | 76,6 % |
| OpenAI File Search | 52,3 % |
| Vertex AI Search | 40,6 % |
| OpenAI Direct Search | 37,5 % |
Richtig beantwortet bei FinanceBench, alle Fragen gezählt
Jeder Balken ist der Anteil aller Fragen, die in Übereinstimmung mit der Referenz beantwortet wurden; das Antwortmodell allein und mit den richtigen Seiten dienen zur Einordnung.
- Hippocampus 86,0 %
- Azure AI Search 70,0 %
- OpenAI File Search 48,7 %
- Vertex AI Search 37,3 %
- OpenAI Direct Search 32,7 %
- Zur Einordnung: das Antwortmodell mit den richtigen Seiten 85,3 %
- Zur Einordnung: das Antwortmodell allein, ohne Dokumente 40,7 %
Tabellenansicht: jede Zahl hinter dem Diagramm
| Name | Wert |
|---|---|
| Hippocampus | 86,0 % |
| Azure AI Search | 70,0 % |
| OpenAI File Search | 48,7 % |
| Vertex AI Search | 37,3 % |
| OpenAI Direct Search | 32,7 % |
| Zur Einordnung: das Antwortmodell mit den richtigen Seiten | 85,3 % |
| Zur Einordnung: das Antwortmodell allein, ohne Dokumente | 40,7 % |
Unsere Fehler
Eine automatisierte Prüfung hat die 21 Fragen untersucht, die Hippocampus nicht richtig beantwortet hat: 9 echte Fehler, 8 mehrdeutige Fragen, 4 Probleme mit der Referenz und keine Antwort, die richtig, aber weniger vollständig war. Echte Fehler machen 6 % aller Fragen aus. Die Prüfung hilft beim Einordnen der Fehler; sie ist kein menschliches Urteil.
Geschwindigkeit
Hippocampus ist hier das genaueste System, nicht das schnellste. Im Median dauert eine Suche 1,8 Sekunden in Hippocampus, 0,4 Sekunden in Azure AI Search, 0,3 Sekunden in Vertex AI Search und 1,7 Sekunden in OpenAI Direct Search. Diese Zeiten stammen aus Version 2.4 des Berichts und umfassen nur die Suche.
Für eine einfache Antwort aus einem klar abgegrenzten Dokument reicht eine schnelle Cloud-Suche oft aus. Wenn Dokumente einander ähneln, eine Antwort mehrere Passagen braucht oder ein Fehler teuer ist, bringt die zusätzliche Zeit ein anderes Ergebnis.
So haben wir getestet
Jedes System hat dieselben Dateien indexiert und pro Frage eine Suche ausgeführt. Dasselbe Antwortmodell (GPT-5.4 mini) schrieb jede Antwort, derselbe Richter (Claude Sonnet 5) bewertete sie. Alle Einstellungen und Prompts finden Sie auf der Nachweisseite im Tab „Finanzen“.
Der Datensatz
FinanceBench (die Open-Source-Auswahl von 150 Fragen) stammt von Patronus AI, abrufbar unter github.com/patronus-ai/financebench, lizenziert unter CC BY-NC 4.0. Wir verwenden den Datensatz wie veröffentlicht und berichten nur Ergebnisse: Keine Frage, Antwort oder Passage wird hier wiedergegeben.
