Benchmarks · 21 octobre 2026
Hippocampus sur FinanceBench : taux de réussite de 92 %, le plus élevé des cinq systèmes de récupération
Sur FinanceBench, Hippocampus affiche un taux de réussite de 92,2 %, le plus élevé des cinq systèmes de récupération, contre 76,6 % pour le suivant, Azure AI Search.
Sur cette pageLe test
Le test
FinanceBench, de Patronus AI, pose 150 questions d'analystes sur des sociétés cotées américaines : chiffres, ratios et appréciations. Les réponses se trouvent dans 84 rapports annuels, trimestriels et ponctuels (10-K, 10-Q, 8-K), et chaque question désigne son document. C'est l'un des tests de notre rapport de benchmark, version 3.1, du 20 octobre 2026.
Comment lire les chiffres
- Taux de réussite : parmi les questions qu'une recherche parfaite résoudrait, la part que résout chaque système. Ici, une recherche parfaite consiste à fournir au modèle de réponse les pages justificatives propres à chaque question ; les questions qu'il manque encore (réponse de référence erronée, question ambiguë, ou question trop difficile même avec les bonnes pages) sont écartées.
- Bonnes réponses (toutes les questions) : chaque question compte, rien n'est filtré. Une réponse est juste quand le juge la trouve conforme à la réponse de référence du jeu de données. Hippocampus 86 %, Azure AI Search 70 %.
- Preuves trouvées : la part des passages nécessaires à la réponse que la recherche a trouvés, en moyenne.
- Pour situer : sans documents, le modèle de réponse obtient 40,7 % de bonnes réponses de mémoire. Avec les bonnes pages, il en obtient 85,3 %.
Résultats
| Système | Taux de réussite | Bonnes réponses (toutes les questions) | Preuves trouvées |
|---|---|---|---|
| Hippocampus | 92,2 % | 86,0 % | 85 % |
| Azure AI Search | 76,6 % | 70,0 % | 58 % |
| OpenAI File Search | 52,3 % | 48,7 % | 35 % |
| Vertex AI Search | 40,6 % | 37,3 % | 24 % |
| OpenAI Direct Search | 37,5 % | 32,7 % | 23 % |
- Face à face avec Hippocampus : Azure AI Search 29 : 5 (p < 10⁻⁴), OpenAI File Search 60 : 4 (p < 10⁻¹³), Vertex AI Search 76 : 3 (p < 10⁻¹⁸), OpenAI Direct Search 82 : 2 (p < 10⁻²¹). Chaque paire oppose les questions où Hippocampus a répondu juste et l'autre système non, au cas inverse (test des signes bilatéral).
Vertex AI Search et OpenAI Direct Search obtiennent un score inférieur au niveau sans documents : face à des résultats de recherche faibles, le modèle préfère plus souvent s'abstenir que deviner. Certaines réponses de référence retiennent une formule parmi plusieurs formules usuelles, ou une seule lecture d'une question vague ; environ 7 % des questions (10 sur 150) sont contestées.
Taux de réussite sur FinanceBench, cinq systèmes de récupération
Parmi les questions auxquelles le modèle de réponse répond juste quand on lui fournit les bonnes pages, chaque barre est la part qu'un système résout avec sa propre recherche.
- Hippocampus 92,2 %
- Azure AI Search 76,6 %
- OpenAI File Search 52,3 %
- Vertex AI Search 40,6 %
- OpenAI Direct Search 37,5 %
Vue tableau : chaque décompte derrière le graphique
| Nom | Valeur |
|---|---|
| Hippocampus | 92,2 % |
| Azure AI Search | 76,6 % |
| OpenAI File Search | 52,3 % |
| Vertex AI Search | 40,6 % |
| OpenAI Direct Search | 37,5 % |
Bonnes réponses sur FinanceBench, toutes les questions comptées
Chaque barre est la part de toutes les questions auxquelles la réponse est conforme à la référence ; le modèle de réponse seul et celui qui reçoit les bonnes pages figurent pour situer.
- Hippocampus 86,0 %
- Azure AI Search 70,0 %
- OpenAI File Search 48,7 %
- Vertex AI Search 37,3 %
- OpenAI Direct Search 32,7 %
- Pour situer : le modèle de réponse avec les bonnes pages 85,3 %
- Pour situer : le modèle de réponse seul, sans documents 40,7 %
Vue tableau : chaque décompte derrière le graphique
| Nom | Valeur |
|---|---|
| Hippocampus | 86,0 % |
| Azure AI Search | 70,0 % |
| OpenAI File Search | 48,7 % |
| Vertex AI Search | 37,3 % |
| OpenAI Direct Search | 32,7 % |
| Pour situer : le modèle de réponse avec les bonnes pages | 85,3 % |
| Pour situer : le modèle de réponse seul, sans documents | 40,7 % |
Nos échecs
Un audit automatisé a examiné les 21 questions auxquelles Hippocampus n'a pas répondu juste : 9 véritables échecs, 8 questions ambiguës, 4 problèmes de référence et aucune réponse juste mais moins complète. Les véritables échecs représentent 6 % de l'ensemble des questions. L'audit aide à analyser les échecs ; ce n'est pas un verdict humain.
Vitesse
Hippocampus est ici le plus précis, pas le plus rapide. En médiane, une recherche prend 1,8 seconde dans Hippocampus, 0,4 seconde dans Azure AI Search, 0,3 seconde dans Vertex AI Search et 1,7 seconde dans OpenAI Direct Search. Ces temps proviennent de la version 2.4 du rapport et ne concernent que la recherche.
Pour une réponse simple dans un document bien distinct, une recherche cloud rapide suffit souvent. Quand les documents se ressemblent, qu'une réponse exige plusieurs passages ou qu'une erreur coûte cher, le temps supplémentaire se traduit par un résultat différent.
Notre méthode de test
Chaque système a indexé les mêmes fichiers et effectué une recherche par question. Le même modèle de réponse (GPT-5.4 mini) et le même juge (Claude Sonnet 5) ont traité chaque réponse. Les paramètres et prompts complets figurent sur la page des preuves, sous l'onglet Finance.
Le jeu de données
FinanceBench (les 150 questions en open source) est publié par Patronus AI sur github.com/patronus-ai/financebench, sous licence CC BY-NC 4.0. Nous l'utilisons tel que publié et ne communiquons que des scores : aucune question, réponse ni passage n'est reproduit ici.
