Hippocampus sur SECQUE : 81 % de réussite

Le test

SECQUE, de Ben Yoash et ses collègues, pose 565 questions d'experts qui comparent et calculent à partir des états financiers de 45 documents déposés auprès de la SEC : ratios, tendances, risques. Une réponse exige souvent plusieurs passages et un calcul. C'est l'un des tests de notre rapport de benchmark, version 3.1, du 20 octobre 2026.

Comment lire les chiffres

Taux de réussite : parmi les questions qu'une recherche parfaite résoudrait, la part que résout chaque système. Ici, une recherche parfaite consiste à fournir au modèle de réponse les pages justificatives propres à chaque question ; les questions qu'il manque encore (réponse de référence erronée, question ambiguë, ou question trop difficile même avec les bonnes pages) sont écartées.
Bonnes réponses (toutes les questions) : chaque question compte, rien n'est filtré. Une réponse est juste quand le juge la trouve conforme à la réponse de référence du jeu de données. Hippocampus 67 %, Azure AI Search 48 %.
Preuves trouvées : la part des passages nécessaires à la réponse que la recherche a trouvés, en moyenne.
Pour situer : sans documents, le modèle de réponse obtient 26,4 % de bonnes réponses de mémoire. Avec les bonnes pages, il en obtient 71,7 %.

Résultats

Système	Taux de réussite	Bonnes réponses (toutes les questions)	Preuves trouvées
Hippocampus	81,2 %	67,3 %	85 %
Azure AI Search	58,0 %	47,6 %	46 %
OpenAI File Search	46,2 %	37,2 %	37 %
Vertex AI Search	44,7 %	36,6 %	33 %
OpenAI Direct Search	36,0 %	29,9 %	30 %

Face à face avec Hippocampus : Azure AI Search 134 : 23 (p < 10⁻¹⁹), OpenAI File Search 186 : 16 (p < 10⁻³⁷), Vertex AI Search 196 : 23 (p < 10⁻³⁴), OpenAI Direct Search 224 : 13 (p < 10⁻⁵⁰). Chaque paire oppose les questions où Hippocampus a répondu juste et l'autre système non, au cas inverse (test des signes bilatéral).

Les réponses de référence sont longues : une réponse peut donc être juste tout en omettant l'un de leurs points ; environ 13 % des questions (71 sur 565) sont contestées.

Taux de réussite sur SECQUE, cinq systèmes de récupération

Parmi les questions auxquelles le modèle de réponse répond juste quand on lui fournit les bonnes pages, chaque barre est la part qu'un système résout avec sa propre recherche.

Hippocampus 81,2 %
Azure AI Search 58,0 %
OpenAI File Search 46,2 %
Vertex AI Search 44,7 %
OpenAI Direct Search 36,0 %

Vue tableau : chaque décompte derrière le graphique

Taux de réussite sur SECQUE, cinq systèmes de récupération
Nom	Valeur	Remarque
Hippocampus	81,2 %
Azure AI Search	58,0 %
OpenAI File Search	46,2 %
Vertex AI Search	44,7 %	Une erreur de recherche sur 1 question, comptée comme non conforme
OpenAI Direct Search	36,0 %

n = 565 questions ; le taux de réussite écarte les questions que le modèle de réponse manque même avec les bonnes pages · une recherche par question · modèle de réponse GPT-5.4 mini · juge Claude Sonnet 5, trois votes · 20 octobre 2026 · Rapport de benchmark de Thalius, version 3.1. Environ 13 % des questions (71 sur 565) sont contestées.

Bonnes réponses sur SECQUE, toutes les questions comptées

Chaque barre est la part de toutes les questions auxquelles la réponse est conforme à la référence ; le modèle de réponse seul et celui qui reçoit les bonnes pages figurent pour situer.

Hippocampus 67,3 %
Azure AI Search 47,6 %
OpenAI File Search 37,2 %
Vertex AI Search 36,6 %
OpenAI Direct Search 29,9 %
Pour situer : le modèle de réponse avec les bonnes pages 71,7 %
Pour situer : le modèle de réponse seul, sans documents 26,4 %

Vue tableau : chaque décompte derrière le graphique

Bonnes réponses sur SECQUE, toutes les questions comptées
Nom	Valeur	Remarque
Hippocampus	67,3 %
Azure AI Search	47,6 %
OpenAI File Search	37,2 %
Vertex AI Search	36,6 %	Une erreur de recherche sur 1 question, comptée comme non conforme
OpenAI Direct Search	29,9 %
Pour situer : le modèle de réponse avec les bonnes pages	71,7 %
Pour situer : le modèle de réponse seul, sans documents	26,4 %

n = 565 questions, toutes comptées, rien n'est filtré · une recherche par question · modèle de réponse GPT-5.4 mini · juge Claude Sonnet 5, trois votes · 20 octobre 2026 · Rapport de benchmark de Thalius, version 3.1. Environ 13 % des questions (71 sur 565) sont contestées.

Nos échecs

Un audit automatisé a examiné les 185 questions auxquelles Hippocampus n'a pas répondu juste : 64 véritables échecs, 56 questions ambiguës, 35 problèmes de référence et 30 réponses justes mais moins complètes que la référence. Les véritables échecs représentent 11 % de l'ensemble des questions. L'audit aide à analyser les échecs ; ce n'est pas un verdict humain.

Vitesse

Hippocampus est ici le plus précis, pas le plus rapide. En médiane, une recherche prend 1,8 seconde dans Hippocampus, 0,4 seconde dans Azure AI Search, 0,3 seconde dans Vertex AI Search et 1,7 seconde dans OpenAI Direct Search. Ces temps proviennent de la version 2.4 du rapport et ne concernent que la recherche.

Pour une réponse simple dans un document bien distinct, une recherche cloud rapide suffit souvent. Quand une réponse exige plusieurs passages, comme sur SECQUE, le temps supplémentaire se traduit par un résultat différent : 81 % contre 58 % pour le meilleur service cloud et 46 % pour OpenAI File Search.

Notre méthode de test

Chaque système a indexé les mêmes fichiers et effectué une recherche par question. Le même modèle de réponse (GPT-5.4 mini) et le même juge (Claude Sonnet 5) ont traité chaque réponse. Les paramètres et prompts complets figurent sur la page des preuves, sous l'onglet Finance.

Le jeu de données

SECQUE est publié par Ben Yoash et al. sur huggingface.co/datasets/nogabenyoash/SecQue, sous licence MIT. Nous l'utilisons tel que publié et ne communiquons que des scores : aucune question, réponse ni passage n'est reproduit ici.