Benchmarks

Hippocampus på SECQUE: 81 % framgångsgrad

21 oktober 2026

Av Andreas Dahlström, chef för Deeptech-teamet, medgrundare

På SECQUE har Hippocampus en framgångsgrad på 81 %, den högsta av fem hämtningssystem och 23 procentenheter före närmaste konkurrent, Azure AI Search, med 58 %.

Rubrikbild för Hippocampus på SECQUE: 81 % framgångsgrad

Testet

SECQUE, från Ben Yoash med kollegor, ställer 565 expertfrågor som jämför och räknar på räkenskaperna i 45 SEC-rapporter: nyckeltal, trender, risk. Ett svar kräver ofta flera avsnitt och en beräkning. Det är ett av testerna i vår benchmarkrapport, version 3.1, daterad 20 oktober 2026.

Så läser du siffrorna

Framgångsgrad: av de frågor som en perfekt sökning skulle lösa, den andel varje system löser. En perfekt sökning är här svarsmodellen när den får varje frågas egna underlagssidor; de frågor den ändå missar (ett felaktigt referenssvar, en tvetydig fråga eller en fråga som är för svår även med rätt sidor) räknas bort.
Rätt besvarade (alla frågor): varje fråga räknas, ingenting filtreras bort. Ett svar är rätt när domaren bedömer att det stämmer med datasetets referenssvar. Hippocampus 67 %, Azure AI Search 48 %.
Hittat underlag: den andel av de nödvändiga avsnitten som sökningen hittade, i genomsnitt.
Som jämförelse: utan dokument svarar svarsmodellen rätt på 26,4 % ur minnet. Med rätt sidor svarar den rätt på 71,7 %.

Resultat

System	Framgångsgrad	Rätt besvarade (alla frågor)	Hittat underlag
Hippocampus	81,2 %	67,3 %	85 %
Azure AI Search	58,0 %	47,6 %	46 %
OpenAI File Search	46,2 %	37,2 %	37 %
Vertex AI Search	44,7 %	36,6 %	33 %
OpenAI Direct Search	36,0 %	29,9 %	30 %

Direkt jämförelse mot Hippocampus: Azure AI Search 134 : 23 (p < 10⁻¹⁹), OpenAI File Search 186 : 16 (p < 10⁻³⁷), Vertex AI Search 196 : 23 (p < 10⁻³⁴), OpenAI Direct Search 224 : 13 (p < 10⁻⁵⁰). Varje par anger de frågor som Hippocampus besvarade rätt och det andra systemet inte, mot det omvända (tvåsidigt teckentest).

Referenssvaren är långa, så ett svar kan vara rätt och ändå missa en av deras punkter; omkring 13 % av frågorna (71 av 565) är omtvistade.

Våra missar

En automatiserad granskning gick igenom de 185 frågor som Hippocampus inte besvarade rätt: 64 verkliga missar, 56 tvetydiga frågor, 35 referensproblem och 30 som var rätt men mindre fullständiga än referenssvaret. Verkliga missar utgör 11 % av alla frågor. Granskningen är ett stöd för att tolka missarna, inte en mänsklig bedömning.

Hastighet

Hippocampus är mest träffsäkert här, inte snabbast. I median tar en sökning 1,8 sekunder i Hippocampus, 0,4 sekunder i Azure AI Search, 0,3 sekunder i Vertex AI Search och 1,7 sekunder i OpenAI Direct Search. Tiderna kommer från version 2.4 av rapporten och gäller enbart sökningen.

För ett enkelt svar i ett tydligt avgränsat dokument räcker en snabb molnsökning ofta. När ett svar kräver flera avsnitt, som på SECQUE, ger den extra tiden ett annat resultat: 81 % mot 58 % för den bästa molntjänsten och 46 % för OpenAI File Search.

Så testade vi

Varje system indexerade samma filer och gjorde en sökning per fråga. Samma svarsmodell (GPT-5.4 mini) och samma domare (Claude Sonnet 5) hanterade varje svar. Alla inställningar och promptar finns på sidan Bevis under fliken Finans.

Datasetet

SECQUE kommer från Ben Yoash m.fl., på huggingface.co/datasets/nogabenyoash/SecQue, under MIT-licensen. Vi använder det som det är publicerat och redovisar enbart resultat: ingen fråga, inget svar och inget avsnitt återges här.