Forskning

40 av 48 rätt. Hippocampus mot OpenAI File Search och PageIndex.*

Forskning · 17 september 2026

Av Andreas Dahlström, chef för Deeptech-teamet, medgrundare

Samma dokument, samma frågor, samma svarsmodell. Hippocampus, OpenAI File Search och PageIndex på 2 198 sidor FDA-dokument, med GPT-5.4 mini som skriver varje svar. Körning 17 september 2026.

Hela FDA-rapporten, med den här jämförelsen och körningen med den ledande modellen, finns i Hippocampus på FDA-dokument.

Resultat

Sexton expertfrågor om tio offentliga FDA-granskningar, förskrivningsinformation och en studiepublikation, var och en ställd tre gånger. Varje system svarade via samma lilla modell, så den enda skillnaden mellan raderna är hur varje system hittade materialet.

Den viktade poängen räknar lätta frågor en gång, medelsvåra två gånger och svåra tre gånger.

Hippocampus svarade rätt på 40 av 48, flest i jämförelsen. OpenAI File Search låg i genomsnitt på 36 över två identiska körningar, och de två körningarna skilde sig åt med fyra svar, så gapet mellan de två översta raderna ligger inom variationen mellan körningar. Gapen till PageIndex, till en enkel vektorsökning och till modellen på egen hand är större.

Var skillnaden finns

Uppslag är lätta för alla. Varje system med dokumentåtkomst fick 19 till 24 av de 24 enkelfaktasvaren, och modellen ensam fick hälften ur minnet, eftersom detta är offentliga dokument.

Skillnaden ligger i jämförelse och syntes. På de 24 medelsvåra och svåra svaren fick Hippocampus 17, PageIndex 14, File Search 12 i genomsnitt (14 i den ena körningen, 10 i den andra) och enkel vektorsökning 8. Varje svar som ändrades mellan File Searchs två körningar gällde en av dessa frågor.

Frågan utan svar

En fråga ber om en rangordning som dokumenten inte kan stödja: vilken terapi som först möter generisk konkurrens. Att avböja är det korrekta svaret. PageIndex avböjde varje gång. Hippocampus sa varje gång att dokumenten inte kan stödja en verklig rangordning, och erbjöd i två av tre svar godkännandeordningen som ett uttryckligen markerat närmevärde. File Search gav en rangordning som svar i fyra av sex försök.

Skannade sidor

Ungefär 410 av de 2 198 sidorna saknar textlager, däribland alla 300 sidor i en farmakologisk granskning från 2009. OpenAI:s vector store innehöll ingen text ur den granskningen. Hippocampus och PageIndex läser båda skannade sidor vid inläsning. Inget system kom att citera den granskningen, och den enda fråga som bygger på den kan också besvaras ur förskrivningsinformation.

Hastighet

Hippocampus är det långsammaste systemet här: en median på 20 sekunder per svar mot 5 till 8 för de andra, och över två minuter för de långsammaste 5 %. Svar med en enda sökning tog ungefär 10 sekunder. De långsamma var jämförelse- och syntesfrågor, där modellen sökte många gånger och läste mer av källan innan den svarade. Det här är tider för ett helt svar, där modellen söker så ofta den behöver. En enskild sökning i Hippocampus tar 1,8 sekunder i median i vår senare benchmarkrapport.

Varför en liten modell

OpenAI File Search fungerar bara med OpenAI:s modeller. För att hålla svarsmodellen konstant över alla system använde samtliga GPT-5.4 mini. Hippocampus är inte bundet till en modell: med Claude Opus 5 som svarsmodell fick samma konfiguration 93 av 96 på den här frågeuppsättningen. De andra systemen kördes inte med Opus, så den siffran är ingen jämförelse. En jämförelse där en ledande OpenAI-modell svarar för varje system pågår.

Vad jämförelsen inte visar

• Hippocampus-konfigurationer som testades på dessa frågor 16 till 17 september fick mellan 37 och 40 av 48. Tabellen visar en körning som fick 40, gjord tidigare samma dag på den driftsatta tjänsten, separat från de andra systemen.
• Sökguiden som Hippocampus ger modellen förfinades i tidigare körningar på samma sexton frågor. De andra systemen kördes med leverantörernas standardinställningar plus en instruktion på en mening att bara svara utifrån materialet.
• Bedömningsmodellen är GPT-5, tre röster, majoritetsbeslut. Svarsmodellen och två av de testade systemen är också OpenAI:s.
• Vår PageIndex-uppsättning är en anpassning av den trädsökning som PageIndex har publicerat: ett steg, upp till sex avsnitt, 12 000 tecken per avsnitt. De egna hämtnings- och chattjänsterna från PageIndex användes inte. De gränserna kan missgynna svar som är spridda över många avsnitt eller ligger i långa tabeller.
• File Search kördes två gånger. De andra systemen kördes en gång, så skillnader på några få svar kan bero enbart på variation.

Reproducera det

Dokumenten är offentliga. Vi laddar samma tio i en separat Hippocampus-arbetsyta så att du kan ställa dina egna frågor, och ställa samma frågor till de andra systemen med dina egna konton. Frågeuppsättningen och referenssvaren tillhör kunden de skrevs tillsammans med; med deras samtycke går vi igenom varje bedömt svar med kvalificerade parter under sekretessavtal.

*Jämförelsekörningar 17 september 2026. 16 frågor, tre försök vardera, över 10 offentliga FDA-dokument (2 198 sidor). Svarsmodell GPT-5.4 mini för varje system. Bedömning av GPT-5, tre röster, majoritetsbeslut, i en utvärdering utformad och genomförd av Thalius. Underlag per svar bevarat.