Atrogi · 18. September 2026
Wie Atrogi mit Hippocampus 2.198 Seiten FDA-Dokumente abgleicht
Ein Pharmaunternehmen in der klinischen Phase, das ein Medikament gegen eine Stoffwechselerkrankung entwickelt, nutzt Hippocampus, um konkurrierende Therapien abzugleichen, bevor es F&E-Budget bindet.
Auf dieser SeiteDas Problem
Das Problem
Bevor Atrogi entscheidet, wohin das nächste Forschungsbudget fließt, muss das Team wissen, was Behörden und frühere Studien zu Therapien mit demselben Zweck gefunden haben: Dosierungen, Abbruchraten, Sicherheitssignale, Patentlaufzeiten. Für die drei führenden GLP-1-Therapien zur Gewichtskontrolle liegt diese Evidenz in zehn FDA-Prüfberichten, Labels und einer Studienpublikation. 2.198 Seiten. Die KI-Werkzeuge, die Atrogi ausprobiert hatte, verfehlten die Antwort oder erfanden eine.
Die Evaluation
Atrogis Team schrieb sechzehn Fragen, von Einzelfakten bis zur Synthese über alle drei Therapien, plus eine Frage, die die Dokumente nicht beantworten können, um zu sehen, ob das System das zugibt. Jede Frage wurde dreimal in getrennten Unterhaltungen gestellt, und das vollständige Set lief zweimal durch.
Was passierte
- 93 von 96 Antworten korrekt. Fünfzehn von sechzehn Fragen in jeder der sechs Wiederholungen richtig.
- Keine erfundenen Antworten oder Zahlen.
- Die unbeantwortbare Frage sechsmal von sechs abgelehnt. Nach einer Rangfolge der Therapien nach Zeit bis zur generischen Konkurrenz gefragt, benannte das System, was fehlte, statt eine plausible Rangfolge zu erzeugen.
- Jede Antwort mit Dokument, Abschnitt und Seite belegt.
Die drei Fehler stammen aus einer Frage: welche Sicherheitssignale alle drei Therapien teilen. Die FDA führt denselben Herzfrequenz-Befund bei einer der drei unter einem anderen Abschnitt. Zwei von drei Frontier-Modellen, die aus dem Gedächtnis antworten, liegen hier falsch. Hippocampus lag 3 von 6 Mal richtig, nach 1 von 6 im vorherigen Release.
Richtige Antworten in jedem vollständigen Durchlauf
Jeder Balken ist ein vollständiger Durchlauf der sechzehn Fragen, jede dreimal gestellt, mit Claude Opus 5 als Antwortmodell: zusammen 93 von 96.
- Ein Durchlauf 47 von 48
- Der andere Durchlauf 46 von 48
Tabellenansicht: jede Zahl hinter dem Diagramm
| Name | Wert |
|---|---|
| Ein Durchlauf | 47 von 48 |
| Der andere Durchlauf | 46 von 48 |
Die eine Frage mit Fehlern, nach Release
Jeder Balken zählt die richtigen Antworten bei sechs Wiederholungen der Frage, welche Sicherheitssignale alle drei Therapien gemeinsam haben.
- Hippocampus, dieses Release 3 von 6
- Hippocampus, vorheriges Release 1 von 6
Tabellenansicht: jede Zahl hinter dem Diagramm
| Name | Wert |
|---|---|
| Hippocampus, dieses Release | 3 von 6 |
| Hippocampus, vorheriges Release | 1 von 6 |
Prüfen Sie es selbst
Alle zehn Dokumente sind öffentlich. Wir laden sie in einen separaten Workspace, damit Sie Ihre eigenen Fragen stellen können, mit dem Modell Ihrer Wahl. Methode, Korpus und die Bewertung jeder Frage stehen auf der Benchmark-Seite.
*Claude Opus 5 als Antwortmodell. 16 Expertenfragen, jede dreimal pro Wiederholung gestellt, vollständiges Set zweimal durchlaufen (96 Antworten), zu 10 öffentlichen FDA-Dokumenten (2.198 Seiten) für drei GLP-1-Therapien. Thalius-Evaluation, 16. bis 17. September 2026.
