FACTS Grounding Benchmark

Was ist der FACTS Grounding Benchmark?

Für GEO und die Frage, ob KI-Systeme Ihre Inhalte korrekt zitieren, ist der FACTS Grounding Benchmark hoch relevant: Er zeigt, wie gut ein Modell Quellen treu wiedergibt statt zu halluzinieren. Je besser Ihre Inhalte strukturiert und faktisch eindeutig formuliert sind, desto wahrscheinlicher werden sie von faktentreuen Modellen als zuverlässige Quelle herangezogen und korrekt wiedergegeben.

Der FACTS Grounding Benchmark ist ein Evaluationsverfahren von Google DeepMind, das eine der kritischsten Fähigkeiten von LLMs testet: die Faktentreue gegenüber bereitgestellten Quelldokumenten. Der Benchmark prüft, ob ein Modell bei faktengebundenen Aufgaben (wie Zusammenfassungen oder Berichten) nur Informationen aus den gegebenen Quellen verwendet oder eigene Konfabulationen hinzufügt.

FACTS steht für Factuality, Accuracy, Coverage, Truthfulness und Source fidelity. Der Benchmark umfasst Aufgaben verschiedener Schwierigkeitsgrade: von einfachen Zusammenfassungen kurzer Texte bis hin zu komplexen Berichten, die mehrere Quelldokumente kombinieren. Besonders anspruchsvoll sind Aufgaben, bei denen die Quellen widersprüchliche Informationen enthalten — hier muss das Modell die Widersprüche erkennen statt willkürlich eine Version zu wählen.

Für Unternehmen, die LLMs für dokumentbasierte Aufgaben einsetzen — etwa Vertragsanalyse, Berichtserstellung oder Wissensdatenbanken —, ist der FACTS-Score ein wichtiger Qualitätsindikator. In Kombination mit dem AGREE Framework und MixEval ergibt sich ein umfassendes Bild der Modellfähigkeiten. Modelle mit hohem FACTS-Score eignen sich besser für geschäftskritische Anwendungen, in denen Konfabulationen nicht tolerierbar sind.