AGREE Framework

Was ist das AGREE Framework?

Wenn Unternehmen KI-Systeme für dokumentbasierte Aufgaben einsetzen, reicht die Frage „Klingt die Antwort richtig?” nicht aus. AGREE liefert eine strukturierte Methodik, um jede einzelne Aussage einer KI-Antwort gegen die Quellen zu prüfen — von vollständig gestützt bis zum direkten Widerspruch. In Kombination mit Guardrails entsteht so ein robustes Qualitätssicherungssystem für KI-generierte Inhalte.

Das AGREE Framework (Assessing Grounding of Generated Responses from Evidence) ist ein von Google entwickeltes Evaluationssystem, das die Quellengebundenheit (Grounding) von LLM-Antworten systematisch bewertet. Es geht über einfache Faktenprüfung hinaus und analysiert, ob jede einzelne Aussage in einer KI-Antwort durch die bereitgestellten Quelldokumente gestützt wird — oder ob das Modell ungestützte Behauptungen einfügt.

Das Framework zerlegt LLM-Antworten in einzelne Aussagen (Claims) und prüft jede gegen die Quelldokumente. Dabei werden verschiedene Grounding-Typen unterschieden: vollständig gestützte Aussagen, teilweise gestützte Aussagen, nicht gestützte aber plausible Aussagen und direkte Widersprüche zu den Quellen. Diese granulare Analyse zeigt genau, wo ein Modell zuverlässig arbeitet und wo es zur Konfabulation neigt. Automatisierte und menschliche Evaluation werden kombiniert.

Für Unternehmen, die KI-Systeme für dokumentbasierte Aufgaben einsetzen, bietet AGREE eine strukturierte Methodik zur Qualitätssicherung. Statt nur zu prüfen, ob eine Antwort „richtig klingt”, können Sie systematisch messen, wie quellengebunden jede Aussage ist. In Kombination mit dem FACTS Grounding Benchmark und Guardrails entsteht ein robustes Qualitätssicherungssystem für KI-generierte Inhalte.