NOLIMA

Was ist NOLIMA?

Für die Bewertung von KI-Modellen geht NOLIMA über einfaches Fakten-Abfragen hinaus: Es testet, ob ein Modell Informationen wirklich versteht und in eigenen Worten wiedergeben kann. Das ist relevant, wenn Sie KI für Content-Erstellung, Kundenservice oder Beratung einsetzen — dort zählt Verständnis, nicht nur Wiedergabe.

NOLIMA (No Literal Match) ist ein Evaluations-Benchmark, der eine kritische Schwäche vieler LLM-Tests adressiert: Klassische Benchmarks wie der Needle-in-a-Haystack-Test prüfen oft nur, ob ein Modell wörtlich übereinstimmende Passagen wiedergeben kann. In der Realität sind Informationen jedoch selten wörtlich formuliert — sie müssen verstanden, interpretiert und zusammengefasst werden.

NOLIMA testet genau diese Fähigkeit. Die Fragen und die im Kontext enthaltenen Antworten verwenden bewusst unterschiedliche Formulierungen. Das Modell kann sich nicht auf einfaches Pattern Matching verlassen, sondern muss die Bedeutung tatsächlich verstehen. Beispielsweise könnte die Frage nach „den finanziellen Auswirkungen” gestellt werden, während der Text nur „Umsatzrückgang um 15 Prozent” enthält — ohne das Wort „finanziell” zu verwenden.

Für Unternehmen, die LLMs für Wissensmanagement oder RAG-Systeme evaluieren, liefert NOLIMA realistischere Einschätzungen als klassische Benchmarks. Ein Modell, das bei NOLIMA gut abschneidet, kann echte Geschäftsfragen beantworten, auch wenn die Antwort in den Quellen anders formuliert ist. Zusammen mit MixEval, MMLU-Pro und Sequential-NIAH ergibt sich ein umfassendes Bild der Modellfähigkeiten.