Retrieval Augmented Fine-Tuning (RAFT)

Was ist Retrieval Augmented Fine-Tuning?

Für Unternehmen, die KI-Systeme mit eigenen Daten betreiben, löst RAFT ein zentrales Problem: Reine RAG-Systeme liefern bei irrelevanten oder widersprüchlichen Dokumenten oft ungenaue Antworten. RAFT trainiert das Modell, Noise herauszufiltern und nur die wirklich relevanten Passagen zu nutzen. Besonders bei Chatbots für Fachbereiche wie Recht, Medizin oder Technik steigert RAFT die Antwortqualität erheblich.

Retrieval Augmented Fine-Tuning (RAFT) verbindet zwei mächtige Ansätze: RAG und Fine-Tuning. Während RAG einem Modell zur Laufzeit relevante Dokumente bereitstellt und Fine-Tuning das Modell grundlegend auf neue Aufgaben trainiert, kombiniert RAFT beide Methoden. Das Modell wird gezielt darauf trainiert, aus einer Mischung aus relevanten und irrelevanten Dokumenten die richtige Information zu extrahieren.

Das Training folgt einem durchdachten Konzept: Dem Modell werden Frage-Antwort-Paare zusammen mit einem Mix aus Oracle-Dokumenten (die die richtige Antwort enthalten) und Distractor Documents (irrelevante Dokumente) präsentiert. So lernt das Modell nicht nur, Informationen zu finden, sondern auch, Ablenkungen zu ignorieren. Die Antworten werden mit Chain-of-Thought-Reasoning trainiert, damit das Modell seinen Denkprozess nachvollziehbar macht.

Für Unternehmen, die domänenspezifische KI-Anwendungen aufbauen, bietet RAFT einen klaren Vorteil gegenüber reinem RAG oder reinem Fine-Tuning. Die Kombination liefert präzisere Antworten, besonders bei spezialisierten Wissensdomänen wie Recht, Medizin oder technischer Dokumentation. Im Zusammenspiel mit Agentic RAG können RAFT-trainierte Modelle auch komplexe mehrstufige Recherchen zuverlässig durchführen.