Semantic Chunking

Was ist Semantic Chunking?

Die Art, wie Ihre Inhalte in Chunks zerlegt werden, bestimmt die Qualität der KI-Antworten, die daraus entstehen. Wenn ein RAG-System mitten im Gedanken teilt, wird die extrahierte Antwort unbrauchbar. Für Ihre Website bedeutet das: Strukturieren Sie Ihren Content in klar abgegrenzte, thematisch geschlossene Absätze — das verbessert nicht nur die Lesbarkeit, sondern auch die Chancen, dass KI-Systeme Ihre Inhalte korrekt als Quelle nutzen.

Semantic Chunking ist eine intelligente Methode zur Dokumentzerlegung in RAG-Systemen, die den Inhalt statt willkürlicher Grenzen als Trennkriterium nutzt. Während Fixed-Size-Chunking einen Text blind alle 500 Token schneidet — und dabei zusammenhängende Gedanken zerreißt —, erkennt Semantic Chunking, wo thematische Übergänge stattfinden und setzt die Grenzen entsprechend.

Die Technik funktioniert typischerweise über Embedding-Vergleiche: Aufeinanderfolgende Sätze werden in Vektoren umgewandelt und ihre semantische Ähnlichkeit verglichen. Solange benachbarte Sätze ähnliche Themen behandeln, gehören sie zum selben Chunk. Wenn die Ähnlichkeit unter einen Schwellenwert fällt — also ein Themenwechsel stattfindet —, wird ein neuer Chunk begonnen. Das Ergebnis sind Textabschnitte, die jeweils ein zusammenhängendes Thema abdecken.

Für Unternehmen, die RAG-basierte Systeme betreiben, liefert Semantic Chunking spürbar bessere Antwortqualität als festes Chunking. Die gefundenen Textabschnitte sind inhaltlich vollständig und thematisch fokussiert — ideale Voraussetzungen für Cross-Encoder Reranking und Hybrid Search. Wer noch mehr Kontrolle benötigt, kann auf Agentic Chunking aufsteigen, bei dem ein LLM die Zerlegung steuert.