Token (KI)

Was ist ein Token in der KI?

Für die kommerzielle Nutzung von KI-APIs werden Kosten pro Token berechnet — je mehr Tokens Ihre Anfrage und die Antwort umfassen, desto teurer wird es. Wer versteht, wie Tokenisierung funktioniert, kann seine Prompts effizienter gestalten und die Kosten für KI-gestützte Content-Erstellung oder Chatbots deutlich senken. Auch für GEO ist das Token-Konzept relevant, weil klar strukturierte Inhalte von KI-Systemen effizienter verarbeitet und häufiger zitiert werden.

Ein Token ist die grundlegende Verarbeitungseinheit, in die ein KI-Sprachmodell Text zerlegt, bevor es diesen analysiert oder generiert. Dabei handelt es sich nicht immer um ganze Wörter: Je nach Tokenizer kann ein Token ein vollständiges Wort, ein Wortteil, eine Silbe oder ein einzelnes Zeichen sein. Das deutsche Wort „Suchmaschinenoptimierung” wird beispielsweise in mehrere Tokens aufgeteilt, während kurze Wörter wie „ist” oder „der” jeweils ein einzelnes Token bilden. Die meisten modernen Modelle wie GPT-4 oder Gemini verwenden Subword-Tokenisierung (z. B. BPE — Byte Pair Encoding).

Tokens bestimmen zwei zentrale Aspekte von KI-Modellen: die Verarbeitungskapazität und die Kosten. Jedes Modell hat ein sogenanntes Kontextfenster — die maximale Anzahl an Tokens, die es gleichzeitig verarbeiten kann. GPT-4 Turbo unterstützt bis zu 128.000 Tokens, Gemini 1.5 sogar bis zu 1 Million. Für die kommerzielle Nutzung von KI-APIs werden die Kosten pro Token berechnet, sowohl für die Eingabe (Input-Tokens) als auch für die generierte Antwort (Output-Tokens).

Für GEO und Content-Strategie ist das Token-Konzept praktisch relevant: KI-Modelle haben begrenzte Kontextfenster, weshalb klar strukturierte, prägnante Inhalte bevorzugt werden. Wenn ein Transformer-Modell Ihre Website-Inhalte für eine Antwort heranzieht, muss es die relevanten Informationen effizient aus Ihrem Text extrahieren können. Gut gegliederte Absätze mit klaren Kernaussagen — idealerweise am Absatzanfang — erleichtern diesen Prozess erheblich und erhöhen die Wahrscheinlichkeit, dass Ihre Inhalte in KI-generierten Antworten zitiert werden.