Glossar

Token (KI)

Ein Token ist die kleinste Texteinheit, die ein Large Language Model verarbeitet – meist ein ganzes Wort, ein Wortteil oder ein einzelnes Zeichen. Modelle lesen keine Buchstaben, sondern rechnen mit Zahlen: Jedes Token wird in eine numerische ID übersetzt. Token sind damit zugleich die Recheneinheit und das Abrechnungsmaß jeder KI-Anwendung.

Wie aus Text Token werden

Den Vorgang, Text in Token zu zerlegen, nennt man Tokenisierung. Kurze, häufige Wörter werden oft als ein einziges Token dargestellt, längere oder seltene Wörter in mehrere Teile zerlegt. Das Wort „Dunkelheit“ etwa kann als „Dunkel“ und „heit“ gespeichert werden – jeweils mit eigener Zahlen-ID.

  • Wort-Token: geläufige Begriffe wie „Haus“ belegen genau ein Token.
  • Subword-Token: der Standard moderner Modelle – unbekannte Wörter und Tippfehler werden aus bekannten Wortteilen zusammengesetzt.
  • Zeichen-Token: Einzelzeichen für seltene Symbole, Code oder fremdsprachige Schriftzeichen.

Eine grobe Faustregel: Im Englischen entsprechen rund 100 Token etwa 75 Wörtern. Deutscher Text mit seinen vielen Komposita wird tendenziell in mehr Token zerlegt – ein Detail mit direkter Kostenwirkung.

Warum Token für Unternehmen zählen

Token sind nicht nur ein technisches Detail, sondern die Währung der KI: Anbieter rechnen pro verarbeitetem Token ab – getrennt nach Eingabe und Ausgabe. Laut NVIDIA sind Token die gemeinsame Einheit, in der Modelle Text, Bilder und Audio verarbeiten – und damit die Basis jeder Leistungs- und Kostenrechnung. Auch Microsoft beschreibt Token als zentralen Hebel für Performance und Budget von KI-Anwendungen.

Praktisch heißt das: Lange Prompts, große Dokumente im Context Window und ausführliche Antworten kosten direkt Geld und Rechenzeit. Wer die Token-Mengen seiner Anwendungsfälle nicht kennt, kann weder Kosten kalkulieren noch Modelle sinnvoll vergleichen.

Token im Griff behalten

Token-Verbrauch lässt sich gezielt steuern, ohne die Qualität zu opfern. Vier Hebel haben sich in Projekten bewährt:

Prompts straffen

Präzise statt weitschweifig formulieren – jedes überflüssige Token im Prompt zahlt man bei jeder Anfrage neu.

RAG statt Volltext

Nur relevante Wissensausschnitte einfügen statt ganzer Handbücher – spart Token bei gleicher Trefferqualität.

Modell passend wählen

Token-Preise variieren stark je Foundation Model – für Standardaufgaben reicht oft ein günstigeres Modell.

Verbrauch messen

Token pro Anfrage protokollieren, bevor man skaliert – so wird aus einer Schätzung eine belastbare Kostenrechnung.

Diese Optimierung ist ein Kernthema im professionellen Prompt Engineering und bei der Architektur jeder produktiven KI-Lösung. Wer Token ignoriert, zahlt entweder zu viel oder stößt unerwartet an Limits.

Verwandte Begriffe

  • Context Window – Das gesamte Token-Budget, das ein Modell pro Anfrage verarbeiten kann
  • Large Language Model – Das Modell, das Token Schritt für Schritt verarbeitet und vorhersagt
  • Prompt – Die Eingabe, deren Länge sich direkt in Token und Kosten niederschlägt
  • Prompt Engineering – Die Disziplin, mit möglichst wenig Token maximale Qualität zu erreichen
  • Foundation Model – Universelle Basis, deren Token-Preise je Modell stark variieren

Token-Kosten Ihrer KI-Anwendung im Blick?

Wir kalkulieren den Token-Verbrauch Ihrer Use Cases realistisch und zeigen, mit welcher Architektur und welchem Modell Sie Kosten und Qualität in Balance bringen – im Rahmen einer KI-Beratung.

Kostenlose Erstberatung vereinbaren