Ein Sprachmodell denkt nicht in Buchstaben oder ganzen Wörtern, sondern in Tokens. Häufige Wörter bilden ein einzelnes Token, seltenere Begriffe oder zusammengesetzte deutsche Substantive werden in mehrere Tokens zerlegt.

Tokens sind die Währung der KI-Welt: Sämtliche API-Kosten werden nach verarbeiteten und generierten Tokens abgerechnet. Gleichzeitig begrenzt das Token-Budget, wie viel Text das System auf einmal im Kontextfenster behalten kann. Wegen der Eigenheiten deutscher Komposita verbraucht deutscher Text typischerweise mehr Tokens als englischer.

Für das operative Kostenmanagement ist Token-Disziplin entscheidend: Schlanke Prompts, präzises Chunking und das Filtern irrelevanter Informationen senken den Token-Verbrauch und damit die monatlichen Betriebskosten spürbar.