Token — Die kleinste Einheit der KI-Textverarbeitung

Was ist ein Token?

Ein Token ist das kleinste Textstück, das ein LLM (Large Language Model) verarbeiten kann. Bevor die KI deinen Text lesen kann, wird er in Tokens zerlegt — dieser Vorgang heißt Tokenisierung. Ein Token ist dabei nicht immer ein ganzes Wort. Es kann ein Wort sein, ein Wortteil, ein einzelnes Zeichen oder sogar ein Satzzeichen.

Wie funktioniert Tokenisierung?

Das Wort „Programmierung" könnte zum Beispiel in die Tokens „Programm" und „ierung" aufgeteilt werden. Häufige Wörter wie „und" oder „the" sind meist ein einzelner Token, während seltene oder lange Wörter in mehrere Tokens zerlegt werden. Auch Leerzeichen und Sonderzeichen zählen als Tokens.

Faustregel für Deutsch: 1 Token entspricht ungefähr 0,75 Wörtern. Deutsche Texte verbrauchen also mehr Tokens als englische, weil deutsche Wörter im Durchschnitt länger sind und häufiger aufgeteilt werden. Ein deutscher Text mit 1.000 Wörtern benötigt typischerweise rund 1.300 bis 1.400 Tokens.

Warum sind Tokens wichtig für die Kosten?

Wenn du KI-APIs nutzt — zum Beispiel die Claude API von Anthropic oder die OpenAI API —, werden die Kosten pro Token berechnet. Dabei zählen sowohl die Input-Tokens (dein Prompt) als auch die Output-Tokens (die Antwort der KI). Mehr Tokens bedeuten höhere Kosten. Deshalb lohnt es sich, Prompts effizient zu formulieren.

Tokens im Vibe-Coding-Alltag

Beim Arbeiten mit Tools wie Claude Code oder Cursor fällt dir der Token-Verbrauch oft nicht direkt auf, weil die Tools das im Hintergrund managen. Trotzdem ist es nützlich zu wissen: Wenn du eine große Codebasis als Kontext mitgibst, verbrauchst du viele Input-Tokens. Wenn die KI eine lange Antwort generiert, steigen die Output-Tokens. Effizientes Prompting spart also bares Geld — besonders bei größeren Projekten.