Was ist ein Token? KI einfach erklärt
Was ist ein Token? In der KI ist es das Textstück, mit dem ein Modell zählt: kein Buchstabe und nicht genau ein Wort, sondern etwas dazwischen. Ein häufiger Zeichenblock, den das Modell in Zahlen verwandelt, bevor es damit arbeiten kann.
Was ist ein Token? KI aus Sicht des Modells
Modelle lesen keine Wörter, sie lesen Tokens: häufige Textfragmente, die auf Zahlen abgebildet werden. Im Englischen entspricht ein Token im Schnitt etwa drei Vierteln eines Wortes, hundert Wörter sind also gut hundertdreißig Tokens.
Sprachen mit vielen Endungen und langen Zusammensetzungen schneiden schlechter ab. Deutsche Komposita zerfallen in mehr Teile, derselbe Satz kostet auf Deutsch deshalb oft spürbar mehr Tokens als auf Englisch. Das liegt am Wortschatz des Modells, und du kannst es nicht wegformulieren.
Warum es deine Rechnung bestimmt
Schnittstellen rechnen pro Token ab, und zwar nicht nur für deine Frage: Das eingefügte Material, der bisherige Verlauf und die Antwort des Modells zählen alle mit.
Darum wird ein langes Gespräch mit jeder Runde teurer. Bei der zehnten Frage bezahlst du die vorherigen neun mit, weil der ganze Verlauf jedes Mal erneut durch das Modell läuft.
So verbrauchst du weniger
Wechselt das Thema, fang ein neues Gespräch an. Das Modell nimmt es nicht übel, und du schleppst keine fünfzig unwichtigen Absätze mit.
Bei einem großen Dokument gib den relevanten Teil statt alles. Langer Kontext ist nicht nur teurer, sondern auch ungenauer, weil der Kern im Füllwerk untergeht.
Häufige Fragen
Was ist ein Token? KI-Begriff in einem Satz
Die Texteinheit, die ein Modell liest und abrechnet. Alles, was du tippst, und alles, was es antwortet, wird in Tokens gezählt, ebenso die Grenzen.
Wie viele Wörter sind ein Token?
Im Englischen im Schnitt etwa drei Viertel eines Wortes. Satzzeichen und seltene Wörter zerfallen in mehrere Tokens, Code und Namen kosten also mehr als schlichte Prosa.
Warum kostet ein langes Gespräch mehr?
Weil bei jeder neuen Frage der gesamte Verlauf erneut gesendet wird. Die Kosten eines Gesprächs wachsen schneller als die Zahl der Nachrichten darin.
Begrenzen Tokens, wie viel ich einfügen kann?
Ja. Das Kontextfenster wird in Tokens gemessen. Ein Dokument, das darüber hinausgeht, muss geteilt oder zusammengefasst werden, bevor das Modell damit arbeiten kann.