Wat is een token in AI?
Wat is een token in AI? Het stukje tekst waarmee een model telt: geen letter en niet precies een woord, maar iets ertussenin. Een veelvoorkomend stuk tekens dat het model in getallen omzet voordat het ermee kan werken.
Wat is een token in AI, vanuit het model gezien
Modellen lezen geen woorden, ze lezen tokens: veelvoorkomende tekstfragmenten die op getallen zijn afgebeeld. In het Engels is een token gemiddeld ongeveer driekwart woord, dus honderd woorden zijn grofweg honderddertig tokens.
Talen met veel vervoeging en samenstelling doen het slechter. Een Nederlands woord is vaak twee of drie tokens, en een lange samenstelling als arbeidsongeschiktheidsverzekering valt in nog meer stukken uiteen. Dat ligt aan de woordenschat van het model en je kunt er niet omheen schrijven.
Waarom het je rekening bepaalt
API's rekenen per token af, en niet alleen voor je vraag: het materiaal dat je plakte, het gesprek tot nu toe en het antwoord van het model tellen allemaal mee.
Daarom wordt een lang gesprek bij elke beurt duurder. Bij de tiende vraag betaal je ook voor de negen ervoor, omdat de hele geschiedenis elke keer opnieuw door het model gaat.
Hoe je er minder uitgeeft
Verandert het onderwerp, begin dan een nieuw gesprek. Het model neemt dat niet kwalijk, en je sleept geen vijftig overbodige alinea's meer mee.
Geef bij een groot document het relevante stuk in plaats van alles. Lange context is niet alleen duurder maar ook minder nauwkeurig, omdat de kern in de opvulling verdwijnt.
Veelgestelde vragen
Wat is een token in AI, in één zin?
De eenheid tekst die een model leest en waarvoor het rekent. Alles wat je typt en alles wat het antwoordt wordt in tokens geteld, en de limieten ook.
Hoeveel woorden is een token?
In het Engels gemiddeld ongeveer driekwart woord. Leestekens en zeldzame woorden splitsen in meerdere tokens, dus code en namen kosten meer dan gewoon proza.
Waarom kost een lang gesprek meer?
Omdat de hele geschiedenis bij elke nieuwe vraag opnieuw wordt meegestuurd. De kosten van een gesprek groeien sneller dan het aantal berichten erin.
Beperken tokens hoeveel ik kan plakken?
Ja. Het contextvenster wordt in tokens gemeten, dus een document dat daar overheen gaat, moet worden opgesplitst of samengevat voordat het model eraan kan werken.