Vad är en token i AI?

Vad är en token i AI, sett från modellens håll?

Modeller läser inte ord, de läser tokens: vanliga textfragment som omvandlats till siffror. På engelska är en token i snitt ungefär tre fjärdedels ord, så hundra ord blir cirka hundratrettio tokens.

Språk med många böjningar och sammansättningar kommer sämre ut. Svenska är ett sådant: ett ord som arbetsgivaravgift faller sönder i flera bitar, och samma mening kostar fler tokens på svenska än på engelska. Det beror på modellens ordförråd och går inte att skriva sig runt.

Varför den styr kostnaden

API:er tar betalt per token, och inte bara för din fråga: underlaget du klistrade in, samtalet hittills och modellens eget svar räknas alla.

Därför blir ett långt samtal dyrare för varje vända. Vid den tionde frågan betalar du för de nio tidigare också, för hela historiken går genom modellen igen varje gång.

Så använder du färre tokens

När ämnet byter, starta ett nytt samtal. Modellen tar inte illa upp, och du slipper släpa med femtio ovidkommande stycken.

Har du ett stort dokument, ge den relevanta delen och inte allt. Lång kontext är inte bara dyrare, den är också mindre träffsäker, för poängen försvinner i fyllnaden.

Vad är en token i AI, i en mening?

Enheten text som en modell läser och tar betalt för. Allt du skriver och allt den svarar räknas i tokens, och det gör gränserna också.

Hur många ord är en token?

På engelska ungefär tre fjärdedels ord i snitt. Skiljetecken och ovanliga ord delas upp i flera tokens, så kod och namn kostar mer än vanlig löptext.

Varför kostar ett långt samtal mer?

För att hela historiken skickas igen med varje ny fråga. Kostnaden för ett samtal växer snabbare än antalet meddelanden i det.

Begränsar tokens hur mycket jag kan klistra in?

Ja. Kontextfönstret mäts i tokens, så ett dokument som är större måste delas upp eller sammanfattas innan modellen kan jobba med det.