Hvad er et token i AI?

Hvad er et token i AI, set fra modellens side?

Modeller læser ikke ord, de læser tokens: hyppige tekststykker, der er lagt over i tal. På engelsk er et token i gennemsnit omkring tre fjerdedele af et ord, så hundrede ord er cirka hundrede og tredive tokens.

Dansk ligger tættere på engelsk end ungarsk, men de lange sammensatte ord og bogstaverne æ, ø og å bliver delt i flere stykker. Groft regnet er et dansk ord to tokens, og en tætskrevet A4-side er omkring 1.000 tokens. Det ligger i modellens ordforråd, og det kan du ikke skrive dig ud af.

Hvorfor det afgør regningen

API'er tager betaling pr. token, og ikke kun for dit spørgsmål: det, du har indsat, samtalen indtil nu og modellens eget svar tæller alt sammen med.

Derfor bliver en lang samtale dyrere for hver runde. Ved det tiende spørgsmål betaler du også for de ni foregående, for hele historikken sendes gennem modellen igen hver gang.

Sådan bruger du færre

Skifter emnet, så start en ny samtale. Modellen tager det ikke ilde op, og du slipper for at slæbe halvtreds irrelevante afsnit med.

Har du et stort dokument, så giv den relevante del og ikke det hele. Lang kontekst er ikke bare dyrere, den er også mindre præcis, fordi pointen drukner i fyldet.

Hvad er et token i AI, i én sætning?

Det er den tekstenhed, en model læser og tager betaling for. Alt, du skriver, og alt, den svarer, tælles i tokens, og det gør grænserne også.

Hvor mange ord er et token?

På engelsk omkring tre fjerdedele af et ord i gennemsnit. Tegnsætning og sjældne ord deles i flere tokens, så kode og navne koster mere end almindelig tekst.

Hvorfor koster en lang samtale mere?

Fordi hele historikken sendes af sted igen med hvert nyt spørgsmål. Prisen for en samtale vokser hurtigere end antallet af beskeder i den.

Begrænser tokens, hvor meget jeg kan indsætte?

Ja. Kontekstvinduet måles i tokens, så et dokument, der er længere end det, skal deles op eller sammenfattes, før modellen kan arbejde med det.