Token jelentése
A token jelentése az AI-ban: a szövegnek az a darabja, amivel a modell egyszerre számol. Nem betű és nem pontosan szó, hanem valami a kettő között. Magyar szövegben egy szó gyakran két vagy három tokenre esik szét.
Mi a token jelentése a modell szempontjából
A modell nem szavakat lát, hanem tokeneket: gyakori szórészeket, amiket számokká fordít. Az angol szövegben egy token átlagosan háromnegyed szó, a magyarban ennél rosszabb az arány, mert a ragozott alakok szétesnek.
Ezért lehet ugyanaz a mondat magyarul kétszer annyi token, mint angolul, és ezért fut ki hamarabb egy magyar beszélgetés a korlátból.
Miért számít, ha fizetsz érte
Az API-k tokenre áraznak, és nem csak a kérdésedre: a beillesztett anyag, a beszélgetés eddigi része és a modell válasza mind tokenbe kerül.
Egy hosszú beszélgetés azért lesz drágább lépésenként, mert minden új kérdésnél az egész eddigi szöveg újra végigmegy a modellen.
Hogyan bánj vele okosan
Ha a téma vált, kezdj új beszélgetést. A modell nem sértődik meg, te pedig nem viszed magaddal ötven felesleges bekezdést.
Nagy anyagnál ne az egészet add oda, hanem a releváns részt. A hosszú kontextus nem csak drágább, hanem pontatlanabb is: a lényeg elveszik a töltelékben.
Gyakori kérdések
Mi a token jelentése egy mondatban?
A token jelentése: az a szövegdarab, amivel a modell számol. Ebből épül fel minden, amit beírsz és amit válaszol, és ebben mérik a korlátokat és az árat is.
Egy token hány szó?
Angolul körülbelül háromnegyed szó, tehát száz szó nagyjából százharminc token. Magyarul számolj inkább két tokennel szavanként, a ragozás miatt.
Miért lesz drágább egy hosszú beszélgetés?
Mert minden új kérdésnél a teljes eddigi beszélgetés is bemegy a modellbe. A tizedik kérdésnél már a kilenc előzőt is fizeted.
A magyar szöveg több tokent fogyaszt?
Igen, jellemzően másfél-kétszer annyit ugyanarra a tartalomra. Ez a modell szótárán múlik, nem a te fogalmazásodon.