Čo je token v AI

Čo je token v AI z pohľadu modelu

Modely nečítajú slová, čítajú tokeny: časté úryvky textu priradené k číslam. V angličtine je jeden token v priemere asi tri štvrtiny slova, takže sto slov je zhruba stotridsať tokenov.

Jazyky s bohatým skloňovaním na tom sú horšie. Slovenské slovo je pre model zvyčajne dva alebo tri tokeny a strana textu má vyše tisíc tokenov, lebo slovenčina je flektívna. To je vlastnosť slovníka modelu a nedá sa to obísť lepším písaním.

Prečo rozhodujú o účte

API sa účtujú za token, a nielen za tvoju otázku: počíta sa vložený materiál, doterajší rozhovor aj odpoveď samotného modelu.

Preto je dlhý rozhovor s každým kolom drahší. Pri desiatej otázke platíš aj za predchádzajúcich deväť, lebo celá história prechádza modelom zakaždým znova.

Ako ich minúť menej

Keď sa zmení téma, začni nový rozhovor. Model sa neurazí a prestaneš za sebou ťahať päťdesiat nepodstatných odsekov.

Pri veľkom dokumente daj len relevantnú časť, nie všetko. Dlhý kontext nie je len drahší, je aj menej presný, lebo podstata sa v zbytočnostiach stratí.

Čo je token v AI jednou vetou?

Je to jednotka textu, ktorú model číta a podľa ktorej sa účtuje. Všetko, čo napíšeš, aj všetko, čo odpovie, sa počíta v tokenoch, rovnako ako limity.

Koľko slov je jeden token?

V angličtine v priemere asi tri štvrtiny slova. V slovenčine je to menej, slovo sa zvyčajne rozpadne na dva alebo tri tokeny. Interpunkcia a vzácne slová sa tiež delia na viac tokenov, takže kód a mená stoja viac než obyčajná próza.

Prečo je dlhý rozhovor drahší?

Lebo sa pri každej novej otázke znova posiela celá história. Cena rozhovoru rastie rýchlejšie než počet správ v ňom.

Obmedzujú tokeny, koľko môžem vložiť?

Áno. Kontextové okno sa meria v tokenoch, takže dokument, ktorý ho presiahne, treba rozdeliť alebo zhrnúť, kým s ním model môže pracovať.