Co je token v AI
Co je token v AI? Je to kousek textu, ve kterém model počítá: není to písmeno a není to přesně slovo, je to něco mezi tím. Běžný úsek znaků, který model převede na čísla, než s ním může pracovat.
Co je token v AI z pohledu modelu
Modely nečtou slova, čtou tokeny: časté úlomky textu převedené na čísla. V angličtině vychází jeden token zhruba na tři čtvrtiny slova, takže sto slov je přibližně sto třicet tokenů.
Jazyky s bohatým skloňováním na tom jsou hůř. Čeština se kvůli diakritice a pádům tokenizuje podobně neúsporně: stejná věta může stát skoro dvojnásobek tokenů oproti angličtině. Je to vlastnost slovníku modelu a žádná formulace to nezmění.
Proč token rozhoduje o ceně
Rozhraní API účtují za token, a to nejen za tvou otázku: počítá se vložený materiál, dosavadní konverzace i odpověď modelu.
Proto je dlouhá konverzace s každou otázkou dražší. U desáté otázky platíš i za předchozích devět, protože celá historie projde modelem pokaždé znovu.
Jak jich spotřebovat méně
Když se změní téma, začni novou konverzaci. Model se neurazí a ty přestaneš s sebou vláčet padesát odstavců, které s tím nesouvisejí.
U velkého dokumentu dej jen relevantní část, ne celek. Dlouhý kontext není jen dražší, je i méně přesný, protože podstata se ztratí ve vatě.
Časté otázky
Co je token v AI, jednou větou?
Jednotka textu, kterou model čte a podle které se účtuje. Všechno, co napíšeš, i všechno, co odpoví, se počítá v tokenech, stejně jako limity.
Kolik slov je jeden token?
V angličtině průměrně tři čtvrtiny slova. Interpunkce a vzácná slova se rozpadnou na víc tokenů, takže kód a jména stojí víc než obyčejná próza.
Proč je dlouhá konverzace dražší?
Protože se s každou novou otázkou posílá znovu celá historie. Cena konverzace roste rychleji než počet zpráv v ní.
Omezují tokeny, kolik toho můžu vložit?
Ano. Kontextové okno se měří v tokenech, takže dokument, který ho přesáhne, je nutné rozdělit nebo shrnout, než na něm model může pracovat.