Ce este un token în AI

Ce este un token în AI, pentru model

Modelul nu vede cuvinte, ci tokenuri: fragmente frecvente de cuvinte, pe care le transformă în numere. În engleză, un token are în medie trei sferturi de cuvânt. În română raportul e mai slab, pentru că articolul lipit la sfârșitul cuvântului, flexiunea și diacriticele rup cuvintele în mai multe bucăți.

De aceea aceeași propoziție poate costa în română de două ori mai multe tokenuri decât în engleză, și de aceea o conversație în română ajunge mai repede la limită.

De ce contează, dacă plătești pentru el

API-urile se tarifează pe tokenuri, și nu doar pentru întrebarea ta: materialul lipit, partea de conversație de până atunci și răspunsul modelului intră toate în calcul.

O conversație lungă devine mai scumpă la fiecare pas, pentru că la fiecare întrebare nouă tot textul de până atunci trece din nou prin model.

Cum le folosești cu cap

Când se schimbă subiectul, începe o conversație nouă. Modelul nu se supără, iar tu nu mai cari după tine cincizeci de paragrafe inutile.

La un material mare, nu da totul, ci partea relevantă. Un context lung nu e doar mai scump, ci și mai puțin precis: esențialul se pierde în umplutură.

Ce este un token în AI, într-o propoziție?

Bucata de text cu care numără modelul. Din ele se alcătuiește tot ce scrii și tot ce răspunde, iar în tokenuri se măsoară atât limitele, cât și prețul.

Câte cuvinte are un token?

În engleză, circa trei sferturi de cuvânt, deci o sută de cuvinte înseamnă cam o sută treizeci de tokenuri. În română socotește mai degrabă două tokenuri pe cuvânt, din cauza flexiunii.

De ce devine mai scumpă o conversație lungă?

Pentru că la fiecare întrebare nouă intră în model și toată conversația de până atunci. La a zecea întrebare le plătești și pe cele nouă dinainte.

Un text în română consumă mai multe tokenuri?

Da, de obicei de una ori două ori mai multe pentru același conținut. Depinde de vocabularul modelului, nu de cum scrii tu.