Co to jest token AI?

Co to jest token AI z perspektywy modelu

Modele nie czytają słów, tylko tokeny: częste fragmenty tekstu zamienione na liczby. W angielskim token to średnio trzy czwarte słowa, więc sto słów to mniej więcej sto trzydzieści tokenów.

Języki o bogatej fleksji wypadają gorzej. Polskie słowo to zwykle dwa albo trzy tokeny, bo końcówki, przedrostki i znaki diakrytyczne rozpadają się na osobne kawałki. To cecha słownika modelu i nie da się jej obejść własnym pisaniem.

Dlaczego token decyduje o rachunku

API rozlicza się za tokeny, i to nie tylko za twoje pytanie: liczy się wklejony materiał, dotychczasowa rozmowa i odpowiedź samego modelu.

Dlatego długa rozmowa z każdą wymianą robi się droższa. Przy dziesiątym pytaniu płacisz też za poprzednie dziewięć, bo cała historia za każdym razem przechodzi przez model od nowa.

Jak zużywać mniej tokenów

Gdy zmienia się temat, zacznij nową rozmowę. Model się nie obrazi, a ty przestajesz ciągnąć za sobą pięćdziesiąt nieistotnych akapitów.

Przy dużym dokumencie podaj istotny fragment, a nie całość. Długi kontekst jest nie tylko droższy, ale i mniej dokładny, bo sedno ginie w wypełniaczach.

Co to jest token AI w jednym zdaniu?

To jednostka tekstu, którą model czyta i za którą nalicza opłatę. Wszystko, co wpisujesz, i wszystko, co odpowiada, liczy się w tokenach, tak samo jak limity.

Ile słów to jeden token?

W angielskim średnio trzy czwarte słowa. Interpunkcja i rzadkie słowa rozpadają się na kilka tokenów, więc kod i nazwy własne kosztują więcej niż zwykła proza.

Dlaczego długa rozmowa kosztuje więcej?

Bo cała historia jest wysyłana od nowa z każdym kolejnym pytaniem. Koszt rozmowy rośnie szybciej niż liczba wiadomości w niej.

Czy tokeny ograniczają to, co mogę wkleić?

Tak. Okno kontekstowe mierzy się w tokenach, więc dokument, który się w nim nie mieści, trzeba podzielić albo streścić, zanim model go przetworzy.