O que é um token em IA?

O que é um token em IA, do lado do modelo

Os modelos não leem palavras, leem tokens: fragmentos frequentes de texto associados a números. Em inglês, um token vale em média três quartos de uma palavra, por isso cem palavras dão à volta de cento e trinta tokens.

Em português a conta é pior. Os acentos, as cedilhas e as terminações dos verbos partem as palavras em mais pedaços, e uma palavra portuguesa custa grosso modo dois tokens. É uma propriedade do vocabulário do modelo e não há maneira de escrever para a contornar.

Porque decide a fatura

As APIs cobram por token, e não só pela tua pergunta: o material que colaste, a conversa até ali e a resposta do próprio modelo contam todos.

É por isso que uma conversa comprida fica mais cara a cada mensagem. À décima pergunta estás a pagar também as nove anteriores, porque o histórico inteiro volta a passar pelo modelo de cada vez.

Como gastar menos

Quando o assunto muda, abre uma conversa nova. O modelo não leva a mal, e deixas de arrastar cinquenta parágrafos que já não interessam.

Com um documento grande, dá só a parte que importa e não tudo. Contexto comprido não é só mais caro, também é menos rigoroso, porque o ponto se perde no meio do enchimento.

O que é um token em IA, numa frase?

É a unidade de texto que o modelo lê e cobra. Tudo o que escreves e tudo o que ele responde conta-se em tokens, e os limites também.

Quantas palavras é um token?

Em inglês, cerca de três quartos de uma palavra, em média. A pontuação e as palavras raras partem-se em vários tokens, por isso código e nomes próprios custam mais do que prosa simples.

Porque custa mais uma conversa comprida?

Porque o histórico inteiro é reenviado a cada pergunta nova. O custo de uma conversa cresce mais depressa do que o número de mensagens que tem.

Os tokens limitam o que posso colar?

Sim. A janela de contexto mede-se em tokens, por isso um documento que a ultrapasse tem de ser dividido ou resumido antes de o modelo trabalhar sobre ele.