Token IA : c’est quoi ?
Un token IA, c’est le morceau de texte avec lequel un modèle compte : ni une lettre, ni tout à fait un mot, quelque chose entre les deux. Un fragment courant de caractères que le modèle transforme en nombres avant de pouvoir travailler dessus.
C’est quoi un token IA, côté modèle
Les modèles ne lisent pas des mots, ils lisent des tokens : des fragments de texte fréquents associés à des nombres. En français, un mot vaut grosso modo 1,5 à 2 tokens, parce que les accents, les élisions et les mots longs se découpent en plus de morceaux qu’en anglais.
Une page A4 dense tourne donc autour de mille tokens, contre environ 700 en anglais. C’est une propriété du vocabulaire du modèle, pas quelque chose qu’on contourne en écrivant autrement.
Pourquoi les tokens décident de ta facture
Les API facturent au token, et pas seulement ta question : le document collé, la conversation jusque-là et la réponse du modèle comptent tous.
C’est pour ça qu’une longue conversation coûte plus cher à chaque échange. À la dixième question, tu paies aussi les neuf précédentes, parce que tout l’historique repasse dans le modèle à chaque fois.
Comment en dépenser moins
Quand le sujet change, ouvre une nouvelle conversation. Le modèle ne s’en offusquera pas, et tu cesses de traîner cinquante paragraphes hors sujet.
Avec un gros document, donne la partie utile plutôt que tout. Un long contexte coûte plus cher, mais il est aussi moins précis : l’essentiel se noie dans le remplissage.
Questions fréquentes
C’est quoi un token IA, en une phrase ?
L’unité de texte que le modèle lit et qu’on te facture. Tout ce que tu tapes et tout ce qu’il répond se compte en tokens, et les limites aussi.
Un token, ça fait combien de mots ?
En anglais, environ trois quarts de mot. En français, un mot fait plutôt 1,5 à 2 tokens. La ponctuation et les mots rares se coupent en plusieurs tokens : le code et les noms propres coûtent plus que de la prose simple.
Pourquoi une longue conversation coûte-t-elle plus cher ?
Parce que tout l’historique est renvoyé à chaque nouvelle question. Le coût d’une conversation grimpe plus vite que le nombre de messages.
Les tokens limitent-ils ce que je peux coller ?
Oui. La fenêtre de contexte se mesure en tokens : un document qui la dépasse doit être découpé ou résumé avant que le modèle puisse travailler dessus.