¿Qué es un token en IA?
¿Qué es un token en IA? Es el trozo de texto con el que cuenta un modelo: ni una letra ni exactamente una palabra, sino algo intermedio. Un fragmento frecuente de caracteres que el modelo convierte en números antes de poder trabajar con él.
Qué es un token en IA, visto desde el modelo
Los modelos no leen palabras, leen tokens: fragmentos de texto frecuentes asociados a números. En inglés un token equivale de media a tres cuartos de palabra, y en español sale algo más caro, porque las palabras son más largas y llevan tildes. Una página A4 de texto denso ronda los mil tokens.
Los idiomas con mucha flexión salen peor parados. La misma frase en húngaro o en finés puede costar casi el doble de tokens que en inglés, y es una propiedad del vocabulario del modelo, no algo que puedas arreglar escribiendo de otra manera.
Por qué decide tu factura
Las API cobran por token, y no solo por tu pregunta: cuenta el material que pegaste, la conversación hasta ese momento y la propia respuesta del modelo.
Por eso una conversación larga se encarece con cada turno. En la décima pregunta estás pagando también las nueve anteriores, porque todo el historial vuelve a pasar por el modelo cada vez.
Cómo gastar menos
Cuando cambies de tema, abre una conversación nueva. El modelo no se ofende, y dejas de arrastrar cincuenta párrafos que ya no pintan nada.
Con un documento grande, da la parte que importa en lugar de todo. Un contexto largo no solo sale más caro, también es menos preciso, porque lo importante se pierde entre el relleno.
Preguntas frecuentes
¿Qué es un token en IA, en una frase?
Es la unidad de texto que un modelo lee y cobra. Todo lo que escribes y todo lo que responde se cuenta en tokens, y los límites también.
¿Cuántas palabras es un token?
En inglés, unos tres cuartos de palabra de media. En español, algo menos. La puntuación y las palabras raras se parten en varios tokens, así que el código y los nombres propios cuestan más que la prosa normal.
¿Por qué una conversación larga cuesta más?
Porque el historial entero se reenvía con cada pregunta nueva. El coste de una conversación crece más rápido que el número de mensajes.
¿Los tokens limitan cuánto puedo pegar?
Sí. La ventana de contexto se mide en tokens, así que un documento que se pase hay que partirlo o resumirlo antes de que el modelo pueda trabajar con él.