Ventana de contexto
La ventana de contexto es la cantidad de texto que un modelo puede tener a la vista de una vez: tus preguntas, lo que pegaste y sus propias respuestas, todo junto. Se mide en tokens, y cuando se llena, el principio de la conversación se cae.
Qué es la ventana de contexto en realidad
Es una mesa de trabajo, no una memoria. Lo que está sobre la mesa, el modelo lo ve. Lo que se ha caído al suelo no existe para él, aunque lo escribieras hace veinte minutos.
Su tamaño se da en tokens. Una ventana de contexto grande puede contener cientos de páginas, pero el tamaño no es ninguna promesa de que el modelo preste a la parte central de ese montón la misma atención que a los extremos.
Por qué el modelo se olvida de cosas
Cuando una conversación se pasa de la ventana de contexto, lo más antiguo se cae. Es la experiencia conocida de un modelo que de pronto ignora una regla que fijaste al principio.
El remedio es repetir, no convencer: vuelve a escribir la restricción en el prompt, justo donde importa.
Cómo trabajar con un documento grande
Trocea el trabajo. Un capítulo, una pregunta, un resultado, y después una conversación nueva para la siguiente parte.
Si tienes que llevar un documento largo a través de varios pasos, ve pidiendo un resumen corto y arrastra ese resumen en lugar del texto completo.
Preguntas frecuentes
¿Qué tamaño tiene una ventana de contexto?
Depende del modelo, desde unos pocos miles de tokens hasta varios millones. La cifra actual está en la documentación del propio modelo, y se amplía con bastante frecuencia.
¿Por qué el modelo se olvida del principio del chat?
Porque esa parte salió de la ventana de contexto. No se borró: el modelo, simplemente, ya no la ve, y por eso las restricciones importantes hay que repetirlas.