Finestra di contesto
La finestra di contesto è la quantità di testo che un modello tiene in vista in una volta sola: le tue domande, quello che hai incollato e le sue risposte, tutto insieme. Si misura in token, e quando si riempie l’inizio della conversazione esce.
Cos’è davvero la finestra di contesto
È una scrivania, non una memoria. Quello che sta sulla scrivania, il modello lo vede. Quello che è scivolato giù per lui non esiste, anche se l’hai scritto venti minuti fa.
La dimensione si indica in token. Una finestra grande può contenere centinaia di pagine, ma la dimensione non promette che il modello guardi il centro di quel mucchio con la stessa cura dei bordi.
Perché il modello dimentica
Quando una conversazione supera la finestra di contesto, la parte più vecchia cade. È l’esperienza che conosci: il modello che a un certo punto ignora una regola data all’inizio.
Si rimedia ripetendo, non convincendo: riscrivi il vincolo nel prompt, nel punto in cui conta.
Come lavorare con un documento grande
Spezza il lavoro. Un capitolo, una domanda, un risultato, poi una conversazione nuova per il pezzo successivo.
Se devi portare un documento lungo attraverso più passaggi, chiedi un riassunto breve ogni volta e porta avanti quello al posto del testo intero.
Domande frequenti
Quanto è grande una finestra di contesto?
Dipende dal modello, da poche migliaia di token fino a vari milioni. Il numero aggiornato sta nella documentazione del modello, e viene alzato abbastanza spesso.
Perché il modello dimentica l’inizio di una chat?
Perché quella parte è uscita dalla finestra di contesto. Non è stata cancellata, il modello semplicemente non la vede più, ed è per questo che i vincoli importanti vanno ripetuti.