Fereastra de context
Fereastra de context este cantitatea de text pe care modelul o poate ține în față dintr-odată: întrebările tale, materialul lipit și răspunsurile de până atunci, la un loc. Se măsoară în tokenuri, iar când se umple, începutul conversației iese din ea.
Ce este fereastra de context
Nu e memorie, ci masă de lucru. Ce e pe ea, modelul vede. Ce a căzut de pe ea nu mai există pentru el, chiar dacă tu ai scris asta acum douăzeci de minute.
Mărimea ei se dă în tokenuri. O fereastră de context mare duce sute de pagini, dar mărimea nu promite că modelul va fi la fel de atent și la un detaliu din mijloc.
De ce uită modelul
Când conversația depășește fereastra, cea mai veche parte iese. De aici experiența cunoscută: modelul uită deodată regula pe care o ceruseși la început.
Soluția nu e să-l rogi, ci să repeți: scrie din nou restricția importantă în promptul unde contează.
Cum lucrezi cu un material mare
Taie munca în bucăți. Un capitol, o întrebare, un rezultat, apoi o conversație nouă pentru următorul.
Dacă trebuie să duci până la capăt un material lung, cere pe parcurs câte un rezumat scurt și ia-l cu tine în runda următoare, în locul textului întreg.
Întrebări frecvente
Cât de mare e o fereastră de context?
Diferă de la un model la altul, de la câteva mii de tokenuri la câteva milioane. Cifra exactă o dă documentația modelului și e mărită din când în când.
De ce uită modelul începutul conversației?
Pentru că a ieșit din fereastra de context. Modelul nu l-a șters, pur și simplu nu-l mai vede, de aceea trebuie să dai din nou restricția importantă.