Kontextusablak
A kontextusablak az a szövegmennyiség, amit a modell egyszerre szem előtt tud tartani: a te kérdéseid, a beillesztett anyag és a modell eddigi válaszai együtt. Tokenben mérik, és ha megtelik, a beszélgetés eleje kiesik.
Mi a kontextusablak
Nem memória, hanem munkaasztal. Ami rajta van, azt a modell látja, ami lecsúszott róla, az számára nem létezik, akkor sem, ha te húsz perccel korábban leírtad.
A méretét tokenben adják meg. Egy nagy kontextusablak több száz oldalt is elbír, de a méret nem ígéret arra, hogy a közepén lévő részletre is ugyanolyan pontosan figyel.
Miért felejt el a modell
Amikor a beszélgetés túllépi az ablakot, a legrégebbi rész kiesik. Innen jön a tipikus élmény, hogy a modell hirtelen elfelejti a szabályt, amit az elején kértél.
A megoldás nem a könyörgés, hanem az ismétlés: a fontos megkötést írd be újra abba a promptba, ahol számít.
Hogyan dolgozz nagy anyaggal
Vágd fel a munkát. Egy fejezet, egy kérdés, egy eredmény, aztán új beszélgetés a következőre.
Ha végig kell vinni egy hosszú anyagot, kérj közben rövid összegzést, és azt vidd magaddal a következő körbe a teljes szöveg helyett.
Gyakori kérdések
Mekkora egy kontextusablak?
Modellenként változik, néhány ezer tokentől több millióig. A pontos számot a modell dokumentációja mondja meg, és időnként emelik.
Miért felejti el a beszélgetés elejét?
Mert kifutott a kontextusablakból. A modell nem törli, hanem egyszerűen nem látja többé, ezért kell a fontos megkötést újra megadni.