Kontextové okno
Kontextové okno je množství textu, které model udrží před očima najednou: tvoje otázky, vložený materiál i jeho vlastní odpovědi dohromady. Měří se v tokenech a když se zaplní, začátek konverzace vypadne.
Co kontextové okno doopravdy je
Je to pracovní stůl, ne paměť. Co leží na stole, model vidí. Co ze stolu sklouzlo, pro něj neexistuje, i když jsi to napsal před dvaceti minutami.
Velikost se udává v tokenech. Velké kontextové okno pojme stovky stránek, ale velikost není slib, že model prostředek té hromady sleduje stejně pozorně jako okraje.
Proč model zapomíná
Když konverzace kontextové okno přeroste, nejstarší část odpadne. Zná to každý, komu model najednou ignoruje pravidlo zadané na začátku.
Řešením je opakování, ne přemlouvání: zopakuj omezení v promptu tam, kde na něm záleží.
Jak pracovat s velkým dokumentem
Rozděl práci. Jedna kapitola, jedna otázka, jeden výsledek a pro další kus čerstvá konverzace.
Pokud musíš dlouhý dokument protáhnout několika kroky, průběžně žádej krátké shrnutí a posouvej dál to, ne celý text.
Časté otázky
Jak velké je kontextové okno?
Liší se podle modelu, od pár tisíc tokenů po několik milionů. Aktuální číslo najdeš v dokumentaci modelu a zvyšuje se poměrně často.
Proč model zapomíná začátek konverzace?
Protože ta část z kontextového okna vypadla. Nebyla smazána, model ji prostě už nevidí, a proto je potřeba důležitá omezení zopakovat.