Kontextové okno
Kontextové okno je množstvo textu, ktoré model udrží v zábere naraz: tvoje otázky, vložené podklady aj jeho vlastné odpovede dohromady. Meria sa v tokenoch a keď sa zaplní, začiatok rozhovoru vypadne.
Čo je kontextové okno naozaj
Je to pracovný stôl, nie pamäť. Čo leží na stole, model vidí. Čo zo stola spadlo, pre model neexistuje, aj keď to bolo napísané pred dvadsiatimi minútami.
Veľkosť sa udáva v tokenoch. Veľké kontextové okno unesie stovky strán, ale veľkosť nie je záruka, že model venuje strednej časti tej hŕby rovnakú pozornosť ako začiatku a koncu.
Prečo model zabúda
Keď rozhovor prerastie kontextové okno, najstaršia časť odpadne. Je to známa skúsenosť, keď model zrazu ignoruje pravidlo, ktoré platilo od začiatku.
Riešením je opakovanie, nie presviedčanie: zopakuj obmedzenie v prompte, kde na ňom záleží.
Ako pracovať s veľkým dokumentom
Rozdeľ prácu. Jedna kapitola, jedna otázka, jeden výsledok, potom nový rozhovor na ďalší kúsok.
Ak musíš dlhý dokument ťahať cez viac krokov, popri tom si pýtaj krátke zhrnutie a ďalej nos radšej to než celý text.
Časté otázky
Aké veľké je kontextové okno?
Líši sa podľa modelu, od niekoľkých tisíc tokenov po niekoľko miliónov. Aktuálne číslo nájdeš v dokumentácii modelu a dosť často sa zvyšuje.
Prečo model zabúda začiatok rozhovoru?
Lebo tá časť vypadla z kontextového okna. Nebola zmazaná, model ju len už nevidí, preto treba dôležité obmedzenia zopakovať.