Okno kontekstowe
Okno kontekstowe to ilość tekstu, którą model widzi naraz: twoje pytania, wklejone materiały i jego własne odpowiedzi, wszystko razem. Mierzy się je w tokenach, a gdy się zapełni, początek rozmowy wypada.
Czym naprawdę jest okno kontekstowe
To biurko, a nie pamięć. Co leży na biurku, model widzi. Co z niego zsunęło się na podłogę, dla modelu nie istnieje, nawet jeśli padło to dwadzieścia minut temu.
Rozmiar podaje się w tokenach. Duże okno kontekstowe mieści setki stron, ale rozmiar nie obiecuje, że model równie uważnie czyta środek tego stosu jak jego początek i koniec.
Dlaczego model zapomina
Gdy rozmowa przerośnie okno kontekstowe, najstarsza część odpada. Stąd znane doświadczenie, że model nagle ignoruje zasadę ustaloną na początku.
Lekarstwem jest powtórzenie, a nie przekonywanie: napisz ograniczenie jeszcze raz tam, gdzie ma znaczenie.
Jak pracować z dużym dokumentem
Podziel pracę. Jeden rozdział, jedno pytanie, jeden efekt, a potem nowa rozmowa na kolejny kawałek.
Jeśli musisz przeprowadzić długi dokument przez kilka kroków, na bieżąco proś o krótkie streszczenie i przenoś dalej je, a nie pełny tekst.
Częste pytania
Jak duże jest okno kontekstowe?
Zależy od modelu, od kilku tysięcy tokenów do kilku milionów. Aktualną liczbę podaje dokumentacja modelu, a jest podnoszona dość często.
Dlaczego model zapomina początek rozmowy?
Bo ta część wyszła poza okno kontekstowe. Nie została usunięta, model po prostu jej już nie widzi, dlatego ważne ograniczenia trzeba powtarzać.