Kontekstvindue
Et kontekstvindue er den mængde tekst, en model kan have for øje på én gang: dine spørgsmål, det, du har indsat, og modellens egne svar, alt sammen. Det måles i tokens, og når det er fyldt, falder starten af samtalen ud.
Hvad et kontekstvindue egentlig er
Det er et skrivebord og ikke en hukommelse. Det, der ligger på bordet, kan modellen se. Det, der gled ned fra det, findes ikke for modellen, selv om du skrev det for tyve minutter siden.
Størrelsen opgives i tokens. Et stort kontekstvindue kan rumme hundredvis af sider, men størrelsen lover ikke, at modellen holder lige så godt øje med midten af bunken som med enderne.
Hvorfor modellen glemmer
Når en samtale vokser ud af kontekstvinduet, falder den ældste del væk. Det er den velkendte oplevelse, at en model pludselig ignorerer en regel, du satte i begyndelsen.
Løsningen er at gentage og ikke at overtale: skriv begrænsningen ind igen i prompten, dér hvor den har betydning.
Sådan arbejder du med et stort dokument
Del arbejdet op. Ét kapitel, ét spørgsmål, ét resultat, og så en ny samtale til næste stykke.
Skal du slæbe et langt dokument gennem flere trin, så bed undervejs om et kort resumé og tag det med videre i stedet for hele teksten.
Almindelige spørgsmål
Hvor stort er et kontekstvindue?
Det varierer fra model til model, fra nogle få tusind tokens til flere millioner. Modellens egen dokumentation har det aktuelle tal, og det bliver sat op ret ofte.
Hvorfor glemmer modellen starten af en samtale?
Fordi den del er gledet ud af kontekstvinduet. Den er ikke slettet, modellen kan bare ikke se den mere, og derfor skal vigtige begrænsninger gentages.