Kontextfönster
Ett kontextfönster är så mycket text en modell kan ha framför sig på en gång: dina frågor, det du klistrade in och modellens egna svar, allt tillsammans. Det mäts i tokens, och när det är fullt faller början av samtalet bort.
Vad ett kontextfönster egentligen är
Tänk skrivbord, inte minne. Det som ligger på skrivbordet kan modellen se. Det som har ramlat av finns inte för modellen, även om du skrev det för tjugo minuter sedan.
Storleken anges i tokens. Ett stort kontextfönster kan rymma hundratals sidor, men storleken är inget löfte om att modellen ger mitten av högen lika mycket uppmärksamhet som ändarna.
Varför modellen glömmer
När ett samtal växer ur kontextfönstret faller den äldsta delen bort. Det är den välkända upplevelsen att en modell plötsligt ignorerar en regel som du satte i början.
Lösningen är upprepning och inte övertalning: skriv regeln igen i prompten där den behövs.
Så jobbar du med ett stort dokument
Dela upp arbetet. Ett kapitel, en fråga, ett resultat, sedan ett nytt samtal för nästa bit.
Måste du bära ett långt dokument genom flera steg, be om en kort sammanfattning längs vägen och för den vidare i stället för hela texten.
Vanliga frågor
Hur stort är ett kontextfönster?
Det varierar mellan modeller, från några tusen tokens till flera miljoner. Modellens egen dokumentation har det aktuella talet, och det höjs ganska ofta.
Varför glömmer modellen början av ett samtal?
För att den delen lämnade kontextfönstret. Den raderades inte, modellen kan bara inte se den längre, och därför behöver viktiga begränsningar upprepas.