Contextvenster
Het contextvenster is hoeveel tekst een model tegelijk in beeld kan houden: je vragen, wat je plakte en de eigen antwoorden van het model, bij elkaar. Het wordt in tokens gemeten, en als het vol zit, valt het begin van het gesprek eruit.
Wat het contextvenster eigenlijk is
Het is een bureau, geen geheugen. Wat op het bureau ligt, kan het model zien. Wat eraf is geschoven, bestaat voor het model niet meer, ook als je het twintig minuten geleden schreef.
De grootte wordt in tokens opgegeven. Een groot contextvenster kan honderden pagina's bevatten, maar grootte belooft niet dat het model het midden van die stapel net zo zorgvuldig leest als het begin en het eind.
Waarom het model vergeet
Groeit een gesprek uit het contextvenster, dan valt het oudste deel weg. Dat is de bekende ervaring dat een model ineens een regel negeert die je aan het begin gaf.
De oplossing is herhalen, niet overtuigen: zet de randvoorwaarde opnieuw in de prompt, op de plek waar hij ertoe doet.
Zo werk je met een groot document
Knip het werk op. Eén hoofdstuk, één vraag, één resultaat, en dan een nieuw gesprek voor het volgende stuk.
Moet je een lang document door meerdere stappen heen meenemen, vraag dan onderweg om een korte samenvatting en neem die mee in plaats van de volledige tekst.
Veelgestelde vragen
Hoe groot is een contextvenster?
Dat verschilt per model, van een paar duizend tokens tot meerdere miljoenen. De documentatie van het model noemt het actuele getal, en het wordt regelmatig verhoogd.
Waarom vergeet het model het begin van een gesprek?
Omdat dat deel uit het contextvenster is gevallen. Het is niet gewist, het model kan het alleen niet meer zien, en daarom moet je belangrijke randvoorwaarden herhalen.