Janela de contexto
A janela de contexto é a quantidade de texto que um modelo consegue ter à vista de uma vez: as tuas perguntas, o que colaste e as respostas do próprio modelo, tudo junto. Mede-se em tokens e, quando enche, o início da conversa cai fora.
O que é, de facto, a janela de contexto
É uma secretária, não uma memória. O que está em cima da secretária, o modelo vê. O que escorregou para o chão não existe para ele, mesmo que o tenhas escrito há vinte minutos.
O tamanho indica-se em tokens. Uma janela de contexto grande aguenta centenas de páginas, mas o tamanho não é promessa de que o modelo preste ao meio dessa pilha a mesma atenção que presta às pontas.
Porque o modelo se esquece
Quando a conversa ultrapassa a janela de contexto, a parte mais antiga desaparece. É a experiência conhecida de o modelo, de repente, ignorar uma regra que definiste no início.
A solução é repetir, não convencer: volta a escrever a restrição no prompt, no sítio onde ela conta.
Como trabalhar com um documento grande
Divide o trabalho. Um capítulo, uma pergunta, um resultado, e depois uma conversa nova para a parte seguinte.
Se tiveres mesmo de levar um documento comprido por vários passos, pede um resumo curto pelo caminho e leva esse resumo adiante em vez do texto completo.
Perguntas frequentes
Que tamanho tem uma janela de contexto?
Varia conforme o modelo, de alguns milhares de tokens a vários milhões. A documentação do próprio modelo tem o número atual, e ele sobe com frequência.
Porque é que o modelo se esquece do início da conversa?
Porque essa parte saiu da janela de contexto. Não foi apagada, o modelo é que já não a consegue ver, e por isso as restrições importantes têm de ser repetidas.