Kontextfönster

Hur mycket text en språkmodell kan ta hänsyn till på en gång, mätt i tokens. Det som inte får plats kan modellen inte se.

Kallas även

context window

Kategori

AI

Enkel förklaring

En språkmodell har ett begränsat arbetsminne. Allt som modellen ska ta hänsyn till när den svarar, alltså din fråga, tidigare meddelanden, bifogade filer och svaret den skriver, måste få plats i det minnet. Det kallas kontextfönstret.

Det som inte får plats kan modellen inte se. När ett samtal blir för långt måste programmet runt modellen ta bort eller sammanfatta äldre delar, och då kan det som sades i början falla bort.

Teknisk förklaring

Kontextfönstret mäts i tokens. Enligt Anthropics dokumentation omfattar det all text som modellen kan använda när den skriver ett svar, inklusive svaret självt. Både det som skickas in och det som modellen skriver räknas alltså.

Hur stort fönstret är beror på modellen. När ett samtal närmar sig gränsen måste något göras: äldre delar tas bort, sammanfattas eller sparas på annat sätt.

Ett större fönster är inte automatiskt bättre. Anthropic skriver att träffsäkerheten kan försämras när mängden text växer, och att det därför är lika viktigt att välja vad som skickas med som hur mycket som får plats.

Praktiskt exempel

En AI-agent som arbetar länge med ett projekt läser många filer och kör många kommandon. Allt hamnar i kontextfönstret. När det fylls sammanfattar programmet runt modellen det äldre arbetet. Därför sparar agenter ofta viktiga beslut i anteckningar eller dokument som kan läsas in igen senare.

När och varför används det?

Begreppet blir viktigt när man arbetar med stora mängder text: långa dokument, stora kodbaser och långa samtal. Det förklarar varför en modell ibland glömmer något som sades tidigare.

Rekommendation:

• Skicka med det som behövs, inte allt som finns.
• Starta ett nytt samtal när ämnet byts.
• Spara viktiga beslut i dokument i stället för att lita på att de finns kvar i samtalet.

Vanliga missförstånd

• “Modellen minns tidigare samtal.” Nej. Modellen ser bara det som skickas med i kontextfönstret just då. Tjänster som verkar minnas gör det genom att själva skicka med anteckningar.
• “Ett större fönster betyder att allt används lika bra.” Nej. Med mycket text kan modellen missa detaljer.
• “Fönstret gäller bara det jag skriver.” Nej. Svaret räknas också.

Relaterade begrepp

Token (AI)De små textbitar som en språkmodell läser och skriver, ofta delar av ord. Textmängd, gränser och kostnad mäts i tokens.

Stor språkmodell (LLM)Ett datorprogram som har tränats på mycket text och skriver svar genom att gång på gång förutsäga vilken textbit som sannolikt kommer härnäst.

PromptTexten man ger en språkmodell: frågan eller uppgiften, och allt sammanhang som skickas med.