Token (AI)
De små textbitar som en språkmodell läser och skriver, ofta delar av ord. Textmängd, gränser och kostnad mäts i tokens.
- Kallas även
- textbit
- Kategori
- AI
Token (AI), textbit, tokens
Enkel förklaring
En språkmodell läser inte text bokstav för bokstav eller ord för ord. Den delar upp texten i små bitar som kallas tokens. Ett kort, vanligt ord kan vara en token, medan ett långt eller ovanligt ord kan delas upp i flera.
Tokens är det mått som används för språkmodeller: hur mycket som får plats i kontextfönstret och vad det kostar att använda en modell.
Teknisk förklaring
Enligt Anthropics ordlista är tokens de minsta enheterna som en språkmodell arbetar med. De kan motsvara ord, delar av ord, enskilda tecken eller byte.
Uppdelningen görs av en tokeniserare, som är olika för olika modeller. Samma text kan därför bli olika många tokens i olika modeller.
Både det som skickas till modellen (indata) och det som modellen skriver (utdata) räknas i tokens. Många tjänster tar betalt per miljon tokens, ofta med olika pris för indata och utdata.
Praktiskt exempel
Den som använder en AI-tjänst genom dess API ser ofta hur många tokens varje fråga och svar använde. Ett långt dokument som bifogas kan stå för de flesta tokens i en fråga, även om själva frågan är kort.
Hur en viss text delas upp beror på modellen. Vill man veta exakt kan man använda tjänstens eget verktyg för att räkna tokens.
När och varför används det?
Tokens används för att mäta och planera användningen av språkmodeller: hur mycket text som får plats, hur lång tid ett svar tar och vad det kostar.
Rekommendation: skicka bara med den text som behövs. Det sparar tokens, och därmed både pengar och plats i kontextfönstret.
Vanliga missförstånd
- “En token är ett ord.” Nej. En token kan vara ett helt ord, en del av ett ord eller enskilda tecken.
- “Alla modeller räknar likadant.” Nej. Olika modeller har olika tokeniserare.
- “Token betyder alltid samma sak.” Nej. Inom säkerhet är en token något helt annat: en digital nyckel som ger åtkomst, ett slags lösenord (se OAuth 2.0). Den här sidan handlar bara om tokens i språkmodeller.