Finestra di contesto: quanto ricorda un LLM
Un modello non ha memoria tra una domanda e l'altra: ogni volta rilegge l'intera conversazione. Ma può leggerne solo un certo numero di token, la finestra di contesto. Quello che resta fuori, per lui, semplicemente non esiste.
La conversazione viene letta dal fondo: i messaggi più vecchi sono i primi a cadere fuori dalla finestra. Restringila finché il primo messaggio esce e guarda cosa succede alla risposta. (Finestra minuscola per rendere l'idea: i modelli di oggi leggono da 128.000 a oltre un milione di token.)
La KV cache: non rifare i conti
Per generare un nuovo token, l'attention ha bisogno delle Key e dei Value di tutti i token precedenti. Senza cache andrebbero ricalcolati da capo a ogni passo; con la cache si calcolano una volta sola e si tengono in memoria.
Senza cache il lavoro cresce con il quadrato dei token generati; con la cache cresce in modo lineare. In cambio, la cache occupa memoria per ogni token, per ogni strato.