La predizione: scegliere la prossima parola
Dopo l'ultimo blocco, il vettore del token finale viene proiettato su tutto il vocabolario: un punteggio (logit) per ogni possibile token. La softmax li trasforma in probabilità, e da lì si sceglie la parola successiva.
La temperatura controlla la casualità: bassa → il modello sceglie quasi sempre il candidato più probabile (prevedibile); alta → appiattisce le probabilità e diventa più creativo, ma anche più incoerente. Il top-p taglia la coda: tiene solo i candidati più probabili fino a coprire la quota p della probabilità, e scarta gli altri (in grigio).
Dal vero: cosa prevede un modello reale
I numeri qui sopra sono illustrativi. Questi no: sono le probabilità calcolate davvero da Qwen2.5-0.5B, un piccolo modello aperto da mezzo miliardo di parametri (quantizzato a 4 bit), una volta sola e poi salvate nella pagina. Scegli un contesto.
Il puntino · è lo spazio che fa parte del token. Il vocabolario di
questo modello ha circa 150.000 token: gli 8 mostrati sono i più probabili, «tutti gli altri» si dividono il
resto. Le barre sono in scala rispetto al primo candidato.