Addestramento: imparare a prevedere
Il pre-addestramento è un gioco gigantesco di «indovina la parola successiva». Ogni errore diventa un segnale che corregge, di pochissimo, miliardi di parametri. Ripetuto su trilioni di token, fa emergere grammatica, fatti e ragionamento.
Nel mezzo del cammin di nostra ?
La loss misura la «sorpresa» del modello davanti alla parola giusta: alta quando sbaglia, vicina a zero quando è sicuro. Premi Addestra e guardala scendere. Alza troppo la velocità di apprendimento e la discesa diventa instabile: il modello «rimbalza» invece di convergere.
Cosa succede sotto. Per ogni token il modello produce una probabilità; la confrontiamo con la parola realmente seguita e calcoliamo la loss. La backpropagation stima quanto ciascun parametro ha contribuito all'errore, e la discesa del gradiente li sposta di un passo nella direzione che riduce la loss. Un parametro alla volta, un token alla volta, per settimane su migliaia di GPU.
E un modello vero? Davanti a «Nel mezzo del cammin di nostra», un modello reale già addestrato come Qwen2.5-0.5B dà a «vita» circa il 48% di probabilità: tanto, ma non tutto, perché un testo può sempre continuare in altri modi. Lo vedi nella pillola sulla predizione.