L'attention è solo metà del lavoro. Un blocco completo alterna attention e una rete neurale «feed-forward», con due trucchi che rendono possibile addestrare reti profondissime: connessioni residue e normalizzazione.
Clicca un componente del diagramma per scoprirne il ruolo.
3 domande veloci: scegli una risposta per ciascuna.
In quale parte del blocco i token «si parlano» tra loro?
La feed-forward lavora su ogni token separatamente: solo l'attention mescola informazione tra posizioni diverse.
A cosa serve la connessione residua?
Il residuo crea una «corsia preferenziale» per il segnale e per i gradienti: è ciò che permette di addestrare reti molto profonde.
Dove si trova la maggior parte dei parametri di un blocco?
La feed-forward espande il vettore (di solito di circa 4 volte) e lo ricomprime: sono matrici enormi, ripetute in ogni blocco.