05
Più teste, più sguardi
Un solo meccanismo di attention vede una sola «relazione» per volta. I transformer ne usano molti in parallelo, le head, ognuna specializzata: chi guarda la sintassi, chi i riferimenti, chi le parole vicine.
Quattro head sulla stessa frase («Il gatto dorme sul vecchio divano caldo»). Nota come ciascuna sviluppi un pattern diverso: i loro risultati vengono poi concatenati e combinati. In un modello reale le head per blocco sono decine.