Embedding: dai token ai vettori
Ogni ID token viene trasformato in un vettore di numeri, tipicamente centinaia o migliaia. Questo vettore è la posizione del token in uno spazio dei significati: parole con senso simile finiscono vicine.
Ogni riga è il vettore di embedding di un token (qui ridotto a 24 dimensioni per leggibilità). Il colore codifica il valore di ciascuna dimensione: negativo → positivo. Passa il mouse o tocca una cella per vedere il numero.
Lo spazio dei significati
Poiché i significati diventano geometria, possiamo fare aritmetica con le parole. La direzione che separa re da regina è la stessa che separa uomo da donna. Da qui il celebre:
re − uomo + donna ≈ regina
La mappa a fianco illustra in 2D come si dispongono i vettori: parole vicine, significati vicini. È una caricatura disegnata a mano (lo spazio vero ha migliaia di dimensioni), ma rende l'idea.