Multimodalità: come un LLM «vede» le immagini
Un Transformer sa elaborare solo sequenze di vettori. Per fargli «vedere» una foto basta allora trasformarla in una sequenza: la si taglia in quadratini, le patch, e ognuna diventa un token visivo che si mette in fila accanto ai token del testo.
Passa il mouse o tocca l'immagine per scegliere una patch. Il vision encoder la trasforma in un vettore della stessa dimensione degli embedding del testo.
Dopo, è tutto uguale. Una volta in fila, token visivi e token di testo attraversano gli stessi blocchi: l'attention lascia che la parola «tramonto» guardi le patch arancioni del cielo, esattamente come guarderebbe un'altra parola. L'idea viene dal Vision Transformer (2020), il cui titolo dice tutto: «Un'immagine vale 16×16 parole».