10
Mettiamo tutto insieme
Genera una parola alla volta seguendo l'intera pipeline. Il modello aggiunge il token previsto al contesto e ricomincia da capo: è così che nasce un testo, un token dopo l'altro.
Testo generato
Un passaggio per ogni token. Questo ciclo si chiama generazione autoregressiva: ogni token prodotto entra a far parte dell'input del passo successivo. Per questo una risposta di 500 token richiede 500 passaggi attraverso l'intera pila di blocchi, e per questo il testo compare a pezzi mentre il modello lo scrive. Ricalcolare ogni volta tutto il contesto sarebbe uno spreco enorme: come lo si evita lo vediamo nella prossima pillola, con la KV cache.