07
Impilare i blocchi: la profondità
Un blocco solo capisce poco. Impilandone decine, ogni strato raffina la rappresentazione: i primi colgono sintassi e parole vicine, gli ultimi concetti astratti e ragionamento.
Per dare un'idea della scala
| Modello | Anno | Blocchi | Dim. embedding | Parametri |
|---|---|---|---|---|
| GPT-2 Small | 2019 | 12 | 768 | 124 milioni |
| GPT-2 XL | 2019 | 48 | 1.600 | 1,5 miliardi |
| GPT-3 | 2020 | 96 | 12.288 | 175 miliardi |
| Llama 3.1 405B | 2024 | 126 | 16.384 | 405 miliardi |
| DeepSeek V3 | 2024 | 61 | 7.168 | 671 miliardi (37 attivi per token) |
Dati ufficiali pubblicati dagli autori. Molti modelli commerciali non dichiarano questi numeri. DeepSeek V3 ha meno blocchi ma molti più parametri: è un modello Mixture of Experts, e per ogni token ne usa solo una parte.