Come funziona
davvero un LLM

Dai modelli come GPT a Claude: cosa succede, passo dopo passo, quando scrivi una frase e il modello risponde. Niente magia, solo token, vettori e attention.

Inizia il viaggio

19 pillole · demo da provare · gratis e in italiano

Prima di iniziare

Il quadro generale

Un LLM è una funzione gigantesca che riceve del testo e prevede la parola successiva, una alla volta. Sembra semplice, ma dentro c'è una pipeline di trasformazioni. Eccola.

FASE 1 Tokenizzazione Il testo diventa una sequenza di token (interi). FASE 2 Embedding Ogni token diventa un vettore di numeri. FASE 3 Posizione Si aggiunge l'informazione sull'ordine. FASE 4 Attention I token si scambiano informazione nel contesto. FASE 5 Blocchi ×N Decine di strati raffinano le rappresentazioni. FASE 6 Predizione Si stima la probabilità della prossima parola.

L'idea chiave. Tutto ciò che un LLM fa è trasformare numeri in altri numeri. Il testo viene convertito in vettori, questi attraversano decine di strati identici, e alla fine si ottiene una distribuzione di probabilità sulla prossima parola. Clicca una fase qui sopra per aprire la sua pillola, oppure segui il percorso completo qui sotto.

Il percorso

19 pillole, sei parti

Ogni pillola è una pagina breve con una demo da provare e qualche domanda finale per verificare di aver capito. Puoi seguirle in ordine o saltare a quella che ti incuriosisce.

Parte I

Fondamenta

Dal testo grezzo ai vettori: come una frase diventa una sequenza di numeri ricchi di significato, pronti per il modello.

01Aggiornata Tokenizzazione Il testo diventa una sequenza di interi. Con il tokenizer vero di GPT-4o e la «tassa sull'italiano». 6 min 02 Embedding Ogni token diventa un punto in uno spazio dei significati. 5 min 03Aggiornata Positional encoding Il segnale che dà al modello il senso dell'ordine. 4 min

Parte II

Il Transformer

Il motore vero e proprio: l'attention lascia che ogni parola guardi le altre, e impilando questi blocchi nasce la comprensione.

04 Self-attention Ogni token guarda i precedenti e decide a chi dare peso. 7 min 05Aggiornata Multi-head Più attention in parallelo, ognuna con la sua specialità. 4 min 06Aggiornata Blocco Transformer Attention + feed-forward + residui: l'unità che si ripete. 5 min 07Aggiornata Profondità e scala Decine di strati, miliardi di parametri. 4 min 08Nuova Mixture of Experts Il router accende solo pochi esperti per ogni token. 5 min

Parte III

Generazione

Dall'ultimo strato alla parola scelta: come il modello trasforma i vettori in testo, un token alla volta, e quanto testo riesce a tenere a mente.

09Aggiornata Predizione Dai punteggi alle probabilità: temperatura e top-p. 5 min 10 Tutto insieme Il ciclo completo, un token alla volta. 3 min 11Nuova Contesto e KV cache Perché il modello dimentica, e come evita di ricalcolare. 5 min

Parte IV

Come nasce un modello

Un transformer appena inizializzato è una lavagna vuota. Vediamo come, da una montagna di testo e dal giudizio umano, impara prima a prevedere e poi a rendersi davvero utile.

12 Addestramento Loss, gradiente e learning rate: indovinare la parola successiva. 5 min 13 Fine-tuning e RLHF Diventa tu l'annotatore e addestra il modello di ricompensa. 6 min

Parte V

Capacità avanzate

Oltre il meccanismo di base: ragionare passo per passo, vedere le immagini e provare a guardare dentro le rappresentazioni del modello.

14 Reasoning Pensare prima di rispondere: chain-of-thought e test-time compute. 5 min 15Nuova Multimodalità Un'immagine tagliata in patch diventa una sequenza di token. 5 min 16 Interpretabilità Sparse autoencoder: dai neuroni confusi a concetti leggibili. 6 min

Parte VI

Nel mondo reale

Dalla teoria all'uso quotidiano: far girare un modello sul proprio computer, collegarlo a fonti esterne e farlo agire con strumenti veri.

17 Inferenza locale Quantizzazione e SSD streaming, con DwarfStar di antirez. 7 min 18 RAG Cercare i documenti giusti prima di rispondere. 5 min 19Nuova Agenti e strumenti Tool use e MCP: il ciclo pensa → agisci → osserva. 6 min

Riferimento Glossario 61 termini chiave, spiegati in una frase e cercabili al volo. Per chi insegna Kit per docenti Percorsi di lezione, attività in classe e domande di discussione, pronti da usare. Oltre Per approfondire Paper, visualizzazioni, video e codice per andare più a fondo.