Glossario

#Agente

Un sistema in cui un LLM lavora in ciclo: decide un'azione, usa uno strumento, osserva il risultato e prosegue finché il compito è finito.

→ Agenti e strumenti

#Allucinazione

Quando il modello produce informazioni plausibili ma false, perché completa il testo in modo convincente anche quando non «sa» la risposta.

→ RAG

#Attention

Il meccanismo con cui ogni token pesa e aggrega l'informazione degli altri token rilevanti.

→ Self-attention

#Autoregressivo

Detto di un modello che genera un token alla volta, usando ogni token prodotto come parte dell'input per il successivo.

→ Tutto insieme

#Backpropagation

Il metodo che calcola quanto ciascun parametro ha contribuito all'errore, propagando il segnale all'indietro nella rete.

→ Addestramento

#Blocco Transformer

L'unità ripetuta composta da attention, feed-forward, connessioni residue e normalizzazione.

→ Blocco Transformer

#BPE

Byte-Pair Encoding: l'algoritmo che costruisce il vocabolario unendo iterativamente le coppie di caratteri (o byte) più frequenti.

→ Tokenizzazione

#Causale

Proprietà dei modelli tipo GPT: ogni token può guardare solo sé stesso e i token precedenti, mai quelli futuri.

→ Self-attention

#Chain-of-thought

La tecnica per cui il modello scrive i passaggi intermedi del ragionamento prima della risposta finale, migliorando l'accuratezza sui problemi complessi.

→ Reasoning

#Connessione residua

La somma dell'input di un sotto-strato al suo output, che preserva il segnale e facilita l'addestramento profondo.

→ Blocco Transformer

#Discesa del gradiente

L'algoritmo che aggiusta i parametri a piccoli passi nella direzione che riduce la loss.

→ Addestramento

#DPO

Direct Preference Optimization: un metodo di allineamento che impara direttamente dalle coppie di risposte preferita/scartata, senza un modello di ricompensa separato.

→ Fine-tuning e RLHF

#Embedding

Il vettore di numeri che rappresenta un token; codifica il suo significato come posizione in uno spazio.

→ Embedding

#Feature

Una direzione interpretabile estratta dalle attivazioni, che corrisponde a un concetto riconoscibile (es. «riferimenti a felini»).

→ Interpretabilità

#Feed-forward

La piccola rete neurale applicata a ogni token dentro un blocco; contiene gran parte dei parametri.

→ Blocco Transformer

#Fine-tuning

L'addestramento aggiuntivo di un modello già pre-addestrato su dati più specifici, per specializzarlo o renderlo più utile.

→ Fine-tuning e RLHF

#Finestra di contesto

Il numero massimo di token che il modello può considerare in una volta: ciò che resta fuori, per il modello, non esiste.

→ Contesto e KV cache

#Grouped-query attention

Variante della multi-head attention (GQA) in cui più teste di Query condividono le stesse Key e Value: la KV cache si riduce molto, con una perdita di qualità minima.

→ Multi-head

#Inferenza

La fase in cui il modello, già addestrato, genera testo prevedendo un token alla volta.

→ Inferenza locale

#Instruction tuning

Il fine-tuning su esempi di istruzione e risposta, che insegna al modello a seguire le richieste invece di limitarsi a completare il testo.

→ Fine-tuning e RLHF

#Interpretabilità

Il campo che studia cosa rappresentano e come «ragionano» i modelli internamente, per capirli e renderli più sicuri.

→ Interpretabilità

#KV cache

La memoria di lavoro dell'attention: i vettori Key e Value già calcolati per i token del contesto, riusati per non rifare i conti a ogni passo.

→ Contesto e KV cache

#Layer normalization

La normalizzazione dei valori di un vettore per stabilizzare e velocizzare l'apprendimento.

→ Blocco Transformer

#Learning rate

La dimensione del passo della discesa del gradiente: troppo piccolo è lento, troppo grande rende l'addestramento instabile.

→ Addestramento

#LLM

Large Language Model: una rete neurale enorme addestrata a prevedere il token successivo su grandi quantità di testo.

#Logit

Il punteggio grezzo (non normalizzato) assegnato a ogni token del vocabolario prima della softmax.

→ Predizione

#Loss

La misura dell'errore del modello: quanto la sua previsione si discosta dalla risposta corretta. Addestrare significa ridurla.

→ Addestramento

#MCP

Model Context Protocol: uno standard aperto, introdotto da Anthropic nel 2024, per collegare strumenti e fonti di dati alle applicazioni basate su LLM.

→ Agenti e strumenti

#Mixture of Experts

Architettura in cui, per ogni token, si attiva solo un sottoinsieme di «esperti» (sotto-reti), dando tanti parametri a costo di calcolo ridotto.

→ Mixture of Experts

#Modello di ricompensa

Una rete che impara a dare un punteggio alle risposte, stimando quanto un umano le preferirebbe; guida l'allineamento nel RLHF.

→ Fine-tuning e RLHF

#Motore di inferenza

Il software che carica i pesi di un modello ed esegue il calcolo per generare testo, in locale o su server.

→ Inferenza locale

#Multi-head attention

L'uso di più meccanismi di attention in parallelo, ciascuno specializzato in relazioni diverse.

→ Multi-head

#Multimodale

Detto di un modello che elabora più tipi di dati, come testo, immagini e audio, nella stessa sequenza di token.

→ Multimodalità

#Parametri

I numeri (pesi) appresi durante l'addestramento; i modelli moderni ne hanno miliardi.

→ Profondità e scala

#Parametri attivi

In un modello Mixture of Experts, i parametri effettivamente usati per elaborare un token: una frazione di quelli totali.

→ Mixture of Experts

#Patch

Un piccolo riquadro di un'immagine (per esempio 16×16 pixel) che un modello multimodale trasforma in un token visivo.

→ Multimodalità

#Polisemantico

Detto di un neurone che si attiva per concetti diversi e scollegati, e quindi è difficile da interpretare.

→ Interpretabilità

#Positional encoding

Il segnale aggiunto agli embedding per informare il modello sulla posizione di ogni token nella sequenza.

→ Positional encoding

#Pre-addestramento

La prima e più lunga fase: il modello impara a prevedere il token successivo su enormi quantità di testo, acquisendo lingua, fatti e capacità generali.

→ Addestramento

#Prompt injection

Un attacco in cui istruzioni nascoste in un testo letto dal modello (una pagina web, un documento) cercano di dirottarne il comportamento.

→ Agenti e strumenti

#Quantizzazione

Rappresentare i pesi del modello con meno bit (es. 2 o 4 invece di 16) per ridurne drasticamente la dimensione, con un piccolo calo di qualità.

→ Inferenza locale

#Query, Key, Value

I tre vettori derivati da ogni token: la Query cerca, le Key vengono confrontate, i Value portano l'informazione.

→ Self-attention

#RAG

Retrieval-Augmented Generation: recuperare prima i documenti pertinenti da una base di conoscenza e poi generare la risposta basandosi su di essi.

→ RAG

#Ricerca semantica

La ricerca che confronta i significati invece delle parole esatte, misurando la vicinanza tra gli embedding di query e documenti.

→ RAG

#RLHF

Reinforcement Learning from Human Feedback: l'allineamento del modello alle preferenze umane tramite un modello di ricompensa appreso dalle scelte delle persone.

→ Fine-tuning e RLHF

#RMSNorm

Variante semplificata della layer normalization, usata da molti modelli recenti: riscala il vettore in base alla sua ampiezza media, senza sottrarre la media.

→ Blocco Transformer

#RoPE

Rotary Position Embedding: codifica la posizione ruotando i vettori Query e Key di un angolo che dipende dalla posizione, così l'attention «sente» la distanza relativa tra i token.

→ Positional encoding

#Router

Nei modelli Mixture of Experts, la piccola rete che per ogni token sceglie quali esperti attivare.

→ Mixture of Experts

#Self-attention

Attention applicata alla stessa sequenza: i token guardano sé stessi e gli altri token della frase.

→ Self-attention

#Softmax

La funzione che trasforma un insieme di punteggi in probabilità positive che sommano a 1.

→ Predizione

#Sparse autoencoder

Una rete che scompone le attivazioni interne in tante feature di cui poche attive, spesso interpretabili una per una.

→ Interpretabilità

#Superposizione

La capacità di un modello di codificare più concetti di quanti neuroni abbia, sovrapponendoli nello stesso spazio.

→ Interpretabilità

#SwiGLU

La funzione di attivazione «con cancello» usata nella feed-forward di molti modelli recenti: una parte della rete decide quanto lasciar passare dell'altra.

→ Blocco Transformer

#Temperatura

Il parametro che regola la casualità del campionamento: bassa = prevedibile, alta = creativo.

→ Predizione

#Test-time compute

L'idea di far «pensare» di più il modello al momento della risposta (più passaggi o tentativi) per ottenere risultati migliori, a costo di più calcolo.

→ Reasoning

#Token

L'unità minima che il modello elabora: un frammento di testo (parola, parte di parola o simbolo) preso da un vocabolario fisso.

→ Tokenizzazione

#Tokenizer

Il componente che converte il testo in token e viceversa. Ogni famiglia di modelli ha il suo vocabolario, quindi lo stesso testo può costare un numero diverso di token.

→ Tokenizzazione

#Tool use

La capacità di un modello di chiedere l'uso di uno strumento esterno (ricerca, calcolatrice, API) scrivendo una richiesta strutturata che l'applicazione esegue. Detto anche function calling.

→ Agenti e strumenti

#Top-p

Strategia di campionamento (nucleus sampling) che considera solo i token più probabili fino a coprire una probabilità cumulata p, per esempio 0,9, scartando la coda di candidati improbabili.

→ Predizione

#Vision encoder

La rete che trasforma le patch di un'immagine in vettori comprensibili al modello linguistico.

→ Multimodalità

#Vocabolario

L'insieme finito di tutti i token che il modello conosce: circa 50.000 in GPT-2, 100.000–200.000 e più nei modelli recenti.

→ Tokenizzazione