Pillole di LLM Sostieni Pillole di LLM

← Panoramica e percorso

Parte I · Fondamenta

01Tokenizzazione 02Embedding 03Positional encoding

Parte II · Il Transformer

04Self-attention 05Multi-head 06Blocco Transformer 07Profondità e scala 08Mixture of Experts

Parte III · Generazione

09Predizione 10Tutto insieme 11Contesto e KV cache

Parte IV · Come nasce un modello

12Addestramento 13Fine-tuning e RLHF

Parte V · Capacità avanzate

14Reasoning 15Multimodalità 16Interpretabilità

Parte VI · Nel mondo reale

17Inferenza locale 18RAG 19Agenti e strumenti

Riferimento

·Glossario ·Per approfondire ·Kit per docenti

Per approfondire

Le fonti che ispirano questa guida e i punti di partenza per andare oltre, dai paper fondamentali alle visualizzazioni interattive.

Visualizzazioni interattive

Visualizzazione Transformer Explainer GPT-2 che gira nel browser, con ogni passaggio visualizzato in tempo reale. Visualizzazione 3D LLM Visualization Un viaggio tridimensionale dentro le matrici e i calcoli di un LLM. Articolo illustrato The Illustrated Transformer Il classico di Jay Alammar che ha spiegato i transformer a una generazione. Video 3Blue1Brown · Neural networks La serie animata su reti neurali, transformer e attention, con un'intuizione geometrica impareggiabile.

Paper fondamentali

Paper · 2017 Attention Is All You Need L'articolo che ha introdotto l'architettura Transformer. Paper · 2021 RoFormer (RoPE) Il Rotary Position Embedding, oggi usato dalla maggior parte dei modelli aperti. Paper · 2022 InstructGPT Instruction tuning e RLHF: come un modello di linguaggio diventa un assistente. Paper · 2022 Chain-of-Thought Prompting Far scrivere i passaggi intermedi migliora il ragionamento dei modelli. Paper · 2020 Retrieval-Augmented Generation L'articolo che ha dato il nome al RAG. Paper · 2020 An Image is Worth 16x16 Words Il Vision Transformer: le immagini tagliate in patch e trattate come token. Paper · 2024 Mixtral of Experts Un modello Mixture of Experts aperto: 8 esperti per strato, 2 attivi per token.

Interpretabilità, strumenti e codice

Interpretabilità Towards Monosemanticity Anthropic scompone le attivazioni di un modello in feature interpretabili con gli sparse autoencoder. Interpretabilità Scaling Monosemanticity Milioni di feature estratte da Claude 3 Sonnet, compresa quella del Golden Gate Bridge. Standard Model Context Protocol Documentazione ufficiale dello standard aperto per collegare strumenti e dati agli LLM. Codice DwarfStar (ds4) Il motore di inferenza locale di antirez per DeepSeek V4: quantizzazione, SSD streaming e KV cache su disco. Codice nanoGPT Il GPT più semplice da leggere e addestrare, di Andrej Karpathy: poche centinaia di righe.