Dalla teoria alla pratica: un LLM a casa tua
Abbiamo visto come «pensa» un modello. Ma questi mostri hanno centinaia di miliardi di parametri: come si fa a farne girare uno sul proprio computer, in privato, senza il cloud? Serve un motore di inferenza. Guardiamone uno reale: DwarfStar.
Idea 1 · Quantizzazione: rimpicciolire il modello
Ogni parametro è un numero. Salvarlo con meno bit rende il modello molto più piccolo, così entra in memoria. Sposta il cursore della precisione e guarda la matrice di pesi.
Meno bit = modello più leggero, con un piccolo calo di qualità. Il trucco di DwarfStar è una quantizzazione asimmetrica: comprime a 2 bit solo gli «esperti» del Mixture-of-Experts, che occupano quasi tutto lo spazio, lasciando intatte le parti delicate. Così i 2 bit restano usabili sul serio, persino con gli agenti di coding.
Idea 2 · La RAM diventa un cursore, non un muro
Una volta: o il modello entrava in RAM, o non partiva. DwarfStar tiene fisse in memoria le parti comuni e fa arrivare gli esperti mancanti dall'SSD al volo. Quanta RAM hai?
Altre idee chiave
KV cache su disco
La KV cache, la «memoria» della conversazione, di solito vive in RAM. Qui può stare su SSD: riprendi una sessione vecchia senza rielaborare tutto da capo.
Inferenza distribuita
Dividi un modello enorme su due macchine collegate (es. due Mac Studio). I prompt lunghi si elaborano più in fretta in pipeline; la generazione paga un piccolo salto di rete per token.
Agente nativo
Un agente di coding in cui la sessione è la KV cache su disco: cambio sessione istantaneo e stato sempre coerente, senza confini di rete interni.
Steering
Spingendo una singola direzione nelle attivazioni (le feature della pillola sull'interpretabilità) cambi il comportamento, più conciso o più restio su certi temi, senza ri-addestrare.
Perché farlo in locale. I tuoi dati non lasciano il computer (privacy), non paghi per token, funziona offline e hai il controllo totale. DwarfStar è software libero, di qualità beta, sviluppato apertamente con forte assistenza dell'IA e debitore di llama.cpp e GGML. È un ottimo esempio di cosa significhi, oggi, «possedere» un modello.