Guardare dentro: l'interpretabilità
Abbiamo visto cosa calcola un transformer. Ma cosa «pensa» davvero ai suoi strati interni? Il guaio è che i neuroni sono polisemantici: uno stesso neurone si accende per concetti scollegati. Gli sparse autoencoder aiutano a districare questo groviglio.
Il vettore del residual stream: leggibile dal modello, illeggibile per noi.
Centinaia di feature, ma solo poche attive: ognuna è un concetto.
Feature accese su questo contesto
Passa il mouse o tocca le celle accese per leggere il concetto. Cambiando contesto si illuminano feature diverse: è così che la ricerca di interpretabilità scopre cosa rappresenta un modello, una feature alla volta.
Perché conta. Trovare feature interpretabili permette di capire e persino guidare il comportamento di un modello: rafforzare una feature, attenuarne un'altra, accorgersi quando «pensa» a un concetto pericoloso. È una delle frontiere della ricerca sulla sicurezza dell'IA, resa celebre dal lavoro di Anthropic sulla monosemanticity.