Mixture of Experts: tanti esperti, pochi al lavoro
Più parametri significa di solito un modello più capace, ma anche più lento. I modelli Mixture of Experts (MoE) aggirano il problema: al posto di una sola feed-forward ne hanno tante, gli esperti, e per ogni token un piccolo router ne accende solo un paio.
Clicca un token per vedere come lo smista il router.
Come funziona. Il router è una piccola rete che, guardando il vettore del token, dà un punteggio a ciascun esperto. Una softmax trasforma i punteggi in pesi, si tengono solo i primi k e l'uscita è la somma dei loro risultati, pesata. Gli esperti non vengono assegnati a mano: la specializzazione emerge dall'addestramento, e nei modelli reali è molto meno netta delle etichette di questa demo, che sono solo illustrative.