Fine-tuning e RLHF: da «sa tutto» a «è utile»
Dopo il pre-addestramento il modello conosce la lingua, ma non sa di dover essere d'aiuto: completa il testo e basta. Due fasi lo trasformano in un assistente, l'instruction tuning e l'allineamento alle preferenze umane.
Pre-addestramento
Prevede la parola successiva su mezzo internet. Sa come parla il mondo, ma a «Qual è la capitale?» potrebbe rispondere con un'altra domanda.
Instruction tuning
Lo si addestra su esempi di istruzione → risposta utile scritti da persone. Impara il formato «domanda e risposta» e a seguire le richieste.
Allineamento (RLHF)
Le persone indicano quale tra due risposte preferiscono. Da qui nasce un modello di ricompensa che spinge il modello verso risposte migliori.
Diventa tu l'annotatore
Per ogni richiesta scegli la risposta che preferisci. Ogni scelta insegna al modello di ricompensa che cosa premiare.
Nota: il modello di ricompensa impara le tue preferenze, quali che siano. Per questo chi annota i dati, e con quali criteri, incide profondamente sul comportamento finale del modello.