Ragionamento Automatico

Un modello a cui si chiede di mostrare i passaggi produce un secondo testo. Che quel testo descriva davvero il primo è una domanda sul modello, non sul testo stesso: i due escono dagli stessi pesi, sotto la stessa pressione.

Nell'addestramento non c'è niente che premi il secondo testo perché sia fedele al primo. Lo premia perché venga accettato, che è una proprietà più debole e molto più facile da ottenere.

Quindi la domanda interessante non è che cosa dice la spiegazione. È quali parti di un'esecuzione si possono cambiare senza che la risposta cambi, e quali no.

Questa domanda, a differenza dell'altra, una risposta ce l'ha. Si interviene sull'esecuzione invece che sul racconto dell'esecuzione, e i punti in cui la risposta si sposta sono i punti che stavano facendo il lavoro.