Sicurezza dell'IA

I guasti, quasi sempre, non sono drammatici. Stanno nella coda della distribuzione, in condizioni per cui nessuno aveva scritto un test, e li scopre chi per caso è di turno quando succedono.

Il problema è tutto nella copertura. Una suite di test è un insieme finito di condizioni pescate da un insieme infinito, e i guasti che contano sono, per costruzione, quelli che nessuno ha pensato di pescare.

Anche una valutazione è un sistema, con un suo comportamento. Da qui la domanda scomoda: che cosa misura un benchmark, quando ciò che sta misurando si accorge di essere sotto esame?

Per questo il lavoro che serve è avversariale, non esaustivo. Si smette di elencare le condizioni e si costruisce la cosa che le genera, poi si guarda quanto regge il sistema.