Il concetto di Perplexity nell'IA

La perplexity è una misura utilizzata per valutare le prestazioni dei modelli linguistici. Si riferisce a quanto bene il modello è in grado di prevedere la parola successiva in una sequenza di parole. 

Come probabilmente saprai ormai, il testo generato dall'intelligenza artificiale viene generato proceduralmente; cioè parola per parola. L'IA seleziona la prossima parola probabile in una frase da un numero K (migliaia) di opzioni ponderate nel campione.

La perplexity si basa sul concetto di entropia, che è la quantità di caos o casualità in un sistema. 

Quindi un punteggio di perplexity più basso indica che il modello linguistico è migliore nel calcolare la parola successiva, quella che è probabile che ricorra in una data sequenza, mentre un punteggio di perplexity più alto indica che il modello è meno accurato. In sostanza, più bassa è la perplexity, più è prevedibile. Ciò indica una migliore generalizzazione e performance.

Facciamo un esempio davvero approssimativo: come pensi che dovrebbe finire questa frase?

"Ho preso i bambini e li ho lasciati a..."

Un modello linguistico con elevata perplexity potrebbe proporre come risposte “ghiacciolo”, “pensieroso” o “luminoso”: parole a caso, un minestrone insensato.

Da qualche parte nel mezzo potrebbe esserci "la festa di compleanno del presidente". È altamente improbabile ma... immagino che potrebbe essere plausibile, in rare occasioni?

Ma un modello linguistico a bassa perplexity potrebbe rispondere “scuola” o “la piscina”. Questa è una previsione accurata e corretta di ciò che probabilmente verrà dopo ?

Come potete vedere, ci sono vari gradi di plausibilità nell'output.

(A proposito, notate come prevedendo accuratamente il linguaggio, l'intelligenza artificiale dà l'impressione - erroneamente - di essere anche accurata nei fatti. Non cadere in questo errore!)

La perplessità è comunemente usata nelle attività di PNL come il riconoscimento vocale, la traduzione automatica e la generazione di testo, dove l'opzione più prevedibile è solitamente la risposta corretta. Per scrivere contenuti generici che devono essere standard o ordinari, una minore perplexity è la scommessa più sicura.

Ammettilo: la maggior parte delle volte, ciò che noi umani diciamo e scriviamo è di solito piuttosto noioso! È facile calcolare quale parola viene... [In seguito? Dopo? Pomodoro?]

Leggi l'originale su Medium