211service.com
Facebook vuole migliorare l'IA chiedendo alle persone di romperla
Yatheesh Gowda / Pixabay
I successi esplosivi dell'IA negli ultimi dieci anni circa sono in genere attribuiti a molti dati e molta potenza di calcolo. Ma anche i benchmark svolgono un ruolo cruciale nel guidare il progresso: test su cui i ricercatori possono confrontare la loro IA per vedere quanto è avanzata. Ad esempio, ImageNet, un set di dati pubblico di 14 milioni di immagini, fissa un obiettivo per il riconoscimento delle immagini. MNIST ha fatto lo stesso per il riconoscimento della grafia e GLUE (General Language Understanding Evaluation) per l'elaborazione del linguaggio naturale, portando a una svolta modelli linguistici come GPT-3 .
Un obiettivo prefissato viene presto superato. ImageNet è in fase di aggiornamento e GLUE è stato sostituito da SuperGLUE, un insieme di compiti linguistici più difficili. Tuttavia, prima o poi i ricercatori riferiranno che la loro IA ha raggiunto livelli sovrumani, superando le persone in questa o quella sfida. E questo è un problema se vogliamo che i benchmark continuino a guidare il progresso.
Quindi Facebook sta rilasciando un nuovo tipo di test che mette le IA contro gli umani che fanno del loro meglio per inciampare. Chiamato Dynabench , il test sarà tanto difficile quanto le persone scelgono di superarlo.
I benchmark possono essere molto fuorvianti, afferma Douwe Kiela di Facebook AI Research, che ha guidato il team dietro lo strumento. Concentrarsi troppo sui benchmark può significare perdere di vista obiettivi più ampi. Il test può diventare il compito.
Si finisce con un sistema che è migliore alla prova di quanto non lo siano gli umani ma non migliore nel compito generale, dice. È molto ingannevole, perché fa sembrare che siamo molto più lontani di quanto non siamo in realtà.
Kiela pensa che in questo momento sia un problema particolare con la PNL. Un modello linguistico come GPT-3 sembra intelligente perché è così bravo a imitare il linguaggio. Ma è difficile dire quanto effettivamente capiscano questi sistemi.
Pensa a provare a misurare l'intelligenza umana, dice. Puoi dare alle persone test del QI, ma questo non ti dice se capiscono davvero un argomento. Per farlo devi parlare con loro, fare domande.
Dynabench fa qualcosa di simile, usando le persone per interrogare le IA. Rilasciato online oggi, invita le persone a visitare il sito Web e interrogare i modelli dietro di esso. Ad esempio, potresti fornire a un modello linguistico una pagina di Wikipedia e quindi porre domande, segnando le sue risposte.
In un certo senso, l'idea è simile al modo in cui le persone stanno già giocando con GPT-3, testandone i limiti, o al modo in cui i chatbot vengono valutati per il Premio Loebner, un concorso in cui i robot cercano di passare per umani. Ma con Dynabench, i guasti che emergono durante i test verranno automaticamente reinseriti nei modelli futuri, rendendoli sempre migliori.
Per ora Dynabench si concentrerà sui modelli linguistici perché sono uno dei tipi di IA più facili con cui gli esseri umani possono interagire. Tutti parlano una lingua, dice Kiela. Non hai bisogno di alcuna conoscenza reale su come rompere questi modelli.
Ma l'approccio dovrebbe funzionare anche per altri tipi di reti neurali, come i sistemi di riconoscimento vocale o di immagini. Avresti solo bisogno di un modo per consentire alle persone di caricare le proprie immagini o farle disegnare cose per testarlo, afferma Kiela: La visione a lungo termine per questo è aprirlo in modo che chiunque possa creare il proprio modello e iniziare a raccogliere i propri dati.
Vogliamo convincere la comunità dell'IA che esiste un modo migliore per misurare i progressi, aggiunge. Si spera che si traduca in progressi più rapidi e in una migliore comprensione del motivo per cui i modelli di apprendimento automatico continuano a fallire.