Queste foto strane e inquietanti mostrano che l'IA sta diventando più intelligente

Istituto Allen per l'IA

Di tutti i modelli di intelligenza artificiale nel mondo, GPT-3 di OpenAI ha catturato maggiormente l'immaginazione del pubblico. Può vomitare poesie, racconti e canzoni con scarsi suggerimenti, ed è stato dimostrato per ingannare le persone nel pensare che i suoi output siano stati scritti da un essere umano. Ma la sua eloquenza è più un trucco da salotto, da non confondere con la vera intelligenza.

Tuttavia, i ricercatori ritengono che le tecniche utilizzate per creare GPT-3 potrebbero contenere il segreto per un'IA più avanzata. GPT-3 si è allenato su un'enorme quantità di dati di testo. E se gli stessi metodi fossero addestrati sia su testo che su immagini?

Ora una nuova ricerca dell'Allen Institute for Artificial Intelligence, AI2, ha portato questa idea a un livello superiore. I ricercatori hanno sviluppato un nuovo modello di testo e immagine, altrimenti noto come modello di linguaggio visivo, in grado di generare immagini con una didascalia. Le immagini sembrano inquietanti e bizzarre, niente come i deepfake iperrealistici generato dai GAN —ma potrebbero dimostrare una nuova direzione promettente per ottenere un'intelligenza più generalizzabile e forse anche robot più intelligenti.

Riempire gli spazi vuoti

GPT-3 fa parte di un gruppo di modelli noti come trasformatori, che sono diventati popolari per la prima volta con il successo di BERT di Google. Prima di BERT, i modelli linguistici erano piuttosto scadenti. Avevano un potere predittivo sufficiente per essere utili per applicazioni come il completamento automatico, ma non abbastanza per generare una frase lunga che seguisse regole grammaticali e buon senso.

BERT lo ha cambiato introducendo una nuova tecnica chiamata mascheramento . Implica nascondere parole diverse in una frase e chiedere al modello di riempire lo spazio vuoto. Per esempio:

• La donna è andata al ___ per allenarsi.
• Hanno comprato un ___ di pane per fare i panini.

L'idea è che se il modello è costretto a fare questi esercizi, spesso milioni di volte, inizia a scoprire schemi nel modo in cui le parole sono assemblate in frasi e frasi in paragrafi. Di conseguenza, può generare e interpretare meglio il testo, avvicinandolo alla comprensione del significato della lingua. (Google ora utilizza BERT per fornire risultati di ricerca più pertinenti nel suo motore di ricerca .) Dopo che il mascheramento si è rivelato molto efficace, i ricercatori hanno cercato di applicarlo ai modelli del linguaggio visivo nascondendo le parole nelle didascalie, in questo modo:

Un ____ si trova su un terreno sterrato vicino a un albero.

AI2

Questa volta il modello potrebbe guardare entrambe le parole circostanti e il contenuto dell'immagine per riempire lo spazio vuoto. Attraverso milioni di ripetizioni, potrebbe poi scoprire non solo gli schemi tra le parole, ma anche le relazioni tra le parole e gli elementi in ogni immagine.

Il risultato sono modelli in grado di mettere in relazione le descrizioni testuali con riferimenti visivi, proprio come i bambini possono stabilire connessioni tra le parole che imparano e le cose che vedono. I modelli possono guardare la foto qui sotto, ad esempio, e scrivere una didascalia sensata come Donne che giocano a hockey su prato. Oppure possono rispondere a domande come Qual è il colore della palla? collegando la parola palla con l'oggetto circolare nell'immagine.

Un modello di linguaggio visivo sarebbe in grado di intitolare in modo sensato questa foto: 'Donne che giocano a hockey su prato'.

JOHN TORCASIO / UNSPLASH

Un'immagine vale più di mille parole

Ma i ricercatori di AI2 volevano sapere se questi modelli avessero effettivamente sviluppato una comprensione concettuale del mondo visivo. Un bambino che ha imparato la parola per un oggetto può non solo evocare la parola per identificare l'oggetto, ma anche disegnare l'oggetto quando richiesto con la parola, anche se l'oggetto stesso non è presente. Quindi i ricercatori hanno chiesto ai modelli di fare lo stesso: generare immagini dalle didascalie. Tutti invece sputano pattern di pixel senza senso.

È un uccello! È un aereo! No, è solo gobbledygook generato dall'IA.

AI2

Ha senso: trasformare il testo in immagini è molto più difficile del contrario. Una didascalia non specifica tutto ciò che è contenuto in un'immagine, afferma Ani Kembhavi, che guida il team di computer vision di AI2. Quindi un modello deve attingere molto al buon senso sul mondo per riempire i dettagli.

Se gli viene chiesto di disegnare una giraffa che cammina su una strada, ad esempio, deve anche dedurre che è più probabile che la strada sia grigia che rosa acceso e che sia più probabile che si trovi vicino a un campo d'erba piuttosto che vicino all'oceano. sebbene nessuna di queste informazioni sia resa esplicita.

Quindi Kembhavi e i suoi colleghi Jaemin Cho, Jiasen Lu e Hannaneh Hajishirzi hanno deciso di vedere se potevano insegnare a un modello tutta questa conoscenza visiva implicita modificando il loro approccio al mascheramento. Invece di addestrare il modello solo a prevedere le parole mascherate nelle didascalie delle foto corrispondenti, lo hanno anche addestrato a prevedere i pixel mascherati nelle foto sulla base delle didascalie corrispondenti.

Le immagini finali generate dal modello non sono esattamente realistiche. Ma non è questo il punto. Contengono i giusti concetti visivi di alto livello: l'equivalente AI di un bambino che disegna una figura stilizzata per rappresentare un essere umano. (Puoi provare tu stesso il modello qui .)

Esempi di immagini generate dal modello di AI2 dalle didascalie sottostanti.

AI2

La capacità dei modelli di linguaggio visivo di fare questo tipo di generazione di immagini rappresenta un importante passo avanti nella ricerca sull'IA. Suggerisce che il modello sia effettivamente capace di un certo livello di astrazione, un'abilità fondamentale per comprendere il mondo.

A lungo termine, ciò potrebbe avere implicazioni per la robotica. Quanto più un robot riesce a comprendere l'ambiente circostante visivo e ad usare il linguaggio per comunicare su di esso, tanto più complessi saranno i compiti che sarà in grado di svolgere. A breve termine, questo tipo di visualizzazione potrebbe anche aiutare i ricercatori a capire meglio esattamente cosa stanno imparando i modelli di IA della scatola nera, afferma Hajishirzi.

Andando avanti, il team prevede di sperimentare di più per migliorare la qualità della generazione dell'immagine ed espandere il vocabolario visivo e linguistico del modello per includere più argomenti, oggetti e aggettivi.

La generazione di immagini è stata davvero un pezzo mancante del puzzle, afferma Lu. Abilitando questo, possiamo fare in modo che il modello impari rappresentazioni migliori per rappresentare il mondo.

nascondere