Questa poltrona in avocado potrebbe essere il futuro dell'IA

Apri l'IA

Con GPT-3 , OpenAI ha dimostrato che un singolo modello di deep learning può essere addestrato all'uso della lingua in vari modi semplicemente lanciando grandi quantità di testo. Poi lo ha mostrato scambiando il testo con i pixel , lo stesso approccio potrebbe essere utilizzato per addestrare un'IA a completare immagini semifinite. GPT-3 imita il modo in cui gli umani usano le parole; L'immagine GPT-3 prevede ciò che vediamo.

Ora OpenAI ha messo insieme queste idee e costruito due nuovi modelli, chiamati DALL·E e CLIP , che combinano linguaggio e immagini in un modo che consentirà alle IA di comprendere meglio sia le parole che ciò a cui si riferiscono.

Viviamo in un mondo visivo, afferma Ilya Sutskever, capo scienziato di OpenAI. A lungo termine, avrai modelli che comprendono sia il testo che le immagini. L'IA sarà in grado di comprendere meglio la lingua perché può vedere cosa significano parole e frasi.

Storia correlata

Il nuovo generatore di linguaggi di OpenAI GPT-3 è incredibilmente buono e completamente insensato

L'intelligenza artificiale è il più grande modello linguistico mai creato e può generare su richiesta un testo simile a quello umano, ma non ci avvicina alla vera intelligenza.

Nonostante tutto lo stile di GPT-3, il suo output può sembrare svincolato dalla realtà, come se non sapesse di cosa sta parlando. Questo perché non è così. Basando il testo sulle immagini, i ricercatori di OpenAI e altrove stanno cercando di fornire modelli linguistici a una migliore comprensione dei concetti quotidiani che gli esseri umani usano per dare un senso alle cose.

DALL·E e CLIP affrontano questo problema da direzioni diverse. A prima vista, CLIP (Contrastive Language-Image Pre-training) è un altro sistema di riconoscimento delle immagini. Solo che ha imparato a riconoscere le immagini non da esempi etichettati in set di dati curati, come fa la maggior parte dei modelli esistenti, ma da immagini e loro didascalie prese da Internet. Impara cosa c'è in un'immagine da una descrizione piuttosto che da un'etichetta di una parola come gatto o banana.

CLIP viene addestrato facendogli prevedere quale didascalia da una selezione casuale di 32.768 è quella corretta per una data immagine. Per risolverlo, CLIP impara a collegare un'ampia varietà di oggetti con i loro nomi e le parole che li descrivono. Ciò consente quindi di identificare gli oggetti nelle immagini al di fuori del suo set di addestramento. La maggior parte dei sistemi di riconoscimento delle immagini sono addestrati per identificare determinati tipi di oggetti, come i volti nei video di sorveglianza o gli edifici nelle immagini satellitari. Come GPT-3, CLIP può generalizzare tra attività senza formazione aggiuntiva. È anche meno probabile che altri modelli di riconoscimento delle immagini all'avanguardia siano fuorviati da esempi contraddittori, che sono stati sottilmente modificati in modi che tipicamente confondono gli algoritmi anche se gli esseri umani potrebbero non notare alcuna differenza.

Invece di riconoscere le immagini, DALL·E (che immagino sia un gioco di parole WALL·E/Dali) le disegna. Questo modello è una versione più piccola di GPT-3 che è stata anche addestrata su coppie testo-immagine prese da Internet. Data una breve didascalia in linguaggio naturale, come un dipinto di un capibara seduto in un campo all'alba o una vista in sezione trasversale di una noce, DALL·E genera molte immagini che gli corrispondono: dozzine di capibara di tutte le forme e dimensioni davanti a sfondi arancioni e gialli; fila dopo fila di noci (anche se non tutte in sezione).

Diventa surreale

I risultati sono sorprendenti, anche se ancora un miscuglio. La didascalia una vetrata con l'immagine di una fragola blu produce molti risultati corretti, ma anche alcuni con finestre blu e fragole rosse. Altri non contengono nulla che assomigli a una finestra o a una fragola. I risultati presentato dal team OpenAI in un post del blog non sono stati selezionati manualmente ma classificati da CLIP, che ha selezionato le 32 immagini DALL·E per ogni didascalia che ritiene corrisponda meglio alla descrizione.

Il text-to-image è una sfida di ricerca che esiste da un po' di tempo, afferma Mark Riedl, che lavora sulla PNL e sulla creatività computazionale al Georgia Institute of Technology di Atlanta. Ma questa è una serie impressionante di esempi.

Immagini disegnate da DALL·E per la didascalia Un piccolo ravanello daikon in tutù che porta a spasso un cane

Per testare la capacità di DALL·E di lavorare con nuovi concetti, i ricercatori gli hanno fornito didascalie che descrivevano oggetti che pensavano non avrebbero mai visto prima, come una poltrona di avocado e l'illustrazione di un ravanello daikon in un tutù che porta a spasso un cane. In entrambi i casi, l'IA ha generato immagini che combinavano questi concetti in modi plausibili.

Le poltrone in particolare sembrano tutte sedie e avocado. La cosa che mi ha sorpreso di più è che il modello può prendere due concetti non correlati e metterli insieme in un modo che si traduce in qualcosa di funzionale, dice Aditya Ramesh, che ha lavorato su DALL·E. Questo probabilmente perché un avocado tagliato a metà assomiglia un po' a una poltrona con lo schienale alto, con il nocciolo come cuscino. Per altre didascalie, come una lumaca fatta di arpa, i risultati sono meno buoni, con immagini che combinano lumache e arpe in modi strani.

DALL·E è il tipo di sistema che Riedl ha immaginato di sottoporre al Prova Lovelace 2.0 , un esperimento mentale che ha ideato nel 2014. Il test ha lo scopo di sostituire il test di Turing come punto di riferimento per misurare l'intelligenza artificiale. Presuppone che un segno di intelligenza sia la capacità di fondere concetti in modi creativi. Riedl suggerisce che chiedere a un computer di disegnare l'immagine di un uomo con in mano un pinguino è una prova di intelligenza migliore rispetto a chiedere a un chatbot di ingannare un essere umano durante una conversazione, perché è più aperto e meno facile da imbrogliare.

Il vero test è vedere fino a che punto l'IA può essere spinta al di fuori della sua zona di comfort, afferma Riedl.

Immagini disegnate da DALL·E per la didascalia lumaca di arpa

La capacità del modello di generare immagini sintetiche da un testo piuttosto bizzarro mi sembra molto interessante, afferma Ani Kembhavi dell'Allen Institute for Artificial Intelligence (AI2), che ha anche sviluppato un sistema che genera immagini dal testo . I risultati sembrano obbedire alla semantica desiderata, che penso sia piuttosto impressionante. Anche Jaemin Cho, un collega di Kembhavi, è impressionato: i generatori di testo a immagine esistenti non hanno mostrato questo livello di controllo nel disegnare più oggetti o le capacità di ragionamento spaziale di DALL·E, dice.

Eppure DALL·E mostra già segni di tensione. Includere troppi oggetti in una didascalia aumenta la sua capacità di tenere traccia di cosa disegnare. E riformulare una didascalia con parole che significano la stessa cosa a volte produce risultati diversi. Ci sono anche segni che DALL·E sta imitando le immagini che ha incontrato online piuttosto che generarne di nuove.

Sono un po' sospettoso dell'esempio di daikon, che stilisticamente suggerisce che potrebbe aver memorizzato alcune opere d'arte da Internet, afferma Riedl. Osserva che una rapida ricerca fa emergere molte immagini di cartoni animati di daikon antropomorfi. GPT-3, su cui si basa DALL·E, è noto per la memorizzazione, dice.

Tuttavia, la maggior parte dei ricercatori di IA concorda sul fatto che fondare il linguaggio nella comprensione visiva sia un buon modo per rendere le IA più intelligenti.

Il futuro sarà costituito da sistemi come questo, afferma Sutskever. Ed entrambi questi modelli sono un passo verso quel sistema.

nascondere