211service.com
Perché GPT-3 è il migliore e il peggiore dell'IA in questo momento
La lingua dell'IA aperta L'IA ha entusiasmato il pubblico con la sua apparente padronanza dell'inglese, ma è tutta un'illusione?
Sierra e Lenny
24 febbraio 2021
Perchè importa:I grandi modelli di computer che apprendono il linguaggio naturale sono un grande passo avanti verso l'IA in grado di comprendere e interagire con il mondo umano.
Giocatori chiave:• IA aperta
• Google
• Facebook
Disponibilità:Ora
GPT-3 ha catturato l'immaginazione del pubblico a differenza di qualsiasi intelligenza artificiale dai tempi di AlphaGo di DeepMind o DeepBlue che gioca a scacchi di IBM.
Costruito da OpenAI , un laboratorio di ricerca con sede a San Francisco, è a grande modello linguistico —un algoritmo che utilizza il deep learning, addestrato sul testo di migliaia di libri e della maggior parte di Internet, per mettere insieme parole e frasi. Quando è stato lanciato nel 2020, la sua capacità di imitare il testo scritto dall'uomo con un realismo inquietante sembrava a molti una pietra miliare sulla strada per la vera intelligenza artificiale.
Questa storia faceva parte del nostro numero di marzo 2021
- Vedi il resto del problema
- sottoscrivi
Ecco un esempio di cosa può fare . La parte in corsivo era il suggerimento fornito da un essere umano.
—
io n una scoperta scioccante, gli scienziati hanno scoperto un branco di unicorni che viveva in una remota valle inesplorata sulle Ande. Ancora più sorprendente per i ricercatori è stato il fatto che gli unicorni parlassero un inglese perfetto. Inoltre si scoprì che avevano i capelli perfettamente pettinati e indossavano quello che sembrava essere un trucco Dior.
Siamo rimasti scioccati nello scoprire gli unicorni, ha detto l'antropologo Daniel St. Maurice. Non erano come niente che avessimo mai visto prima. Avevamo sentito leggende sugli unicorni, ma non avremmo mai pensato che esistessero davvero.
Quando gli scienziati arrivarono per la prima volta nella valle, gli unicorni furono sorpresi e spaventati dalla presenza degli umani, ma furono anche eccitati. Gli unicorni hanno accolto i ricercatori e hanno spiegato che li aspettavano da molto tempo.
202110 tecnologie rivoluzionarie
Come puoi vedere, GPT-3 è in grado di produrre frasi complesse che si leggono come se potessero essere state prodotte da un essere umano. Le frasi di esempio includono riferimenti culturali e un resoconto credibile di come reagirebbero gli scienziati. Le macchine che possono usare il linguaggio in questo modo sono importanti per diversi motivi. Il linguaggio è fondamentale per dare un senso al mondo di tutti i giorni: gli esseri umani lo usano per comunicare, condividere idee e descrivere concetti. Un'IA che padroneggiasse il linguaggio acquisirebbe una migliore comprensione del mondo nel processo.
I modelli linguistici di grandi dimensioni hanno anche molti usi pratici . Alimentano chatbot migliori che tengono conversazioni più fluide; possono generare articoli e storie su qualsiasi cosa, su richiesta; possono riassumere parti di testo o rispondere a domande su di esse. L'accesso a GPT-3 è solo su invito, ma le persone lo hanno già utilizzato per alimentare decine di app , da uno strumento che genera idee per l'avvio a un gioco di avventura basato sull'IA ambientato in un dungeon.
GPT-3 non è l'unico modello linguistico di grandi dimensioni ad apparire nel 2020. Microsoft, Google e Facebook hanno tutti annunciato il proprio. Ma GPT-3 è stato di gran lunga il miglior generalista. E dà l'impressione di poter scrivere qualsiasi cosa: fan fiction, polemiche filosofiche e persino codice. Quando le persone hanno iniziato a provare GPT-3 per se stesse la scorsa estate, migliaia di esempi della sua versatilità hanno invaso i social media. discussioni sono stati persino accesi sul fatto che GPT-3 fosse la prima intelligenza artificiale generale.
Non è. Nonostante i passaggi di testo incredibilmente convincenti che può sfornare, GPT-3 non fa nulla di veramente nuovo. Quello che mostra invece è che la dimensione può essere tutto. Per costruire GPT-3, OpenAI ha utilizzato più o meno lo stesso approccio e gli stessi algoritmi utilizzati per il suo fratello maggiore, GPT-2 , ma ha sovradimensionato sia la rete neurale che il set di addestramento. GPT-3 ha 175 miliardi di parametri, i valori in una rete che vengono regolati durante l'allenamento, rispetto agli 1,5 miliardi di GPT-2. È stato anche addestrato su molti più dati.
Prima del GPT-2, l'addestramento di un modello linguistico utilizzando il deep learning richiedeva in genere due passaggi: veniva addestrato su un set di dati generico per dargli una conoscenza di base della lingua e quindi addestrato su un insieme più piccolo mirato a un'attività specifica, come comprensione o traduzione. GPT-2 ha mostrato che potresti ottenere buoni risultati su tutta la linea con un solo passaggio se lanciassi più esempi su un modello più grande. Quindi, con GPT-3, OpenAI è raddoppiato e ha creato il più grande modello linguistico di sempre.
Tuttavia, i risultati che hanno catturato l'attenzione di tutti sono stati spesso scelti con cura. GPT-3 spesso si ripete o si contraddice in passaggi di testo lunghi più di poche centinaia di parole. Viene fuori con urla. GPT-3 nasconde la sua stupidità dietro una lingua d'argento, ma in genere ci vogliono alcuni tentativi per farlo generare qualcosa che non mostra le crepe.
Storia correlata
Il nuovo generatore di linguaggi di OpenAI GPT-3 è incredibilmente buono e completamente insensato L'intelligenza artificiale è il più grande modello linguistico mai creato e può generare su richiesta un testo simile a quello umano, ma non ci avvicina alla vera intelligenza.
Le abilità di GPT-3 rendono anche difficile ignorare i crescenti problemi dell'IA. Il suo enorme consumo di energia è una cattiva notizia per il clima: ricercatori dell'Università di Copenaghen in Danimarca stima che l'addestramento al GPT-3 avrebbe avuto all'incirca la stessa impronta di carbonio di guidare un'auto per la distanza dalla luna e ritorno, se fosse stata addestrata in un data center completamente alimentato da combustibili fossili. E i costi di tale formazione, stimati da alcuni esperti in almeno $ 10 milioni nel caso di GPT-3, mettono le ultime ricerche fuori dalla portata di tutti tranne che dei laboratori più ricchi .
OpenAI riporta che l'allenamento GPT-3 ha consumato diverse migliaia di petaflop/s-giorno di potenza di calcolo. Un petaflop/s-giorno è un'unità di consumo energetico che consiste nell'eseguire 1015, ovvero mille trilioni o un quadrilione, di calcoli di rete neurale al secondo per un giorno. In confronto, GPT-2 ha consumato solo decine di petaflop/s-day.
Ancora un altro problema è che GPT-3 assorbe gran parte della disinformazione e del pregiudizio che trova online e lo riproduce su richiesta. Come ha detto la squadra che l'ha costruito documento che descrive la tecnologia : i modelli addestrati su Internet hanno pregiudizi su scala Internet.
La patina di umanità che GPT-3 dona al testo generato dalla macchina rende facile fidarsi. Ciò ha portato alcuni a sostenere che GPT-3 e tutti i modelli linguistici simili a quelli umani dovrebbero essere dotati di un avviso di sicurezza, un adesivo di attenzione dell'utente, che avverte le persone che stanno chattando con un software e non con un essere umano.
Alcuni mesi fa qualcuno ha rilasciato a Bot alimentato da GPT-3 su Reddit , dove ha pubblicato centinaia di commenti e interagito con dozzine di utenti per diversi giorni prima di essere smascherato. Gran parte della sua attività era innocua. Ma il bot ha anche risposto ai commenti sui pensieri suicidi, dando consigli personali che menzionavano il sostegno dei suoi genitori.
Nonostante tutti questi problemi, GPT-3 è una vittoria per coloro che credono che più grande sia meglio. Tali modelli mostrano che la potenza di calcolo e i dati ti portano lontano e possiamo aspettarci di più da entrambi in futuro. Come potrebbe essere un GPT-4? Possiamo aspettarci che i chatbot diventino più snelli, migliori nel mettere insieme pezzi più lunghi di testo coerente, con una padronanza ancora più ampia degli argomenti di conversazione.
Ma il linguaggio è solo un modo per capire e interagire con il mondo. I modelli linguistici di prossima generazione integreranno altre abilità, come il riconoscimento delle immagini. OpenAI sta già portando GPT-3 in questa direzione con IA che usano il linguaggio per capire le immagini e le immagini per capire il linguaggio.
Se vuoi conoscere lo stato del deep learning oggi, guarda GPT-3. È un microcosmo del meglio e del peggio dell'IA.