211service.com
Il nuovo generatore di linguaggi di OpenAI GPT-3 è incredibilmente buono e completamente insensato
Getty
Giocare con GPT-3 è come vedere il futuro, Arram Sabeti, uno sviluppatore e artista con sede a San Francisco, twittato la scorsa settimana . Questo riassume praticamente la risposta sui social media negli ultimi giorni all'ultima AI di OpenAI che genera linguaggio.
Apri prima l'IA descritto GPT-3 in un documento di ricerca pubblicato a maggio. Ma la scorsa settimana ha iniziato a distribuire il software a persone selezionate che ne hanno fatto richiesta accesso a una beta privata . Per ora, OpenAI vuole che sviluppatori esterni lo aiutino a esplorare ciò che GPT-3 può fare, ma prevede di trasformare lo strumento in un prodotto commerciale entro la fine dell'anno, offrendo alle aziende un abbonamento a pagamento all'IA tramite il cloud.
Lavorare verso il futuro in cui tutta Internet è un simulacro delle versioni precedenti di Internet https://t.co/2dIjrlKNVG
— Giuliano Togelius (@togelius) 19 luglio 2020
GPT-3 è il modello linguistico più potente di sempre. Il suo predecessore, GPT-2, rilasciato lo scorso anno , era già in grado di sputare flussi di testo convincenti in una gamma di stili diversi quando richiesto con una frase di apertura. Ma GPT-3 è un grande balzo in avanti. Il modello ha 175 miliardi di parametri (i valori che una rete neurale cerca di ottimizzare durante l'allenamento), rispetto ai già vasti 1,5 miliardi di GPT-2. E con i modelli linguistici, le dimensioni contano davvero .
Sabeti legato ad a post sul blog dove ha mostrato racconti, canzoni, comunicati stampa, manuali tecnici e altro che aveva utilizzato l'IA per generare. GPT-3 può anche produrre pastiches di scrittori particolari. Mario Klingemann, un artista che lavora con l'apprendimento automatico, ha condiviso un racconto intitolato L'importanza di essere su Twitter, scritto nello stile di Jerome K. Jerome, che inizia: È un fatto curioso che l'ultima forma di vita sociale rimasta in a cui i londinesi sono ancora interessati è Twitter. Fui colpito da questo fatto curioso quando andai in una delle mie periodiche vacanze al mare, e trovai l'intero posto che cinguettava come una gabbia di storno. Klingemann dice che tutto ciò che ha dato all'IA è stato il titolo, il nome dell'autore e l'iniziale It. C'è anche un articolo ragionevolmente informativo su GPT-3 scritto interamente da GPT-3 .
Un altro tentativo di un pezzo più lungo. Un immaginario Jerome K. Jerome scrive di Twitter. Tutto quello che ho seminato è stato il titolo, il nome dell'autore e il primo 'It', il resto è fatto da #gpt3
Ecco la versione integrale in PDF: https://t.co/d2gpmlZ1T5 pic.twitter.com/1N0lNoC1eZ
— Mario Klingemann (@quasimondo) 18 luglio 2020
Altri hanno scoperto che GPT-3 può generare qualsiasi tipo di testo, comprese le tabulazioni di chitarra o il codice del computer. Ad esempio, modificando GPT-3 in modo che producesse HTML anziché linguaggio naturale, lo sviluppatore web Sharif Shameem ha dimostrato di potercela fare creare layout di pagine web dandogli istruzioni come un pulsante che assomiglia a un cocomero o un testo grande in rosso che dice BENVENUTO NELLA MIA NEWSLETTER e un pulsante blu che dice Iscriviti. Anche il leggendario programmatore John Carmack, pioniere della computer grafica 3D nei primi videogiochi come Doom e ora consulente CTO di Oculus VR, è stato innervosito : La recente, quasi accidentale, scoperta che GPT-3 può in qualche modo scrivere codice genera un leggero brivido.
Questo è strabiliante.
— Sharif Shameem (@sharifshameem) 13 luglio 2020
Con GPT-3, ho creato un generatore di layout in cui descrivi semplicemente qualsiasi layout desideri e genera il codice JSX per te.
CHE COSA pic.twitter.com/w8JkrZO4lk
Eppure, nonostante i suoi nuovi trucchi, GPT-3 è ancora incline a vomitare un odioso linguaggio sessista e razzista. La messa a punto del modello ha contribuito a limitare questo tipo di output in GPT-2.
Voglio dire, forse sono solo stanco, ma aspetterò un po' e vedrò che tipo di pregiudizio vergognoso esce da GPT-3. Oh, scrive poesie? Carino. Oh, sputa anche sessismo e razzismo dannosi? Sto provando la mia faccia sconvolta. #gpt3
— Kate Devlin 🎠(@drkatedevlin) 18 luglio 2020
Nessuno dovrebbe essere sorpreso da questo. Come possiamo evitare che ciò accada accidentalmente? Non ho ancora tutte le risposte, ma la messa a punto di priori normativi forti e generalizzabili ha aiutato con GPT-2 https://t.co/V12NM8ZtAH https://t.co/1bn6G6eWjM
— Mark Riedl (Falso drago) (@mark_riedl) 18 luglio 2020
Inoltre, non sorprende che molti siano stati veloci a iniziare a parlare di intelligenza. Ma la resa simile a quella umana e la straordinaria versatilità di GPT-3 sono il risultato di un'eccellente ingegneria, non di una vera intelligenza. Per prima cosa, l'IA fa ancora urla ridicole che rivelano una totale mancanza di buon senso. Ma anche i suoi successi mancano di profondità, leggendo più come lavori taglia e incolla che come composizioni originali.
Questo post è una delle migliori valutazioni GPT-3 che abbia mai visto. È un buon mix di risultati impressionanti e casi di fallimento imbarazzanti da semplici prompt. Dimostra bene che siamo più vicini alla creazione di grandi basi di conoscenza compresse rispetto a sistemi con capacità di ragionamento. https://t.co/a5Nq006dMD
- Denny Britz (@dennybritz) 17 luglio 2020
Ciò supporta il mio sospetto che GPT-3 utilizzi molti dei suoi parametri per memorizzare frammenti di testo da Internet che non si generalizzano facilmente https://t.co/I7uS4iu2sn
— Mark Riedl (Falso drago) (@mark_riedl) 19 luglio 2020
Cosa sta succedendo esattamente all'interno di GPT-3 non è chiaro. Ma quello che sembra essere bravo a sintetizzare il testo che ha trovato altrove su Internet, rendendolo una specie di album di ritagli vasto ed eclettico creato da milioni e milioni di frammenti di testo che poi incolla insieme in modi strani e meravigliosi su richiesta.
GPT-3 spesso si comporta come uno studente intelligente che non ha letto cercando di farsi strada durante un esame. Alcuni fatti noti, alcune mezze verità e alcune semplici bugie, messe insieme in quella che a prima vista sembra una narrativa fluida.
— Giuliano Togelius (@togelius) 17 luglio 2020
Questo non per minimizzare i risultati di OpenAI. E uno strumento come questo ha molti nuovi usi, sia buoni (dall'alimentazione di chatbot migliori all'aiutare le persone a programmare) che cattivi (dall'alimentazione di robot di disinformazione migliori all'aiutare i bambini a barare i compiti).
Ma quando arriva una nuova pietra miliare dell'IA, troppo spesso viene sepolta nel clamore. Persino Sam Altman, che ha co-fondato OpenAI con Elon Musk, ci ha provato attenuare le cose : L'hype GPT-3 è troppo. È impressionante (grazie per i bei complimenti!) ma ha ancora gravi debolezze e talvolta commette errori molto stupidi. L'IA cambierà il mondo, ma GPT-3 è solo un primo assaggio. Abbiamo ancora molto da capire.
Noi abbiamo un barra bassa quando si tratta di individuare l'intelligenza . Se qualcosa sembra intelligente, è facile prenderci in giro che lo è. Il più grande trucco mai realizzato dall'IA è stato convincere il mondo che esiste. GPT-3 è un enorme balzo in avanti, ma è ancora uno strumento creato dagli umani, con tutti i difetti e le limitazioni che ne derivano.
Vedere così tanto su Twitter su GPT-3. Ricorda...
— Mark Riedl (Falso drago) (@mark_riedl) 18 luglio 2020
Il test di Turing non prevede che l'IA superi, ma che gli esseri umani falliscano.