211service.com
La realtà disordinata e segreta dietro il tentativo di OpenAI di salvare il mondo
Greg Brockman, co-fondatore e CTO; Ilya Sutskever, co-fondatore e capo scienziato; e Dario Amodei, direttore della ricerca. Christie There Klok
Ogni anno, i dipendenti di OpenAI votano quando credono che l'intelligenza artificiale generale, o AGI, arriverà finalmente. È per lo più visto come un modo divertente per legare e le loro stime differiscono ampiamente. Ma in un campo in cui si discute ancora se siano possibili sistemi autonomi simili a quelli umani, metà del laboratorio scommette che è probabile che accada entro 15 anni.
Nei quattro brevi anni della sua esistenza, OpenAI è diventato uno dei principali laboratori di ricerca sull'IA al mondo. Si è fatto un nome producendo ricerche costantemente accattivanti, insieme ad altri pesi massimi dell'IA come DeepMind di Alphabet. È anche un tesoro nella Silicon Valley, contando Elon Musk e il leggendario investitore Sam Altman tra i suoi fondatori.
Soprattutto, è celebrato per la sua missione. Il suo obiettivo è essere il primo a creare AGI, una macchina con i poteri di apprendimento e ragionamento di una mente umana. Lo scopo non è il dominio del mondo; piuttosto, il laboratorio vuole garantire che la tecnologia sia sviluppata in modo sicuro e che i suoi benefici siano distribuiti uniformemente nel mondo.
L'implicazione è che AGI potrebbe facilmente impazzire se lo sviluppo della tecnologia viene lasciato per seguire il percorso di minor resistenza. L'intelligenza ristretta, il tipo di intelligenza artificiale goffa che ci circonda oggi, è già servita da esempio. Ora sappiamo che gli algoritmi sono prevenuti e fragili; possono perpetrare grandi abusi e grandi inganni; e la spesa per svilupparli e gestirli tende a concentrare il loro potere nelle mani di pochi. Per estrapolazione, l'AGI potrebbe essere catastrofico senza l'attenta guida di un pastore benevolo.
OpenAI vuole essere quel pastore e ha creato con cura la sua immagine per adattarsi al conto. In un campo dominato da corporazioni facoltose, è stata fondata come organizzazione no-profit. Suo primo annuncio ha affermato che questa distinzione le consentirebbe di creare valore per tutti piuttosto che per gli azionisti. Suo carta —un documento così sacro che la retribuzione dei dipendenti è legata al modo in cui vi aderiscono—dichiara inoltre che il principale dovere fiduciario di OpenAI è verso l'umanità. Raggiungere AGI in sicurezza è così importante, continua, che se un'altra organizzazione fosse vicina ad arrivarci per prima, OpenAI smetterebbe di competere con essa e collaborerebbe invece. Questa storia allettante gioca bene con gli investitori e i media, e a luglio Microsoft ha iniettato al laboratorio un nuovo miliardo di dollari.
Il logo di OpenAI appeso nel suo ufficio. Christie Hemm Klok
Ma tre giorni presso l'ufficio di OpenAI e quasi tre dozzine di interviste con dipendenti, collaboratori, amici e altri esperti del settore passati e attuali, suggeriscono un quadro diverso. C'è un disallineamento tra ciò che l'azienda sposa pubblicamente e come opera a porte chiuse. Nel corso del tempo, ha consentito una forte competitività e una crescente pressione per un numero sempre maggiore di finanziamenti per erodere i suoi ideali fondanti di trasparenza, apertura e collaborazione. Molti di coloro che lavorano o hanno lavorato per l'azienda hanno insistito sull'anonimato perché non erano autorizzati a parlare o temevano ritorsioni. I loro resoconti suggeriscono che OpenAI, nonostante tutte le sue nobili aspirazioni, è ossessionata dal mantenere la segretezza, proteggere la propria immagine e mantenere la lealtà dei suoi dipendenti.
Fin dalla sua prima concezione, l'IA come campo ha cercato di comprendere l'intelligenza simile a quella umana e quindi di ricrearla. Nel 1950 iniziò Alan Turing, il famoso matematico e informatico inglese un documento con l'ormai famosa provocazione Le macchine possono pensare? Sei anni dopo, affascinato dall'idea fastidiosa, un gruppo di scienziati si riunì al Dartmouth College per formalizzare la disciplina.
È una delle domande più fondamentali di tutta la storia intellettuale, giusto? afferma Oren Etzioni, CEO dell'Allen Institute for Artificial Intelligence (AI2), un laboratorio di ricerca sull'intelligenza artificiale senza scopo di lucro con sede a Seattle. È come se comprendiamo l'origine dell'universo? Capiamo la materia?
Il problema è che l'AGI è sempre rimasta vaga. Nessuno può davvero descrivere come potrebbe apparire o il minimo di ciò che dovrebbe fare. Non è ovvio, per esempio, che esista un solo tipo di intelligenza generale; l'intelligenza umana potrebbe essere solo un sottoinsieme. Ci sono anche opinioni divergenti su quale scopo potrebbe servire AGI. Nella visione più romantica, un'intelligenza artificiale non ostacolata dal bisogno di dormire o dall'inefficienza della comunicazione umana potrebbe aiutare a risolvere sfide complesse come il cambiamento climatico, la povertà e la fame.
Ma il clamoroso consenso all'interno del campo è che tali capacità avanzate richiederebbero decenni, persino secoli, se davvero è possibile svilupparle. Molti temono anche che perseguire questo obiettivo con zelo eccessivo possa ritorcersi contro. Negli anni '70 e di nuovo alla fine degli anni '80 e all'inizio degli anni '90, il campo prometteva troppo e non riusciva a realizzare. Durante la notte, i finanziamenti si sono esauriti, lasciando profonde cicatrici in un'intera generazione di ricercatori. Il campo sembrava un ristagno, afferma Peter Eckersley, fino a poco tempo direttore della ricerca presso il gruppo industriale Partnership on AI, di cui OpenAI è membro.
Una sala conferenze al primo piano chiamata Infinite Jest. Christie Hemm Klok
In questo contesto, OpenAI è entrata nel mondo con grande successo l'11 dicembre 2015. Non è stata la prima a dichiarare apertamente che stava perseguendo l'AGI; DeepMind lo aveva fatto cinque anni prima ed era stata acquisita da Google nel 2014. Ma OpenAI sembrava diverso. Per prima cosa, il prezzo dell'adesivo è stato scioccante: l'impresa sarebbe iniziata con $ 1 miliardo da investitori privati, tra cui Musk, Altman e il cofondatore di PayPal Peter Thiel.
L'elenco degli investitori costellato di stelle ha suscitato una frenesia mediatica, così come l'impressionante elenco di dipendenti iniziali: Greg Brockman, che aveva gestito la tecnologia per la società di pagamenti Stripe, sarebbe stato Chief Technology Officer; Ilya Sutskever, che aveva studiato con il pioniere dell'IA Geoffrey Hinton, sarebbe stato il direttore della ricerca; e sette ricercatori, appena laureati nelle migliori università o prelevati da altre aziende, avrebbero composto il team tecnico principale. (Lo scorso febbraio, Musk annunciato che si stava separando dalla compagnia per disaccordi sulla sua direzione. Un mese dopo, Altman si è dimesso come presidente dell'acceleratore di startup Y Combinator per diventare CEO di OpenAI.)
Ma più di ogni altra cosa, lo status di no profit di OpenAI ha rilasciato una dichiarazione. Sarà importante avere un istituto di ricerca leader in grado di dare la priorità a un buon risultato per tutto il proprio interesse personale, il annuncio detto . I ricercatori saranno fortemente incoraggiati a pubblicare il loro lavoro, sia come articoli, post di blog o codice, e i nostri brevetti (se presenti) saranno condivisi con il mondo. Sebbene non abbia mai esplicitato la critica, l'implicazione era chiara: altri laboratori, come DeepMind, non potevano servire l'umanità perché vincolati da interessi commerciali. Mentre erano chiusi, OpenAI lo sarebbe aprire .
In un panorama di ricerca che era diventato sempre più privatizzato e incentrato su guadagni finanziari a breve termine, OpenAI offriva un nuovo modo per finanziare i progressi sui problemi più grandi. Era un faro di speranza, afferma Chip Huyen, un esperto di apprendimento automatico che ha seguito da vicino il viaggio del laboratorio.
All'incrocio tra la 18th Street e la Folsom Street a San Francisco, l'ufficio di OpenAI sembra un misterioso magazzino. L'edificio storico ha pannelli grigi grigi e finestre oscurate, con la maggior parte delle tende abbassate. Le lettere PIONEER BUILDING - i resti del suo vecchio proprietario, la Pioneer Truck Factory - avvolgono dietro l'angolo con una vernice rossa sbiadita.
All'interno, lo spazio è luminoso e arioso. Il primo piano ha pochi spazi comuni e due sale conferenze. Uno, di dimensioni adeguate per riunioni più grandi, si chiama Odissea nello spazio; l'altro, più una cabina telefonica glorificata, si chiama Infinite Jest. Questo è lo spazio in cui sono limitato durante la mia visita. Mi è vietato visitare il secondo e il terzo piano, che ospitano le scrivanie di tutti, diversi robot e praticamente tutto ciò che è interessante. Quando è il momento delle interviste, le persone si avvicinano a me. Un dipendente esercita uno sguardo vigile su di me tra una riunione e l'altra.
L'edificio dei pionieri. wikimedia commons/tfinc
Nella bella giornata di cielo azzurro in cui arrivo per incontrare Brockman, sembra nervoso e guardingo. Non abbiamo mai concesso a qualcuno così tanto accesso prima, dice con un sorriso esitante. Indossa abiti casual e, come molti in OpenAI, sfoggia un taglio di capelli informe che sembra riflettere una mentalità efficiente e senza fronzoli.
Brockman, 31 anni, è cresciuto in una fattoria per hobby nel North Dakota e ha avuto quella che descrive come un'infanzia concentrata e tranquilla. Mungeva mucche, raccoglieva uova e si innamorava della matematica mentre studiava da solo. Nel 2008, è entrato ad Harvard con l'intenzione di conseguire una doppia specializzazione in matematica e informatica, ma è diventato rapidamente irrequieto per entrare nel mondo reale. Abbandonò gli studi un anno dopo, entrò invece al MIT e poi abbandonò di nuovo nel giro di pochi mesi. La seconda volta, la sua decisione era definitiva. Una volta trasferitosi a San Francisco, non si è più guardato indietro.
Brockman mi porta a pranzo per rimuovermi dall'ufficio durante una riunione aziendale. Nel bar dall'altra parte della strada, parla di OpenAI con intensità, sincerità e meraviglia, spesso tracciando parallelismi tra la sua missione e i risultati fondamentali della storia della scienza. È facile apprezzare il suo carisma di leader. Raccontando passaggi memorabili dei libri che ha letto, si concentra sulla narrativa preferita della Valley, la corsa alla luna dell'America. (Una storia che amo davvero è la storia del custode, dice, riferendosi a un racconto famoso ma probabilmente apocrifo. Kennedy gli si avvicina e gli chiede: 'Cosa stai facendo?' e lui dice: 'Oh, sono aiutando a mettere un uomo sulla luna!') C'è anche la ferrovia transcontinentale (in realtà era l'ultimo megaprogetto fatto interamente a mano... un progetto di immensa scala che era totalmente rischioso) e la lampadina a incandescenza di Thomas Edison (un comitato di illustri esperti ha detto ' Non funzionerà mai,' e un anno dopo ha spedito).
Greg Brockman, co-fondatore e CTO. Orologio Christie Hemm
Brockman è consapevole della scommessa che OpenAI ha intrapreso e consapevole che evoca cinismo e controllo. Ma con ogni riferimento, il suo messaggio è chiaro: le persone possono essere scettiche quanto vogliono. È il prezzo di osare molto.
Coloro che si sono uniti a OpenAI nei primi giorni ricordano l'energia, l'eccitazione e il senso dello scopo. Il team era piccolo, formato da una fitta rete di connessioni, e il management rimase sciolto e informale. Tutti credevano in una struttura piatta dove le idee e il dibattito sarebbero stati ben accetti da chiunque.
Musk ha giocato un ruolo non da poco nella costruzione di una mitologia collettiva. Il modo in cui me l'ha presentato è stato 'Guarda, ho capito. L'AGI potrebbe essere lontano, ma se non lo fosse?' ricorda Pieter Abbeel, un professore dell'UC Berkeley che ha lavorato lì, insieme a molti dei suoi studenti, nei primi due anni. 'E se fosse anche solo l'1% o lo 0,1% di possibilità che accada nei prossimi 5-10 anni?' Non dovremmo pensarci con molta attenzione? 'Questo ha risuonato con me, dice.
Ma l'informalità ha portato anche a una certa vaghezza di direzione. Nel maggio 2016, Altman e Brockman hanno ricevuto la visita di Dario Amodei, allora ricercatore di Google, che ha detto loro che nessuno capiva cosa stavano facendo. In un conto pubblicato in il newyorkese , non era chiaro nemmeno che la squadra stessa lo sapesse. Il nostro obiettivo in questo momento … è fare la cosa migliore che c'è da fare, ha detto Brockman. È un po' vago.
Tuttavia, Amodei si è unito alla squadra pochi mesi dopo. Sua sorella, Daniela Amodei, aveva già lavorato con Brockman e conosceva già molti membri di OpenAI. Dopo due anni, su richiesta di Brockman, si unì anche Daniela. Immagina: abbiamo iniziato con niente, dice Brockman. Avevamo solo questo ideale che volevamo che l'AGI andasse bene.
Durante il nostro pranzo, Brockman recita la carta come una scrittura, una spiegazione per ogni aspetto dell'esistenza dell'azienda.
Entro marzo 2017, 15 mesi dopo, la leadership si è resa conto che era tempo di concentrarsi maggiormente. Quindi Brockman e alcuni altri membri principali iniziarono a redigere un documento interno per tracciare un percorso verso l'AGI. Ma il processo ha rapidamente rivelato un difetto fatale. Mentre il team ha studiato le tendenze nel campo, si è reso conto che rimanere un'organizzazione no profit era finanziariamente insostenibile. Le risorse computazionali che altri nel campo stavano utilizzando per ottenere risultati rivoluzionari stavano raddoppiando ogni 3,4 mesi . È diventato chiaro che per rimanere rilevanti, afferma Brockman, avrebbero bisogno di un capitale sufficiente per eguagliare o superare questo aumento esponenziale. Ciò richiedeva un nuovo modello organizzativo che potesse accumulare rapidamente denaro, pur rimanendo in qualche modo fedele alla missione.
All'insaputa del pubblico e della maggior parte dei dipendenti, è stato con questo in mente che OpenAI è stato rilasciato il suo statuto nell'aprile del 2018. Il documento ha riarticolato i valori fondamentali del laboratorio ma ha leggermente modificato il linguaggio per riflettere la nuova realtà. Oltre al suo impegno a evitare usi consentiti dell'IA o dell'AGI che danneggiano l'umanità o concentrano indebitamente il potere, ha anche sottolineato la necessità di risorse. Prevediamo la necessità di mettere insieme risorse sostanziali per adempiere alla nostra missione, ha affermato, ma agiremo sempre diligentemente per ridurre al minimo i conflitti di interesse tra i nostri dipendenti e le parti interessate che potrebbero compromettere ampi benefici.
Abbiamo passato molto tempo a iterare internamente con i dipendenti per convincere l'intera azienda a rispettare una serie di principi, afferma Brockman. Cose che dovevano rimanere invariate anche se cambiassimo la nostra struttura.
Da sinistra a destra: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (membro dello staff tecnico), Greg Brockman, Alec Radford (capo del team di lingua tecnica), Christine Payne (membro dello staff tecnico), Ilya Sutskever e Chris Berner (capo delle infrastrutture). Christie Hemm Klok
Tale cambiamento di struttura è avvenuto nel marzo 2019. OpenAI ha perso il suo status puramente no profit istituendo un ramo di profitto limitato, un profitto con un limite di 100 volte sui rendimenti degli investitori, sebbene supervisionato da un consiglio che fa parte di un'entità senza scopo di lucro. Poco dopo, ha annunciato l'investimento da miliardi di dollari di Microsoft (anche se non ha rivelato che questo è stato diviso tra contanti e crediti ad Azure, la piattaforma di cloud computing di Microsoft).
Com'era prevedibile, la mossa ha scatenato un'ondata di accuse secondo cui OpenAI stava tornando nella sua missione. In un post su Notizie sugli hacker subito dopo l'annuncio, un utente ha chiesto in che modo un limite di 100 volte sarebbe limitante: i primi investitori in Google hanno ricevuto un ritorno di circa 20 volte sul loro capitale, hanno scritto. La tua scommessa è che avrai una struttura aziendale che restituisce ordini di grandezza in più rispetto a Google ... ma non vuoi 'concentrare indebitamente il potere'? Come funzionerà? Che cos'è esattamente il potere, se non la concentrazione delle risorse?
La mossa ha anche scosso molti dipendenti, che hanno espresso preoccupazioni simili. Per placare i disordini interni, la dirigenza ha scritto una FAQ come parte di una serie di documenti di transizione altamente protetti. Posso fidarmi di OpenAI? una domanda posta. Sì, iniziò la risposta, seguita da un paragrafo di spiegazione.
La carta è la spina dorsale di OpenAI. Serve come trampolino di lancio per tutte le strategie e le azioni del laboratorio. Durante il nostro pranzo, Brockman lo recita come una scrittura, una spiegazione per ogni aspetto dell'esistenza dell'azienda. (A proposito, chiarisce a metà di una recita, immagino di conoscere tutte queste battute perché ho passato molto tempo a studiarle attentamente per ottenerle esattamente nel modo giusto. Non è che stavo leggendo questo prima dell'incontro.)
In che modo ti assicurerai che gli esseri umani continuino a vivere vite significative mentre sviluppi capacità più avanzate? Come abbiamo scritto, pensiamo che il suo impatto dovrebbe essere quello di dare a tutti la libertà economica, per far loro trovare nuove opportunità che oggi non sono immaginabili. Come ti strutturerai per distribuire uniformemente l'AGI? Penso che un'utilità sia la migliore analogia per la visione che abbiamo. Ma ancora una volta, è tutto soggetto alla carta. Come si fa a competere per arrivare primi ad AGI senza compromettere la sicurezza? Penso che ci sia assolutamente questo importante atto di bilanciamento, e la nostra migliore possibilità è quello che c'è nella carta.
9 APRILE 2018 5 MINUTI DI LETTURA OpenAI
Per Brockman, la rigida aderenza al documento è ciò che fa funzionare la struttura di OpenAI. L'allineamento interno è considerato fondamentale: tutti i dipendenti a tempo pieno sono tenuti a lavorare fuori dallo stesso ufficio, con poche eccezioni. Per il team politico, in particolare Jack Clark, il regista, questo significa una vita divisa tra San Francisco e Washington, DC. A Clark non importa, anzi, è d'accordo con la mentalità. Sono i momenti intermedi, come l'ora di pranzo con i colleghi, dice, che aiutano a mantenere tutti sulla stessa pagina.
Per molti versi, questo approccio sta chiaramente funzionando: l'azienda ha una cultura straordinariamente uniforme. I dipendenti lavorano lunghe ore e parlano incessantemente del proprio lavoro attraverso i pasti e le ore sociali; molti vanno agli stessi partiti e si iscrivono alla filosofia razionale di altruismo efficace . Fanno battute usando la terminologia dell'apprendimento automatico per descrivere le loro vite: di cosa è funzione la tua vita? Per cosa stai ottimizzando? Tutto è fondamentalmente una funzione minmax. Ad essere onesti, anche altri ricercatori di intelligenza artificiale amano farlo, ma le persone che hanno familiarità con OpenAI sono d'accordo: più di altri sul campo, i suoi dipendenti trattano la ricerca sull'IA non come un lavoro ma come un'identità. (A novembre, Brockman sposato la sua ragazza di un anno, Anna, in ufficio su uno sfondo di fiori disposti in un logo OpenAI. Sutskever ha agito come l'officiante; una mano robotica era il portatore dell'anello.)
Ma a un certo punto, a metà dello scorso anno, la carta è diventata qualcosa di più di un semplice argomento di conversazione all'ora di pranzo. Subito dopo il passaggio a un profitto limitato, la dirigenza ha istituito una nuova struttura retributiva basata in parte sull'assorbimento della missione da parte di ciascun dipendente. Oltre a colonne come competenze ingegneristiche e direzione della ricerca in una scheda del foglio di calcolo intitolata Unified Technical Ladder, l'ultima colonna delinea le aspettative relative alla cultura per ogni livello. Livello 3: comprendi e interiorizzi la carta OpenAI. Livello 5: ti assicuri che tutti i progetti su cui lavori tu e i tuoi compagni di squadra siano coerenti con la carta. Livello 7: sei responsabile del mantenimento e del miglioramento della carta e ritieni gli altri nell'organizzazione responsabili per fare lo stesso.
La prima volta che la maggior parte delle persone ha sentito parlare di OpenAI è stato il 14 febbraio 2019. Quel giorno, il laboratorio annunciato nuova impressionante ricerca: un modello che potrebbe generare saggi e articoli convincenti con la semplice pressione di un pulsante. Nutrilo con una frase da Il Signore degli Anelli o l'inizio di una notizia (falsa) sul taccheggio di Miley Cyrus, e sarebbe sputato paragrafo dopo paragrafo di testo nella stessa vena.
Ma c'era anche un problema: il modello, chiamato GPT-2, era troppo pericoloso per essere rilasciato, hanno detto i ricercatori. Se una tecnologia così potente cadesse nelle mani sbagliate, potrebbe facilmente essere utilizzata come arma per produrre disinformazione su scala immensa.
Il contraccolpo tra gli scienziati è stato immediato. OpenAI stava facendo una trovata pubblicitaria, hanno detto alcuni. GPT-2 non era abbastanza avanzato per essere una minaccia. E se lo fosse, perché annunciarne l'esistenza e quindi precludere il controllo pubblico? Sembrava che OpenAI stesse cercando di capitalizzare il panico attorno all'IA, afferma Britt Paris, un assistente professore alla Rutgers University che studia la disinformazione generata dall'IA.
Jack Clark, direttore delle politiche. Orologio Christie Hemm
Entro maggio, OpenAI aveva rivisto la sua posizione e annunciato piani per un rilascio graduale. Nei mesi successivi, ha successivamente gocciolato versioni sempre più potenti di GPT-2. Nel frattempo, si è anche impegnata con diverse organizzazioni di ricerca per esaminare il potenziale abuso dell'algoritmo e sviluppare contromisure. Infine, ha rilasciato il codice completo a novembre, dopo aver trovato, ha detto , finora nessuna prova evidente di uso improprio.
Tra le continue accuse di ricerca pubblicitaria, OpenAI ha insistito sul fatto che GPT-2 non era stato un'acrobazia. È stato, piuttosto, un esperimento attentamente ponderato, concordato dopo una serie di discussioni e dibattiti interni. Il consenso era che, anche se questa volta fosse stato leggermente eccessivo, l'azione avrebbe stabilito un precedente per la gestione di ricerche più pericolose. Inoltre, la carta prevedeva che i problemi di sicurezza e protezione avrebbero gradualmente obbligato il laboratorio a ridurre la nostra pubblicazione tradizionale in futuro.
Questo è stato anche l'argomento che il team politico ha esposto con cura nella sua post sul blog di follow-up di sei mesi , di cui hanno discusso mentre partecipavo a una riunione. Penso che sia sicuramente parte dell'inquadratura della storia di successo, ha affermato Miles Brundage, ricercatore politico, evidenziando qualcosa in un documento di Google. L'obiettivo di questa sezione dovrebbe essere: abbiamo fatto una cosa ambiziosa, ora alcune persone la stanno replicando, ed ecco alcuni motivi per cui è stata vantaggiosa.
Ma anche la campagna mediatica di OpenAI con GPT-2 ha seguito uno schema consolidato che ha reso diffidente la più ampia comunità di AI. Nel corso degli anni, i grandi e clamorosi annunci di ricerca del laboratorio sono stati ripetutamente accusati di alimentare il ciclo di clamore dell'IA. Più di una volta, i critici hanno anche accusato il laboratorio di parlare dei suoi risultati fino al punto di caratterizzarli erroneamente. Per questi motivi, molti nel campo hanno avuto la tendenza a mantenere OpenAI a debita distanza.
Le immagini di copertina delle pubblicazioni di ricerca di OpenAI sono appese al muro del suo ufficio. Christie Hemm Klok
Ciò non ha impedito al laboratorio di continuare a riversare risorse nella sua immagine pubblica. Oltre ai documenti di ricerca, pubblica i suoi risultati in post di blog aziendali altamente prodotti per i quali fa tutto internamente, dalla scrittura alla produzione multimediale al design delle immagini di copertina per ogni pubblicazione. Ad un certo punto, ha anche iniziato a sviluppare un documentario su uno dei suoi progetti per rivaleggiare un film di 90 minuti su AlphaGo di DeepMind . Alla fine ha trasformato lo sforzo in una produzione indipendente, che Brockman e sua moglie, Anna, stanno ora finanziando parzialmente. (Ho anche accettato di apparire nel documentario per fornire spiegazioni tecniche e contesto per i risultati di OpenAI. Non sono stato ricompensato per questo.)
E poiché il contraccolpo è aumentato, anche le discussioni interne per affrontarlo. I dipendenti sono diventati frustrati per le continue critiche esterne e la leadership teme che possa minare l'influenza e la capacità del laboratorio di assumere i migliori talenti. Un documento interno evidenzia questo problema e una strategia di sensibilizzazione per affrontarlo: per avere un'influenza politica a livello di governo, dobbiamo essere visti come la fonte più affidabile sulla ricerca ML [machine learning] e sull'AGI, afferma una riga nella politica sezione. Il supporto e il sostegno diffusi da parte della comunità di ricerca non solo sono necessari per ottenere una tale reputazione, ma amplificheranno il nostro messaggio. Un altro, in Strategia, recita: 'Trattate esplicitamente la comunità ML come una parte interessata alle comunicazioni. Cambia il nostro tono e i messaggi esterni in modo tale che li inimiciziamo solo quando lo scegliamo intenzionalmente.'
C'era un altro motivo per cui GPT-2 aveva innescato un contraccolpo così acuto. La gente sentiva che OpenAI stava tornando indietro alle sue precedenti promesse di apertura e trasparenza. Con la notizia della transizione a scopo di lucro un mese dopo, la ricerca nascosta ha reso le persone ancora più sospettose. Potrebbe essere che la tecnologia sia stata tenuta nascosta in preparazione per la licenza in futuro?
Ilya Sutskever, co-fondatore e capo scienziato. Christie Hemm Klok
Ma la gente non sapeva che questa non era l'unica volta in cui OpenAI aveva scelto di nascondere la sua ricerca. In effetti, aveva tenuto completamente segreto un altro sforzo.
Ci sono due teorie tecniche prevalenti su cosa ci vorrà per raggiungere l'AGI. In uno, esistono già tutte le tecniche necessarie; si tratta solo di capire come ridimensionarli e assemblarli. Nell'altro, ci deve essere un paradigma completamente nuovo; il deep learning, l'attuale tecnica dominante nell'IA, non sarà sufficiente.
La maggior parte dei ricercatori si trova da qualche parte tra questi estremi, ma OpenAI si è costantemente seduto quasi esclusivamente all'estremità dello spettro della scala e dell'assemblaggio. La maggior parte delle sue scoperte sono state il prodotto dell'affondamento di risorse computazionali notevolmente maggiori in innovazioni tecniche sviluppate in altri laboratori.
Brockman e Sutskever negano che questa sia la loro unica strategia, ma la ricerca strettamente sorvegliata del laboratorio suggerisce il contrario. Un team chiamato Foresight conduce esperimenti per testare fino a che punto possono spingere in avanti le capacità di intelligenza artificiale addestrando algoritmi esistenti con quantità sempre maggiori di dati e potenza di calcolo. Per la leadership, i risultati di questi esperimenti hanno confermato il suo istinto che la strategia globale basata sul calcolo del laboratorio è l'approccio migliore.
Per circa sei mesi, questi risultati sono stati nascosti al pubblico perché OpenAI vede questa conoscenza come il suo principale vantaggio competitivo. I dipendenti e gli stagisti sono stati esplicitamente istruiti a non rivelarli e coloro che se ne sono andati hanno firmato accordi di riservatezza. È stato solo a gennaio che la squadra, senza il solito clamore, ha postato tranquillamente un documento su uno dei principali database open source per la ricerca sull'IA. Le persone che hanno sperimentato l'intensa segretezza attorno allo sforzo non sapevano cosa fare di questo cambiamento. In particolare, un altro foglio con risultati simili da diversi ricercatori era stato pubblicato pochi mesi prima.
Christie There Klok
All'inizio, questo livello di segretezza non era mai l'intenzione, ma da allora è diventato abituale. Nel corso del tempo, la leadership si è allontanata dalla sua convinzione originaria che l'apertura sia il modo migliore per costruire un'AGI benefica. Ora l'importanza di tacere è impressa in coloro che lavorano con o al laboratorio. Ciò include non parlare mai con i giornalisti senza l'espresso consenso del team di comunicazione. Dopo le mie prime visite in ufficio, quando ho iniziato a contattare diversi dipendenti, ho ricevuto un'e-mail dal responsabile delle comunicazioni che mi ricordava che tutte le richieste di colloquio dovevano passare attraverso lei. Quando ho rifiutato, dicendo che ciò avrebbe minato la validità di ciò che le persone mi hanno detto, ha incaricato i dipendenti di tenerla informata della mia sensibilizzazione. Un messaggio di Slack di Clark, un ex giornalista, in seguito ha elogiato le persone per aver tenuto un coperchio ben chiuso mentre un giornalista stava annusando in giro.
In una dichiarazione in risposta a questa maggiore segretezza, un portavoce di OpenAI ha fatto riferimento a una sezione del suo statuto. Prevediamo che i problemi di sicurezza e protezione ridurranno la nostra pubblicazione tradizionale in futuro, afferma la sezione, aumentando al contempo l'importanza di condividere la ricerca su sicurezza, policy e standard. Il portavoce ha anche aggiunto: Inoltre, ciascuno dei nostri rilasci viene eseguito attraverso un processo di rischio informativo per valutare questi compromessi e vogliamo pubblicare i nostri risultati lentamente per comprendere potenziali rischi e impatti prima di scatenarsi in libertà.
Uno dei più grandi segreti è il prossimo progetto a cui OpenAI sta lavorando. Le fonti me l'hanno descritto come il culmine dei suoi quattro anni di ricerca precedenti: un sistema di intelligenza artificiale addestrato su immagini, testo e altri dati che utilizzano enormi risorse di calcolo. Un piccolo team è stato assegnato allo sforzo iniziale, con l'aspettativa che altri team, insieme al loro lavoro, alla fine si sarebbero uniti. Il giorno in cui è stato annunciato in una riunione di tutta l'azienda, gli stagisti non potevano partecipare. Le persone che hanno familiarità con il piano offrono una spiegazione: la dirigenza pensa che questo sia il modo più promettente per raggiungere l'AGI.
L'uomo che guida la strategia di OpenAI è Dario Amodei, l'ex Googler che ora ricopre il ruolo di direttore della ricerca. Quando lo incontro, mi sembra una versione più ansiosa di Brockman. Ha una sincerità e una sensibilità simili, ma un'aria di energia nervosa instabile. Sembra distante quando parla, le sopracciglia aggrottate, una mano che gli tira distrattamente i riccioli.
Amodei divide la strategia del laboratorio in due parti. La prima parte, che determina come intende raggiungere capacità di intelligenza artificiale avanzate, è paragonata al portafoglio di scommesse di un investitore. Diverse squadre di OpenAI stanno giocando scommesse diverse. Il team linguistico, ad esempio, ha i suoi soldi su una teoria che postula che l'IA può sviluppare una comprensione significativa del mondo attraverso il semplice apprendimento delle lingue. Il team di robotica, al contrario, sta avanzando una teoria opposta secondo cui l'intelligenza richiede un'incarnazione fisica per svilupparsi.
Come nel portafoglio di un investitore, non tutte le scommesse hanno lo stesso peso. Ma ai fini del rigore scientifico, tutto dovrebbe essere testato prima di essere scartato. Amodei indica GPT-2, con i suoi testi straordinariamente realistici generati automaticamente, come esempio del motivo per cui è importante mantenere una mente aperta. Il linguaggio puro è una direzione su cui il campo e anche alcuni di noi erano alquanto scettici, dice. Ma ora è come, 'Wow, questo è davvero promettente.'
Nel tempo, man mano che le diverse scommesse superano le altre, attireranno sforzi più intensi. Quindi si impollinano in modo incrociato e si combinano. L'obiettivo è avere sempre meno squadre che alla fine collassano in un'unica direzione tecnica per l'AGI. Questo è il processo esatto che l'ultimo progetto top secret di OpenAI presumibilmente è già iniziato.
Dario Amodei, direttore della ricerca. Orologio Christie Hemm
La seconda parte della strategia, spiega Amodei, si concentra su come rendere sicuri tali sistemi di intelligenza artificiale in continua evoluzione. Ciò include assicurarsi che riflettano i valori umani, possano spiegare la logica dietro le loro decisioni e possano imparare senza danneggiare le persone nel processo. I team dedicati a ciascuno di questi obiettivi di sicurezza cercano di sviluppare metodi che possono essere applicati a tutti i progetti man mano che maturano. Le tecniche sviluppate dal team di spiegazione, ad esempio, possono essere utilizzate per esporre la logica dietro le costruzioni delle frasi di GPT-2 o i movimenti di un robot.
Amodei ammette che questa parte della strategia è alquanto casuale, costruita meno su teorie consolidate sul campo e più su sensazioni viscerali. Ad un certo punto costruiremo AGI e per quel momento voglio sentirmi bene con questi sistemi che operano nel mondo, dice. Qualsiasi cosa in cui attualmente non mi sento bene, creo e recluto una squadra per concentrarmi su quella cosa.
Nonostante tutta la pubblicità e la segretezza, Amodei sembra sincero quando lo dice. La possibilità di un fallimento sembra turbarlo.
Siamo nella posizione imbarazzante di: non sappiamo che aspetto abbia l'AGI, dice. Non sappiamo quando accadrà. Poi, con attenta consapevolezza di sé, aggiunge: La mente di una data persona è limitata. La cosa migliore che ho trovato è stata l'assunzione di altri ricercatori sulla sicurezza che spesso hanno visioni diverse da quelle naturali a cui avrei potuto pensare. Voglio quel tipo di variazione e diversità perché è l'unico modo per catturare tutto.
Il fatto è che OpenAI in realtà ha poche variazioni e diversità, un fatto martellato a casa il mio terzo giorno in ufficio. Durante l'unico pranzo che mi è stato concesso di socializzare con i dipendenti, mi sono seduto al tavolo più visibilmente diversificato con un ampio margine. Meno di un minuto dopo, mi sono reso conto che le persone che mangiavano lì non erano, in effetti, dipendenti di OpenAI. Neuralink, la startup di Musk che lavora su interfacce computer-cervello, condivide lo stesso edificio e la stessa sala da pranzo.
Daniela Amodei, responsabile delle operazioni persone. Christie Hemm Klok
Secondo un portavoce del laboratorio, degli oltre 120 dipendenti, il 25% sono donne o non binari. Ci sono anche due donne nel team esecutivo e il team dirigente è composto per il 30% da donne, ha detto, anche se non ha specificato chi è stato contato tra questi team. (Tutti e quattro i dirigenti della C-suite, inclusi Brockman e Altman, sono uomini bianchi. Su oltre 112 dipendenti che ho identificato su LinkedIn e altre fonti, la stragrande maggioranza era bianca o asiatica.)
In tutta onestà, questa mancanza di diversità è tipica dell'IA. L'anno scorso a rapporto dell'istituto di ricerca AI Now di New York ha scoperto che le donne rappresentavano solo il 18% degli autori nelle principali conferenze sull'IA, il 20% delle cattedre di intelligenza artificiale e il 15% e il 10% del personale di ricerca rispettivamente di Facebook e Google. C'è sicuramente ancora molto lavoro da fare nel mondo accademico e industriale, ha affermato il portavoce di OpenAI. La diversità e l'inclusione sono qualcosa che prendiamo sul serio e lavoriamo continuamente per migliorare collaborando con iniziative come WiML, Girl Geek e il nostro programma Scholars.
In effetti, OpenAI ha cercato di ampliare il suo pool di talenti. Ha iniziato il suo programma di studiosi a distanza per le minoranze sottorappresentate nel 2018. Ma solo due dei primi otto studiosi sono diventati dipendenti a tempo pieno, anche se hanno riportato esperienze positive. Il motivo più comune per rifiutare di rimanere: l'obbligo di vivere a San Francisco. Per Nadja Rhodes, un'ex studiosa che ora è l'ingegnere capo dell'apprendimento automatico in un'azienda con sede a New York, la città aveva solo poca diversità.
Ma se la diversità è un problema per il settore dell'IA in generale, è qualcosa di più esistenziale per un'azienda la cui missione è quella di diffondere la tecnologia in modo uniforme a tutti. Il fatto è che manca la rappresentanza dei gruppi più a rischio di essere esclusi.
Né è affatto chiaro come OpenAI prevede di distribuire i vantaggi dell'AGI a tutta l'umanità, come dice spesso Brockman citando la sua missione. La leadership ne parla in termini vaghi e ha fatto poco per arricchire i dettagli. (A gennaio, il Future of Humanity Institute dell'Università di Oxford ha pubblicato un rapporto in collaborazione con il laboratorio proponendo di distribuire benefici distribuendo una percentuale sugli utili. Ma gli autori hanno citato importanti questioni irrisolte riguardanti... il modo in cui sarebbe stato implementato.) Questo è il mio problema più grande con OpenAI, dice un ex dipendente, che ha parlato in condizione di anonimato.
Christie There Klok
Stanno usando pratiche tecniche sofisticate per cercare di rispondere ai problemi sociali con l'IA, fa eco Britt Paris di Rutgers. Sembra che non abbiano davvero le capacità per comprendere effettivamente il social. Capiscono solo che è una specie di posto redditizio in cui posizionarsi in questo momento.
Brockman concorda sul fatto che le competenze tecniche e sociali alla fine saranno necessarie affinché OpenAI raggiunga la sua missione. Ma non è d'accordo sul fatto che i problemi sociali debbano essere risolti fin dall'inizio. In che modo esattamente fornisci l'etica o queste altre prospettive? E quando li porti dentro, e come? Una strategia che potresti perseguire è, fin dall'inizio, provare a inserire tutto ciò di cui potresti aver bisogno, dice. Io non pensare che è probabile che quella strategia abbia successo.
La prima cosa da capire, dice, è come sarà l'AGI. Solo allora sarà il momento di assicurarci di comprendere le ramificazioni.
La scorsa estate, nelle settimane successive al passaggio a un modello di profitto limitato e all'iniezione di 1 miliardo di dollari da parte di Microsoft, la leadership ha assicurato ai dipendenti che questi aggiornamenti non avrebbero cambiato funzionalmente l'approccio di OpenAI alla ricerca. Microsoft era ben allineata con i valori del laboratorio e qualsiasi sforzo di commercializzazione sarebbe stato lontano; il perseguimento di questioni fondamentali rimarrebbe comunque al centro del lavoro.
Per un po', queste assicurazioni sembravano essere vere e i progetti continuavano come erano. Molti dipendenti non sapevano nemmeno quali eventuali promesse fossero state fatte a Microsoft.
Ma negli ultimi mesi, la pressione della commercializzazione si è intensificata e la necessità di produrre ricerca per fare soldi non sembra più una cosa in un futuro lontano. Nel condividere la sua visione del 2020 per il laboratorio in privato con i dipendenti, il messaggio di Altman è chiaro: OpenAI ha bisogno di fare soldi per fare ricerca, non il contrario.
Questo è un compromesso difficile ma necessario, ha detto la leadership, che doveva fare per mancanza di ricchi donatori filantropici. Al contrario, AI2 con sede a Seattle, un'organizzazione no profit che promuove ambiziosamente la ricerca fondamentale sull'IA, riceve i suoi fondi da un pool di denaro autosufficiente (almeno per il prossimo futuro) lasciato dal defunto Paul Allen, un miliardario noto soprattutto per aver cofondato Microsoft.
Ma la verità è che OpenAI affronta questo compromesso non solo perché non è ricco, ma anche perché ha fatto la scelta strategica di provare a raggiungere AGI prima di chiunque altro. Quella pressione lo costringe a prendere decisioni che sembrano atterrare sempre più lontano dalla sua intenzione originale. Si appoggia al clamore nella sua corsa per attirare finanziamenti e talenti, custodisce la sua ricerca nella speranza di mantenere il sopravvento e insegue una strategia computazionalmente pesante, non perché sia vista come l'unico modo per AGI, ma perché sembra il più veloce .
Eppure OpenAI è ancora un bastione di talento e ricerca all'avanguardia, pieno di persone che si sforzano sinceramente di lavorare a beneficio dell'umanità. In altre parole, ha ancora gli elementi più importanti e c'è ancora tempo per cambiare.
Verso la fine della mia intervista con Rhodes, l'ex studiosa a distanza, le chiedo l'unica cosa su OpenAI che non dovrei omettere da questo profilo. Immagino che secondo me ci siano dei problemi, esordisce con esitazione. Alcuni di loro provengono forse dall'ambiente in cui si trova di fronte; alcuni di loro provengono dal tipo di persone che tende ad attrarre e altre persone che lascia fuori.
Ma a me sembra che stiano facendo qualcosa di un po' giusto, dice. Ho la sensazione che la gente ci stia seriamente provando.
Aggiornare: Abbiamo apportato alcune modifiche a questa storia dopo che OpenAI ci ha chiesto di chiarire che quando Greg Brockman ha detto che non pensava che fosse possibile introdurre l'etica... fin dall'inizio durante lo sviluppo dell'IA, intendeva che le domande etiche non potevano essere risolti dall'inizio, non che non possano essere affrontati dall'inizio. Inoltre, dopo aver abbandonato Harvard si è trasferito direttamente al MIT piuttosto che aspettare un anno. Inoltre, che è cresciuto non in una fattoria, ma 'in una fattoria per hobby'. Brockman considera importante questa distinzione.
Inoltre, abbiamo chiarito che mentre OpenAI ha effettivamente 'ceduto il suo status di non profit', un consiglio che fa parte di un'entità senza scopo di lucro lo supervisiona ancora e che OpenAI pubblica la sua ricerca sotto forma di post di blog aziendali e, non in al posto di, documenti di ricerca. Abbiamo anche corretto la data di pubblicazione di un articolo di ricercatori esterni e l'affiliazione di Peter Eckersley (ex, non attuale, direttore della ricerca di Partnership on AI, che ha recentemente lasciato).