C'è un nuovo modo per domare l'IA del linguaggio in modo da non metterti in imbarazzo

Un'immagine dell'output di testo del modello AI GPT-2. La signora Tech

Negli ultimi due anni, il sottocampo dell'IA dell'elaborazione del linguaggio naturale ha registrato enormi progressi. Ad esempio, un modello linguistico sviluppato dal laboratorio di ricerca OpenAI di San Francisco, chiamato GPT-2, è stato utilizzato per generare finzione , articoli di fake news , e un praticamente infinito Scegli il tuo gioco di testo in stile avventura .

Ma questo tipo di modelli sono essenzialmente enormi sistemi di previsione del testo che non tengono conto del senso, quindi è più probabile che le frasi che producono siano superficialmente fluide di quanto non siano veramente significative. È difficile dire a un modello di attenersi a un argomento particolare come l'assistenza sanitaria, ad esempio. Eppure modelli come GPT-2 può ancora essere giocato per produrre output razzista e tossico, rendendoli ancora meno utili.

Ora i ricercatori di Uber AI lo hanno fatto sviluppato un modo per guidare questi modelli linguistici, rendendo più facile per gli utenti specificare l'argomento o anche il sentimento delle frasi che generano. Data la richiesta, la questione si concentrava, ad esempio, su un modello a cui era stato detto di concentrarsi sull'esercito potrebbe produrre un risultato come questo: la questione si concentrava sul fatto che il governo aveva speso miliardi per l'esercito e che non poteva schierare le truppe in volta. Se invece si dicesse di concentrarsi sulla politica, l'output potrebbe essere più simile a questo: la questione si concentra su un singolo paragrafo della legislazione. Non è chiaro se il comitato voterà per estendere la legge.

Sebbene il modello non capisca ancora il significato, la tecnica offre un maggiore controllo. Ci vuole un passo avanti per portare i passi avanti nel linguaggio generato dall'intelligenza artificiale ad applicazioni più specifiche di dominio, come i chatbot di servizi sanitari o finanziari. Potrebbe anche essere usato per guidare i modelli lontano dal produrre risultati offensivi.

La tecnica utilizza due modelli statistici separati. Il primo è semplicemente il modello del linguaggio originale, come GPT-2, che costruisce frasi basate sulla probabilità che alcune parole appaiano accanto ad altre. Il secondo modello giudica quanto bene l'output del primo modello mostra un attributo desiderato, ad esempio se si tratta di un argomento prescritto o di un sentimento particolare. Se l'attributo desiderato è un argomento come lo spazio, il modello potrebbe assegnare un punteggio all'output del primo modello su quante parole rilevanti contiene, come pianeta, galassia e orbita. Se l'attributo è un sentimento come la positività, il modello di valutazione potrebbe essere addestrato a valutare il contenuto emotivo delle sue parole.

Quando un prompt iniziale viene inserito nel primo modello, inizia il processo di previsione delle parole successive. Ma dopo ogni parola, controlla il suo punteggio con il modello di valutazione e si riadatta sulla base del feedback. La frase finale finisce con l'attributo desiderato, pur mantenendo la fluidità del gigantesco modello linguistico.

Il nuovo metodo è molto flessibile e può combinare più obiettivi. Potrebbe essere indirizzato a scrivere di cucina con un tono negativo, per esempio. Ha anche il vantaggio di essere computazionalmente efficiente. Altri metodi possono focalizzare l'output di un modello linguistico verso argomenti o emozioni specifici, ma possono richiedere una riqualificazione significativa. Alla scala di GPT-2, questo è sia ecologicamente che finanziariamente costoso. Uno studente laureato come me non ha quelle risorse, dice Sumanth Dathathri, che studia al Caltech e coautore del documento durante uno stage con Uber. Il nuovo metodo evita completamente la riqualificazione garantendo un maggiore controllo su qualsiasi modello già esistente.

Il team prevede che questa tecnica venga utilizzata in molte applicazioni diverse, che si tratti di sistemi di dialogo, sistemi di traduzione o persino l'arte. Nel 2016, il laboratorio ha sviluppato a metodo simile per controllare la generazione di immagini piuttosto che il linguaggio. C'erano molti artisti che lo usavano per produrre cose meravigliose, ricorda Jason Yosinski, un membro fondatore di Uber AI che ha supervisionato il giornale. Ho potuto vedere molti altri artisti fare lo stesso qui.

Per ricevere più storie come questa direttamente nella tua casella di posta, iscriviti alla nostra newsletter AI nominata da Webby The Algorithm. È gratis.

nascondere