Modelli linguistici come GPT-3 potrebbero annunciare un nuovo tipo di motore di ricerca

Pixabay

Nel 1998 un paio di studenti laureati di Stanford hanno pubblicato un articolo che descrive un nuovo tipo di motore di ricerca : In questo articolo presentiamo Google, un prototipo di motore di ricerca su larga scala che fa un uso massiccio della struttura presente nell'ipertesto. Google è progettato per eseguire la scansione e l'indicizzazione del Web in modo efficiente e produrre risultati di ricerca molto più soddisfacenti rispetto ai sistemi esistenti.

Storia correlata

Questa intelligenza artificiale impara leggendo l'intero Web ininterrottamente Diffbot sta costruendo il più grande grafo della conoscenza di sempre applicando il riconoscimento delle immagini e l'elaborazione del linguaggio naturale a miliardi di pagine web.

L'innovazione chiave è stata un algoritmo chiamato PageRank, che classificava i risultati di ricerca calcolando quanto fossero pertinenti alla query di un utente sulla base dei loro collegamenti ad altre pagine sul Web. Sulla scia del PageRank, Google è diventata la porta di accesso a Internet e Sergey Brin e Larry Page hanno creato una delle più grandi aziende del mondo.

Ora un team di ricercatori di Google ha pubblicato una proposta per un restyling radicale che elimina l'approccio di classificazione e lo sostituisce con un unico modello di linguaggio AI di grandi dimensioni, una versione futura di BERT o GPT-3 . L'idea è che, invece di cercare informazioni in un vasto elenco di pagine web, gli utenti facciano domande e facciano in modo che un modello linguistico addestrato su quelle pagine risponda direttamente. L'approccio potrebbe cambiare non solo il modo in cui funzionano i motori di ricerca, ma anche il modo in cui interagiamo con essi.

Molti problemi con i modelli linguistici esistenti dovranno essere risolti prima. Tanto per cominciare, queste IA a volte possono generare risposte distorte e tossiche alle domande, un problema che i ricercatori di Google e altrove hanno sottolineato .

Ripensare il PageRank

I motori di ricerca sono diventati più veloci e precisi, anche se il web è esploso in termini di dimensioni. L'IA viene ora utilizzata per classificare i risultati e Google utilizza BERT per comprendere le query di ricerca meglio. Eppure, al di là di queste modifiche, tutti i motori di ricerca tradizionali funzionano ancora allo stesso modo di 20 anni fa: le pagine Web sono indicizzate dai crawler (software che legge il Web ininterrottamente e mantiene un elenco di tutto ciò che trova), i risultati che corrispondono alla query di un utente sono raccolti da questo indice e i risultati sono classificati.

Questo progetto di recupero dell'indice e poi di classificazione ha resistito alla prova del tempo ed è stato raramente messo in discussione o seriamente ripensato, scrivono Donald Metzler e i suoi colleghi di Google Research. (Metzler ha rifiutato una richiesta di commento.)

Il problema è che anche i migliori motori di ricerca oggi rispondono ancora con un elenco di documenti che includono le informazioni richieste, non con le informazioni stesse. Anche i motori di ricerca non sono bravi a rispondere a domande che richiedono risposte tratte da più fonti. È come se chiedessi consiglio al tuo medico e ricevessi un elenco di articoli da leggere invece di una risposta diretta.

Metzler ei suoi colleghi sono interessati a un motore di ricerca che si comporti come un esperto umano. Dovrebbe produrre risposte in linguaggio naturale, sintetizzate da più di un documento, e supportare le sue risposte con riferimenti a prove a sostegno, come mirano a fare gli articoli di Wikipedia.

Storia correlata

Perché GPT-3 è il migliore e il peggiore dell'IA in questo momento

La lingua dell'IA aperta L'IA ha entusiasmato il pubblico con la sua apparente padronanza dell'inglese, ma è tutta un'illusione?

I modelli linguistici di grandi dimensioni ci aiutano a raggiungere questo obiettivo. Formato sulla maggior parte del Web e su centinaia di libri, GPT-3 trae informazioni da più fonti per rispondere alle domande in linguaggio naturale. Il problema è che non tiene traccia di quelle fonti e non può fornire prove per le sue risposte. Non c'è modo di dire se GPT-3 stia pappagando informazioni affidabili o disinformazione o semplicemente vomitando sciocchezze di sua creazione.

Metzler e i suoi colleghi chiamano i modelli linguistici dilettanti: si pensa che sappiano molto, ma la loro conoscenza è profonda. La soluzione, affermano, è costruire e addestrare futuri BERT e GPT-3 per conservare i registri da dove provengono le loro parole. Nessun modello di questo tipo è ancora in grado di farlo, ma in linea di principio è possibile e ci sono i primi lavori in questa direzione.

Ci sono stati decenni di progressi in diverse aree di ricerca, dalla risposta alle domande al riepilogo dei documenti alla strutturazione delle informazioni, afferma Ziqi Zhang dell'Università di Sheffield, nel Regno Unito, che studia il recupero delle informazioni sul web. Ma nessuna di queste tecnologie ha rivisto la ricerca perché ciascuna affronta problemi specifici e non è generalizzabile. L'eccitante premessa di questo articolo è che i modelli linguistici di grandi dimensioni sono in grado di fare tutte queste cose contemporaneamente, afferma.

Eppure Zhang osserva che i modelli linguistici non funzionano bene con argomenti tecnici o specialistici perché ci sono meno esempi nel testo su cui sono formati. Ci sono probabilmente centinaia di volte più dati sull'e-commerce sul web rispetto ai dati sulla meccanica quantistica, dice. I modelli linguistici oggi sono anche sbilanciati verso l'inglese, il che lascerebbe sottoservite le parti non inglesi del web.

Hanna Hajishirzi, che studia l'elaborazione del linguaggio naturale all'Università di Washington, accoglie con favore l'idea ma avverte che nella pratica ci sarebbero problemi. 'Credo che i modelli linguistici di grandi dimensioni siano molto importanti e potenzialmente il futuro dei motori di ricerca, ma richiedono grande memoria e risorse di calcolo', afferma. 'Non credo che sostituirebbero l'indicizzazione.'

Tuttavia, Zhang è entusiasta delle possibilità. Ciò non è stato possibile in passato, perché i modelli linguistici di grandi dimensioni sono decollati solo di recente, afferma. Se funziona, trasformerebbe la nostra esperienza di ricerca.

Aggiornamento: abbiamo modificato il testo per rappresentare più chiaramente i problemi con i modelli linguistici di grandi dimensioni esistenti.

nascondere