211service.com
Il miglior programma di intelligenza artificiale continua a bocciare un test scientifico di terza media
Nonostante tutti i notevoli progressi compiuti nell'intelligenza artificiale e gli avvertimenti sugli sconvolgimenti che ciò potrebbe comportare, il computer più intelligente farebbe comunque fatica a superare l'ottavo anno.
Un concorso organizzato dai ricercatori del Istituto Allen per l'Intelligenza Artificiale (AI2) , ha invitato i programmatori a creare un programma in grado di sostenere una versione modificata di un esame scientifico convenzionale di terza media. I risultati del concorso sono stati annunciati martedì al incontro annuale dell'Associazione per il progresso dell'intelligenza artificiale (AAAI).
Il vincitore, un concorrente con sede in Israele chiamato Chaim Linhart, ha combinato diverse tecniche consolidate di apprendimento automatico con ampi database di informazioni scientifiche per rispondere correttamente al 59% delle domande. Come altri partecipanti, Linhart ha alimentato il suo sistema informatico con centinaia di migliaia di domande abbinate a risposte corrette in modo che potesse imparare a trovare la risposta giusta.
Un punteggio di quasi il 60 percento potrebbe deludere la maggior parte dei genitori, ma è notevole per un computer. Il test utilizzato per il concorso è stato, tuttavia, leggermente semplificato per renderlo pratico per i computer. I diagrammi sono stati rimossi, ad esempio, e sono state utilizzate solo domande con risposte a scelta multipla.
Oren Etzioni , un ricercatore di intelligenza artificiale che dirige AI2, afferma che la sfida del test di terza media aveva lo scopo di spingere i ricercatori a sviluppare un software che non fosse solo superficialmente intelligente.
Negli ultimi anni, i programmi progettati per svolgere compiti specifici, in particolare quelli che implicano una sorta di elaborazione visiva o audio, sono avanzati rapidamente grazie ad algoritmi di apprendimento automatico estremamente efficienti, in particolare quelli basati su grandi reti neurali. Un esempio recente impressionante è un programma Google progettato per giocare al gioco da tavolo sottile e computazionalmente complesso Go (vedi AI Masters the Game of Go di Google di Google un decennio prima del previsto).
Questo progresso ha ispirato speranze e timori che le macchine veramente intelligenti potrebbero non essere così lontane. Ma Etzioni crede che saranno necessarie nuove tecniche per raggiungere anche le competenze di base in compiti più complessi, cosa che gli ultimi risultati sembrano confermare. Allo stesso modo, il miglior mezzo per misurare i progressi nell'intelligenza artificiale, il test di Turing, si è rivelato fin troppo facile da manipolare usando semplici trucchi.
Tommaso Dietterich , professore all'Oregon State University e presidente dell'AAAI, afferma che il concorso AI2 è un esercizio utile. Dietterich afferma anche che la combinazione di diverse tecniche di intelligenza artificiale sarà probabilmente necessaria per ottenere un punteggio del test molto più alto in futuro. Intelligenza è una parola, ma si riferisce a molte cose, dice. Una delle cose che mi piace di questo è che sottolinea l'ampiezza in un modo che altri test non hanno.
Gary Marcus, uno scienziato cognitivo alla New York University e fondatore di una startup di intelligenza artificiale chiamata Intelligenza geometrica , sta lavorando a una competizione di intelligenza artificiale che avrà diverse componenti. L'intelligenza è una variabile multidimensionale, dice Marcus. Non ci sarà un test che sia una misura divina dell'intelligenza.
Marcus aggiunge che il concorso AI2 mette effettivamente in luce la dimensione della sfida che rimane per i ricercatori di IA. Puoi fare molto meglio del semplice indovinare con alcune tecniche piuttosto primitive, ma allo stesso tempo il 60 percento è molto lontano dalla vera comprensione della scienza, aggiunge. La cosa migliore che ne viene fuori è che le persone potrebbero rendersi conto di quanto siano difficili le domande.
Il concorso è stato organizzato tramite Kaggle, una piattaforma popolare per la coordinazione di concorsi in cui i data scientist si battono per creare l'algoritmo più efficiente per un compito particolare, come prevedere quali prodotti venderanno di più in base alle vendite precedenti o il risultato del torneo March Madness. L'anno scorso, AI2 ha rilasciato un enorme set di dati di domande e risposte che consentono ai partecipanti di progettare algoritmi per sostenere il test (vedi AI Software Goes Up Against Fourth Graders on Science Test).
Durante un intervento alla conferenza AAAI, Etzioni ha suggerito che impostare un test più difficile, su un arco di tempo più lungo, con un premio più grande, potrebbe ispirare più ricercatori di IA a essere coinvolti. Penso che saranno necessari un concorso più lungo e un'IA 'più profonda' per arrivare dal 60% all'80% o più, afferma Etzioni. La nostra ipotesi è che non puoi farlo con trucchi economici, che devi fare qualcosa di più intelligente.