211service.com
Watson in pericolo, parte 2
Guardando la prima notte del Pericolo La partita che ha messo a confronto il programma IBM Watson contro concorrenti umani è stato molto divertente. Un bel tocco è stato il display del backstage che ha mostrato tre risposte che Watson ha considerato per ogni domanda e la fiducia della macchina in esse. È interessante, perché ti dà un'idea della gamma di cose che stava prendendo in considerazione.
Alcune delle categorie erano ovviamente softball per Watson. Una categoria, Beatles People, era facile perché semplicemente abbinare i testi delle canzoni avrebbe portato il programma a fare molta strada (ma non fino in fondo) per trovare la risposta. Le regole del gioco vietavano al computer di uscire sul Web per trovare risposte. Watson deve fare affidamento sulle proprie risorse, archiviate in anticipo. Ma nei suoi 15 petabyte di spazio di archiviazione, Watson ha sostanzialmente, più o meno, una copia di una buona parte del Web.
Ovviamente, aveva una copia dei testi dei Beatles che stava cercando. Altrimenti non avrebbe avuto una preghiera su quelle domande.
Watson ha concluso il primo turno in parità, con $ 5.000; Ken Jennings era terzo con $ 2.000. Ma per avere un'idea di quanto bene abbia fatto Watson, puoi organizzare il tuo concorso a casa, contro quello che è il vero concorrente di Watson. Non Brad Rutter o Ken Jennings, ma un motore di ricerca come Google. Basta digitare l'indizio su Google e vedere cosa ottieni. Come Watson, Google analizza enormi quantità di testo, contando le parole e tenendo traccia della frequenza con cui le parole tendono a comparire insieme. Come Watson, Google utilizza più approcci per analizzare il testo e quindi ha una sorta di schema di voto per capire quanto è sicuro della risposta.
Ci sono molte differenze tra Watson e Google, ma farlo ti darà una buona idea del problema. Molto spesso, quello che otterrai sono alcune pagine Web che hanno la risposta da qualche parte al loro interno, ma scegliere la risposta da qualunque cosa ci sia sulla pagina, pubblicità e tutto il resto, non è un'impresa da poco. Capire cosa costituisce una risposta è il problema centrale.
È interessante notare che dove Watson ha fallito a volte è stato più istruttivo di quando ha avuto successo.
Indizio: era questa stranezza anatomica del ginnasta statunitense George Eyser...
Risposta di Ken Jennings: Manca una mano (sbagliata)
Risposta di Watson: gamba (sbagliata)
Risposta corretta: Manca una gamba
Ciò che Watson non riuscì a capire era che la parola gamba, di per sé, non era in realtà una risposta alla domanda. Questo è buon senso per le persone, perché la gamba è una parte anatomica, non una stranezza anatomica, sebbene Watson si rendesse conto che le gambe erano in qualche modo coinvolte. Quello che è successo qui potrebbe essere stato qualcosa di più profondo di un semplice bug. David Ferrucci, capo progetto di Watson, ha attribuito il fallimento alla difficoltà della parola stranezza nella domanda. Per capire cosa potrebbe essere strano, devi confrontarlo con ciò che non è strano, vale a dire, cos'è il buon senso. Un problema con l'approccio di Watson è che se una frase appare nel suo database, non può dire se qualcuno l'ha messa lì solo perché è vera, o perché qualcuno ha ritenuto che fosse così insolito che doveva essere detto.
Un computer privo di buon senso, sfortunatamente, non è una stranezza. Forse dovrebbe essere.
Henry Lieberman è un ricercatore che lavora sull'intelligenza artificiale al Media Laboratory del MIT.