211service.com
Perché e come Baidu ha imbrogliato un test di intelligenza artificiale
Lo sport del software di allenamento per agire in modo intelligente ha appena avuto il suo primo scandalo di barare. Il mese scorso, la società di ricerca cinese Baidu ha annunciato che il suo software di riconoscimento delle immagini ha superato di gran lunga quello di Google in un test standardizzato di accuratezza. Martedì la società ha ammesso di aver ottenuto quei risultati infrangendo le regole di quel test.
Lo dicono gli esperti accademici che mantengono quel test rende insignificanti le affermazioni di Baidu di battere Google . Ren Wu, il ricercatore di Baidu che ha guidato il lavoro sul software in questione, si è scusato e ha affermato che la società ne sta rivedendo i risultati. L'azienda ha modificato un documento tecnico ha rilasciato sul suo software.
Non sappiamo se questa sia stata l'azione di un individuo o una strategia della squadra nel suo insieme. Ma il motivo per cui una società multimiliardaria potrebbe prendersi la briga di imbrogliare su un oscuro test gestito da accademici su base volontaria è in realtà abbastanza chiaro.
Baidu, Google, Facebook e altre importanti società informatiche hanno speso molto negli ultimi anni per creare gruppi di ricerca dedicati al deep learning, un approccio alla creazione di software di machine learning che ha fatto grandi passi avanti nel riconoscimento vocale e delle immagini. Queste aziende hanno lavorato duramente per assumere esperti di spicco nel piccolo campo, spesso l'uno dall'altro (vedi Google Cornering the Market on Deep Learning). Una manciata di test standardizzati sviluppati nel mondo accademico sono la valuta con cui questi gruppi di ricerca confrontano i progressi reciproci e promuovono i loro risultati al pubblico.
Baidu ha ottenuto un vantaggio ingiusto sfruttando il design del test. Per ottenere il punteggio del tuo software contro ImageNet Challenge, devi prima allenarlo con un set standardizzato di 1,5 milioni di immagini. Quindi invii il codice al server ImageNet Challenge in modo che la sua accuratezza possa essere testata su una raccolta di 100.000 immagini di convalida che il software non ha mai visto prima.
Le regole della sfida affermano che devi testare il tuo codice solo due volte a settimana, perché c'è un elemento di possibilità nei risultati.
Baidu ha ammesso di aver utilizzato più account di posta elettronica per testare il suo codice circa 200 volte in poco meno di sei mesi, più di quattro volte quanto consentito dalle regole.
Oren Ettizioni, amministratore delegato della Istituto Allen per l'Intelligenza Artificiale , paragona ciò che Baidu ha fatto all'acquisto di più biglietti della lotteria. Se compri due biglietti a settimana hai una certa possibilità, se ne acquisti 200 a settimana hai più possibilità, dice. Inoltre, testare un codice leggermente diverso su molti test potrebbe aiutare un team di ricerca a ottimizzare il proprio software per le peculiarità della raccolta di immagini di convalida che non si riflettono nelle foto del mondo reale.
Tale è il successo del deep learning su questo particolare test che anche un piccolo vantaggio potrebbe fare la differenza. Baidu aveva riferito di aver raggiunto un tasso di errore di solo il 4,58 percento, battendo il record precedente del 4,82 percento, segnalato da Google a marzo. Alcuni esperti, infatti, hanno notato che i piccoli margini di vittoria in gara per migliorarsi in questo particolare test lo rendono sempre più privo di senso. Il fatto che Baidu e altri continuino a strombazzare i loro risultati lo stesso - e potrebbero anche essere disposti a infrangere le regole - suggerisce che essere i migliori nell'apprendimento automatico è davvero importante per loro.