L'app individua gli oggetti per i non vedenti

Mentre camminavo per il mio ufficio una mattina recente, una voce femminile sul mio iPhone ha raccontato gli oggetti che ho incrociato. Mattoni, muro, telefono, disse in modo pratico. La voce si fermò quando mi imbattei in una bicicletta appesa a una rastrelliera a parete, poi intonò, bicicletta.

La voce fa parte di un'app gratuita di riconoscimento delle immagini chiamata Aipoly questo sta cercando di rendere più facile per le persone con problemi di vista riconoscere l'ambiente circostante. Per usarlo, punti la fotocamera posteriore del telefono verso qualsiasi cosa tu voglia che identifichi e Aipoly parlerà ciò che vede (o, almeno, ciò che pensa di vedere) e mostrerà il nome dell'oggetto sul display del telefono. Aipoly funziona direttamente sul tuo telefono, quindi non ha bisogno dell'accesso a Internet per funzionare e può identificare un oggetto dopo l'altro mentre sposti il ​​telefono, senza che tu debba scattare una foto di ogni cosa.

I creatori di Aipoly sperano che l'app possa essere utile per le persone con gravi problemi di vista e forse per coloro che cercano di imparare una nuova lingua. Sperano anche che sia più veloce di altre app relative al riconoscimento delle immagini che si basano sull'aiuto di altri esseri umani, come Sii i miei occhi , o che richiedono Internet, ad esempio Tocca Tocca Vedi .

L'app è stata lanciata per iPhone all'inizio di quest'anno da un'omonima startup con sede a Melbourne. Il cofondatore di Aipoly Simon Edwardsson afferma che riconosce le immagini utilizzando il deep learning, che è una tecnica di apprendimento automatico ispirata agli studi sul cervello. È la stessa tecnologia utilizzata da Facebook per riconoscere i volti e Google per cercare le immagini.

L'app scopre cos'è qualcosa scomponendo un'immagine in diverse caratteristiche, come curve, linee e motivi (come strisce), quindi utilizza tali funzionalità per determinare la probabilità che l'immagine sia un oggetto specifico.

Aipoly è stata in grado di dirmi quali sono le cose che posso trovare nel mio ufficio, anche se ha ancora bisogno di molto lavoro. Finora può riconoscere solo circa 1.000 oggetti; Edwardsson afferma che l'azienda sta cercando di portarlo a 5.000, anche se non sarebbero ancora così tanti se si considera quante cose distinte si incontrano ogni giorno.

E mentre l'app era spesso corretta quando individuava un oggetto, anche quando era parzialmente occluso (come le cuffie appese al collo del mio collega), c'erano anche molte accensioni irregolari.

Ad esempio, la sua voce femminile diceva Chevrolet, poi ruota e, infine, mouse mentre il telefono era concentrato sul mouse del mio computer. E l'app continuava a identificare erroneamente un forno a microonde come AC.

L'app per iPhone di Aipoly utilizza l'intelligenza artificiale per identificare gli oggetti mentre muovi il telefono.

Gli utenti possono addestrare Aipoly digitando una parola o una frase corretta per identificare un oggetto che sbaglia; questi dati verranno quindi caricati sui server di Aipoly e l'avvio aggiungerà descrizioni ad Aipoly ogni poche settimane circa mentre rilascia nuove versioni dell'app, afferma Edwardsson.

Jeff Bigham , professore associato di interazione uomo-computer presso la Carnegie Mellon University che studia tecnologie assistive, afferma che Aipoly sembra funzionare abbastanza bene e potrebbe essere utilizzato per avere un'idea dell'ambiente circostante spostando il telefono intorno a te. Ma si chiede quanto siano utili alcune delle sue capacità di identificazione degli oggetti, dal momento che le persone tendono ad essere brave a determinare cosa sia qualcosa toccandolo.

Ciò che è molto più utile è distinguere le cose che altrimenti sarebbero indistinguibili, dice, come lattine o scatole di cibo che si sentono più o meno allo stesso modo.

nascondere