211service.com
L'intelligenza artificiale vincerà il concorso didascalia?
Quando gli utenti dei social media caricano fotografie e le titolano, non si limitano a etichettare i loro contenuti. Raccontano una storia, che dà alle foto un contesto e un significato emotivo aggiuntivo.
A documento pubblicato di Microsoft Research descrive un sistema di sottotitoli delle immagini che imita lo stile unico di narrazione visiva degli esseri umani. Aziende come Microsoft, Google e Facebook hanno passato anni a insegnare ai computer ad etichettare i contenuti delle immagini, ma questa nuova ricerca fa un ulteriore passo avanti insegnando a un sistema basato su reti neurali a dedurre una storia da diverse immagini. Un giorno potrebbe essere utilizzato per generare automaticamente descrizioni per insiemi di immagini o per portare un linguaggio simile a quello umano in altre applicazioni per l'intelligenza artificiale.
Piuttosto che fornire descrizioni blande o banali di ciò che sta accadendo nelle immagini, le inseriamo in un contesto narrativo più ampio, afferma Frank Ferraro, uno studente di dottorato della Johns Hopkins University che è coautore del documento. Puoi iniziare a fare probabili inferenze su ciò che potrebbe accadere.
Considera un album di immagini che ritraggono un gruppo di amici che festeggia un compleanno in un bar. Alcune delle prime immagini mostrano persone che ordinano birra e la bevono, mentre una foto successiva mostra qualcuno che dorme su un divano.
Un sistema di sottotitoli potrebbe semplicemente dire: 'Una persona sdraiata su un divano', dice Ferraro. Ma un sistema di narrazione potrebbe essere in grado di dire: 'Beh, dato che penso che queste persone fossero fuori a festeggiare o fuori a mangiare e bere, allora questa persona potrebbe essere ubriaca'.
Un esempio elencato nel documento include una serie di cinque immagini. Mostrano una famiglia raccolta attorno a un tavolo, un piatto di crostacei, un cane e immagini della spiaggia. La rete neurale li ha descritti con una lettura di una storia, La famiglia si è riunita per una grigliata. Avevano un sacco di cibo delizioso. Il cane era felice di essere lì. Si sono divertiti molto sulla spiaggia. Hanno anche fatto una nuotata in acqua.
Il team, guidato dalla ricercatrice Microsoft Margaret Mitchell e comprendeva stagisti Microsoft come Ferraro e un ricercatore di Facebook AI, ha trasformato quella che viene chiamata una rete neurale ricorrente sequenza-sequenza in un narratore addestrandolo con immagini provenienti da Flickr. Avevano aiutanti a scrivere didascalie per singole immagini e per serie di immagini in sequenze specifiche.
Un approccio simile a quelli usati per etichettare i contenuti delle singole foto ha prodotto storie troppo generiche. Per contrastare questo, il team ha sviluppato un modo per la rete di scegliere parole che avrebbero potuto essere visivamente salienti. Richiedevano anche che il sistema non ripetesse le parole.
La narrazione è una parte importante dell'essere umano, afferma il direttore dello Stanford Vision Lab Fei-Fei Li, che non ha contribuito alla ricerca. La tecnologia che può imitare le tecniche umane per documentare le storie deve essere in grado di incrociare oggetti e personaggi visti in più immagini e dedurre le relazioni tra persone, oggetti e luoghi.
Il documento pubblicato è solo l'inizio di questo tipo di tecnologia, dice Li. Ma è un buon passo avanti per iniziare ad affrontare un progetto così ambizioso. Non vedo l'ora di ulteriori lavori da parte di questi autori e di altri.