211service.com
Ricerca video per vista e script
L'acquisizione di YouTube.com da parte di Google questa settimana ha suscitato speranze che la ricerca di video migliorerà. Secondo il sito web, ogni giorno vengono caricati su YouTube più di 65.000 video. Con tutto quel contenuto, trovare la clip giusta può essere difficile.
Ora i ricercatori hanno sviluppato un sistema che utilizza una combinazione di riconoscimento facciale, informazioni sui sottotitoli e script televisivi originali per nominare automaticamente i volti che appaiono sullo schermo, rendendo gli episodi del programma televisivo Buffy l'ammazzavampiri ricercabile.
Fondamentalmente vediamo questo lavoro come uno dei primi passi per ottenere descrizioni automatizzate di ciò che sta accadendo in un video, afferma Mark Everingham , un informatico ora all'Università di Leeds (ex Università di Oxford), che ha presentato la sua ricerca alla British Machine Vision Conference a settembre.
Attualmente, le ricerche video offerte da Video AOL , Google , e Youtube non cercare il contenuto di un video stesso, ma fare affidamento principalmente su metadati o descrizioni di testo, scritte dagli utenti per sviluppare un indice ricercabile di contenuti multimediali basati sul Web.
Gli utenti caricano frequentemente (e illegalmente) frammenti delle loro sitcom preferite su siti di condivisione video come YouTube. Ad esempio, una recente ricerca di Buffy l'ammazzavampiri ha mostrato quasi 2.000 clip su YouTube, molte delle quali viste migliaia di volte. La maggior parte di queste clip dura meno di cinque minuti e le descrizioni sono vaghe. Uno intitolato Un nuovo giorno è arrivato, per esempio, è descritto da un utente così: Contiene principalmente Buffy e Spike. Mostra come Spike fosse lì per Buffy fino alla sua morte e lei si sentì sola dopo.
Everingham afferma che il lavoro precedente nella ricerca di video ha utilizzato i dati dei sottotitoli per trovare video, ma non è a conoscenza di nessuno che utilizza il suo metodo, che combina, nel tour de force tecnico, i sottotitoli e l'annotazione dello script. La sceneggiatura ti dice cosa viene detto e chi l'ha detto e i sottotitoli ti dicono a che ora viene detto qualcosa, spiega. Il software di Everingham combina queste due fonti di informazioni con potenti strumenti precedentemente sviluppati per tracciare i volti e identificare gli oratori senza la necessità dell'input dell'utente.
Cosa ha reso Buffy Una tale sfida, dice Everingham, è che nel cinema e in televisione, la persona che parla non è sempre nell'inquadratura. La star, Buffy, potrebbe parlare fuori dallo schermo o guardare lontano dalla telecamera, per esempio, e la telecamera ti mostrerà le reazioni dell'ascoltatore. Altre volte, potrebbero esserci più attori sullo schermo o il viso dell'attore non è rivolto direttamente alla telecamera. Tutte queste ambiguità sono facili da interpretare per gli umani, ma difficili per i computer, almeno fino ad ora. Everingham afferma che il loro sistema multimodale è accurato fino all'80% delle volte.
Un solo episodio di Buffy può avere fino a 20.000 istanze di volti rilevati, ma la maggior parte di queste istanze deriva da più fotogrammi di un singolo personaggio in una data ripresa. Il software tiene traccia dei punti di riferimento chiave sui volti dell'attore, ad esempio narici, pupille e occhi, e se uno di essi si sovrappone al fotogramma successivo, i due volti vengono considerati parte di un'unica traccia. Se questi punti di riferimento non sono chiari, tuttavia, il software utilizza una descrizione dell'abbigliamento per unire due tracce di volti spezzati. Infine, il software osserva anche le labbra degli attori per identificare chi sta parlando o se l'oratore è fuori dallo schermo. In definitiva, il sistema produce un'annotazione dettagliata del video play-by-play.
L'idea generale è che vuoi ottenere più informazioni senza che le persone le catturino, dice Alex Berg al Gruppo Visione artificiale all'Università della California, Berkeley. Se vuoi trovare una scena particolare con un personaggio, devi prima trovare le scene che contengono quel personaggio. Dice che la ricerca di Everingham aprirà la strada a ricerche più complesse sulla programmazione televisiva.
Informatico Josef Sivic a Oxford Visual Geometry Group , che ha contribuito alla Buffy progetto, dice che in futuro sarà possibile cercare concetti di alto livello come Buffy e Spike che camminano mano nella mano verso la telecamera o tutte le scene all'aperto che contengono Buffy.
Timothy Tuttle, vicepresidente di AOL Video, afferma: 'Sembra che nei prossimi cinque-dieci anni sempre più persone sceglieranno cosa guardare secondo il proprio programma e visualizzeranno i contenuti su richiesta. Nota inoltre che la barriera all'adattamento di tecnologie come quella di Everingham potrebbe non essere più tecnica, ma legale.
Queste barriere legali sono state abbattute con la carta stampata perché le aziende hanno raccolto i vantaggi finanziari dei contenuti ricercabili: è stato dimostrato che Google Book Scan e i programmi di ricerca di Amazon aumentare le vendite di libri negli ultimi due anni .
Ma non è chiaro se un video ricercabile possa aumentare le vendite di DVD allo stesso modo. Attualmente, Google offre teaser di contenuti video premium, afferma lo scienziato dello staff Michele Covell. Per alcuni generi, come i video sportivi, sta diventando più facile selezionare un clip teaser che incoraggerà le persone ad acquistare il video, afferma.
Shumeet Baluja, uno scienziato ricercatore del personale di Google, concorda sul fatto che l'annotazione di video sul Web sarà una sfida, ma con il tempo sarà in grado di aggiungere sempre più metadati ai video clip popolari offline, il che migliorerà la velocità e la precisione di ricerche.