AI Machine tenta di capire i fumetti... e fallisce

L'elenco delle attività in cui le macchine di intelligenza artificiale hanno battuto gli esseri umani sta aumentando a un ritmo allarmante. Riconoscimento facciale, riconoscimento di oggetti, scacchi, Go, vari videogiochi e numerosi altri compiti sono tutti caduti in questa battaglia.

Quindi è naturale interrogarsi sui tipi di attività con cui le macchine hanno ancora difficoltà. Dove regnano ancora gli umani?

Oggi, riceviamo una sorta di risposta grazie al lavoro di Mohit Iyyer presso l'Università del Maryland a College Park e ad alcuni amici. Questi ragazzi si chiedono quanto bene l'intelligenza artificiale possa capire i fumetti e non riesca a resistere a prendere a pugni l'aria nel rivelare che le macchine arrivano un secondo spiacevole rispetto agli umani.

I fumetti raccontano storie utilizzando una sequenza di pannelli costituiti da immagini disegnate a mano e spesso altamente stilizzate che hanno un carattere molto diverso dalle fotografie. Questi pannelli sono anche annotati con testo sotto forma di fumetti, fumetti e riquadri narrativi.

Il testo e le immagini lavorano a stretto contatto; spesso così da vicino che la storia non può essere seguita usando solo le immagini o il testo. Anche allora, il lettore deve fare inferenze ed estrapolazioni significative quando salta da un pannello all'altro. Molti dettagli devono essere compilati dal lettore.

È ciò che il creatore nasconde dalle loro pagine che rende i fumetti davvero interessanti, le conversazioni non dette e le azioni invisibili che si nascondono negli spazi (o nelle grondaie) tra i pannelli adiacenti, affermano Iyyer e co. È nel decifrare questi dettagli che la storia si forgia nell'immaginazione dei lettori.

Questo complesso processo di visualizzazione di un singolo pannello e di comprensione di come si collega a quelli precedenti è chiamato chiusura. E per il momento è un'abilità unicamente umana.

Ecco perché Iyyer e co hanno ideato un esperimento per testare quanto bene le macchine possano eseguirlo.

Questi ragazzi iniziano creando un ampio database di storie a fumetti che possono utilizzare per addestrare macchine di deep learning. Lo creano usando fumetti pubblicati tra gli anni '30 e '50. Questa è stata la cosiddetta età d'oro dei fumetti, che si è conclusa alla fine degli anni '50, quando negli Stati Uniti sono state introdotte rigide norme di censura. Il copyright è scaduto da allora su queste pubblicazioni e sono pubblicamente disponibili su un sito web chiamato Digital Comics Museum in sotto forma di jpeg caricati dall'utente.

Iyyer e co hanno utilizzato 4.000 dei fumetti più apprezzati sul sito, creando un database di oltre 1,2 milioni di pannelli. Usano il riconoscimento ottico dei caratteri per digitalizzare il testo su ogni pannello.

Per testare la chiusura, Iyyer e co ideano una serie di esperimenti in cui a una macchina viene mostrata una sequenza di pannelli e quindi deve prevedere cosa verrà dopo da una serie di possibili risposte. Il compito può essere quello di prevedere l'immagine successiva o il prossimo pezzo di testo o abbinare il testo a un carattere specifico.

In primo luogo, la macchina deve imparare come funzionano i fumetti. Quindi il team ha fornito una parte dei pannelli e dei testi a vari algoritmi di apprendimento automatico in modo che potessero imparare come i pannelli si susseguono l'uno dall'altro. Queste macchine sono preaddestrate per riconoscere gli oggetti ma in immagini naturali piuttosto che in cartoni animati.

Dopo aver addestrato le macchine, il team le testa su una serie di pannelli che non hanno visto e chiede loro di prevedere l'immagine o il testo successivo della serie.

I risultati sono da far alzare le sopracciglia. Mentre gli esseri umani possono prevedere correttamente il prossimo pezzo di testo o l'immagine successiva più dell'80% delle volte, le macchine non si avvicinano mai a questo livello di precisione. Nessuna delle architetture supera le linee di base umane, il che parla della difficoltà di comprendere i fumetti, affermano Iyyer e co. Le caratteristiche dell'immagine ottenute da modelli formati su immagini naturali non possono catturare la vasta variazione degli stili artistici e i modelli testuali lottano con la ricchezza e l'ambiguità del dialogo colloquiale fortemente dipendente dai contesti visivi.

Ciò non sorprende dato il buon senso necessario per seguire queste storie e le conoscenze culturali necessarie per comprendere la logica della narrazione nei fumetti.

Quindi gli umani sono ancora padroni di questo compito, almeno per il momento.

Ma le macchine miglioreranno sicuramente man mano che apprenderanno le abilità sociali e di inferenza che pensiamo ci rendano umani.

E questo solleva una possibilità interessante. Le macchine dell'IA hanno battuto gli umani a scacchi, Pericolo! , Vai e molte altre attività. Forse la loro prossima sfida dovrebbe essere capire i fumetti meglio degli umani, e forse anche creare narrazioni in questo modo. Ciò metterebbe Google DeepMind o uno qualsiasi dei suoi concorrenti contro i personaggi Marvel o DC Comics. La battaglia perfetta e sicuramente divertente.

Rif: arxiv.org/abs/1611.05118 : Gli incredibili misteri della grondaia: disegnare inferenze tra pannelli nelle narrazioni di fumetti

nascondere