Il nuovo brillante giocattolo di Microsoft

Alla conferenza Technology, Entertainment, Design (TED) dello scorso marzo a Monterey, in California, un summit che è stato descritto come Davos per i digerati, il software architect dalla voce calma di Microsoft ha iniziato bruscamente la sua dimostrazione, navigando rapidamente attraverso un mare di immagini visualizzate su un grande schermo. Utilizzando Seadragon, una tecnologia che consente un'esplorazione fluida e rapida di grandi serie di dati di testo e immagini, si è immerso senza sforzo in una mappa da 300 megapixel, ingrandendo per rivelare un timbro della data della Biblioteca del Congresso in un angolo. Poi si è rivolto a un'immagine che sembrava un codice a barre ma in realtà era il testo completo di Charles Dickens Casa desolata , ingrandendo fino a quando due caratteri dai bordi nitidi riempirono lo schermo, prima di tornare indietro con disinvoltura alla gigantesca trapunta di testo e immagini.

Tu sei qui: Photosynth, un'applicazione in sviluppo presso i Live Labs di Microsoft, offre un modo coinvolgente per visualizzare le foto di una determinata cosa o luogo. Il software non è ancora stato rilasciato, ma Microsoft lo sta dimostrando online con raccolte di foto come questa di Piazza San Marco a Venezia.

Microsoft aveva acquisito Seadragon l'anno precedente e con essa il presentatore, Blaise Agüera y Arcas. Ma Agüera y Arcas non era venuta a TED solo per sfoggiare Seadragon. Presto tagliò su un panorama affiancato da foto delle Montagne Rocciose canadesi; il mosaico si spostò mentre lui vi percorreva la panoramica, rivelando una drammatica linea di cresta. Poi è arrivata una veduta aerea di quello che sembrava essere un modello di un edificio familiare: la cattedrale di Notre Dame. Il modello, ha spiegato Agüera y Arcas, era stato assemblato da centinaia di immagini separate raccolte da Flickr. Era una nuvola di punti, un insieme di punti nello spazio tridimensionale.

Questa storia faceva parte del nostro numero di marzo 2008

• Vedi il resto del problema
• sottoscrivi

Mentre parlava, Agüera y Arcas navigava scherzosamente intorno alla periferia di Notre Dame, che ripetutamente si animava e si oscurava di nuovo. L'effetto di sfrecciare attraverso immagini e punti focali mutevoli è stato attenuato da sottili effetti di transizione. Sembrava una bobina deliberatamente rallentata di animazione fotogramma per fotogramma; l'effetto era sconvolgente. La folla osservava con stupore Agüera y Arcas spingersi più in profondità nella vista frontale dell'arco dell'edificio, finendo con un primo piano ravvicinato di un gargoyle. Alcune delle immagini su cui la tecnologia aveva attinto non erano nemmeno strettamente fotografiche: aveva cercato su Flickr tutte le immagini rilevanti, incluso un poster della cattedrale. Quello che Agüera y Arcas stava dimostrando non era un video, ma nemmeno una semplice raccolta di foto, anche se gigantesca. Era anche come una mappa, ma immersiva animata dalla logica del sogno di forme sfocate e prospettive mutevoli.

Questa era Photosynth, una tecnologia che analizza le immagini correlate e le collega per ricreare ambienti fisici in uno spazio virtuale abbagliante. La tecnologia crea un metaverso, ha affermato Agüera y Arcas (per ulteriori informazioni sulla nascente fusione di tecnologie di mappatura come Google Earth e i fantastici regni di giochi come Second Life, vedere Second Earth, luglio/agosto 2007); ma costituisce anche la lunga coda di Virtual Earth, il concorrente di Microsoft di Google Earth, per la sua capacità di attingere e contribuire alla ricchezza di dati cartografici e di immagine locali disponibili online. Potrebbe fornire modelli virtuali immensamente ricchi di ogni parte interessante della terra, ha detto, raccolti non solo da voli aerei e da immagini satellitari e così via, ma dalla memoria collettiva. A quel punto la presentazione terminò così bruscamente come era iniziata circa sei minuti prima. La dichiarazione conclusiva di Agüera y Arcas è stata accolta da un fragore di applausi.

Multimedia

• Visualizza le immagini da Photosynth e scopri come funziona.

• Guarda insieme le foto di Photosynth.

Oltre l'unione delle immagini
Photosynth nasce da quello che Agüera y Arcas chiama il matrimonio tra Seadragon e Photo Tourism, un progetto Microsoft destinato a rivoluzionare il modo in cui i set fotografici vengono confezionati e visualizzati. Il turismo fotografico era iniziato come tesi di dottorato di uno zelante studente laureato di 26 anni dell'Università di Washington di nome Noah Snavely. Uno dei consulenti di Snavely era Rick Szeliski, un ricercatore di computer vision presso Microsoft Research, il braccio di ricerca e sviluppo dell'azienda. Ho descritto la necessità dei buoni elementi di una forte presentazione di diapositive, come una grande composizione, ricorda Szeliski, il cui precedente lavoro in Microsoft aveva contribuito a sviluppare la tecnologia di unione delle immagini ora comunemente utilizzata nelle fotocamere digitali per riempire una cornice più ampia o più alta. Ha anche cercato la fluidità tra le immagini e un senso di interattività nella loro visione.

Lavorando con Szeliski e un professore dell'Università di Washington di nome Steve Seitz, Snavely era intento a codificare una via da seguire attraverso una sfida computazionalmente proibitiva: come far fondere le foto, sulla base delle loro somiglianze, in un modello fisico 3D che l'essere umano gli occhi potrebbero riconoscere come parte di un autentico paesaggio del mondo reale. Inoltre, il modello dovrebbe essere uno che gli utenti possano navigare e sperimentare spazialmente. I software esistenti per il fotoritocco utilizzati in dispositivi elettronici come le fotocamere digitali sapevano come dedurre le relazioni tra le immagini dalla sequenza in cui erano state scattate. Ma Snavely stava cercando di sviluppare un software in grado di effettuare tali valutazioni in un modo completamente diverso. Ha ideato un processo in due fasi: nella prima fase, identifichiamo i punti salienti in tutte le immagini 2D, dice. Quindi cerchiamo di capire quali punti in diverse immagini corrispondono allo stesso punto in 3-D.

Il processo, dice Snavely, si chiama 'struttura dal movimento'. Fondamentalmente, una telecamera in movimento può dedurre una struttura 3D. È la stessa idea di quando muovi la testa avanti e indietro e puoi avere un'idea migliore della struttura 3D di ciò che stai guardando. Prova a chiudere un occhio e a muovere la testa da un lato all'altro: vedrai che punti diversi a distanze diverse si muoveranno in modo diverso. Questa è l'idea alla base della struttura dal movimento.

La visione artificiale, come spiega Agüera y Arcas, beneficia di una semplice garanzia: tutti i dati spaziali sono quantificabili. Ogni punto nello spazio ha solo tre gradi di libertà: x, yez, dice.

Gli attributi condivisi da alcune foto, aggiunge, aiutano a contrassegnarle come simili: una pietra per lastricati dalla forma particolare, ad esempio, può apparire ripetutamente. Quando il software riconosce le somiglianze – la pietra in questa foto appare anche in quella – sa cercare ulteriori somiglianze. Il processo di raggruppamento delle immagini sulla base di elementi visivi corrispondenti prende quindi vigore fino a quando un intero percorso può essere ricreato da quelle pietre del selciato. Più immagini inizia con il sistema, più realistico è il risultato, soprattutto se le immagini originali sono state scattate da una varietà di angolazioni e prospettive.

Questo perché il secondo esercizio di calcolo, afferma Snavely, consiste nel confrontare le immagini in cui le caratteristiche condivise sono rappresentate da diverse angolazioni. Si scopre che il primo processo aiuta il secondo, fornendoci informazioni su dove devono essere le telecamere. Siamo in grado di recuperare il punto di vista da cui è stata scattata ogni foto e quando l'utente seleziona una foto, vengono portati a quel punto di vista. Posizionando un punto di vista per ogni immagine, calcolando dove doveva essere la fotocamera quando è stata scattata la foto, il software può imitare il modo in cui funziona la visione binoculare, producendo un effetto 3D.

Come Szeliski sapeva, tuttavia, l'occhio umano è il più volubile dei critici. Quindi lui ei suoi due colleghi hanno cercato di fare qualcosa di più che dividere parti più piccole in un insieme più grande; hanno anche lavorato su effetti di transizione destinati a far incontrare le immagini nel modo più fluido possibile. Le tecniche che hanno perfezionato includono le dissolvenze, o dissolvenze, il metodo caratteristico con cui i montatori di film e video fondono le immagini.

In una demo che ha mostrato la Fontana di Trevi in ​​Italia, Photo Tourism ha realizzato una versione rudimentale e su palafitte di ciò che Photosynth avrebbe prodotto: una nuvola di punti assemblata da immagini che rappresentano diverse prospettive su un singolo luogo. Più impressionante è stata la capacità del software di sfogliare banche di immagini scaricate da Flickr in base a tag descrittivi: foto che, ovviamente, non erano state scattate allo scopo di produrre un modello. Il risultato, ricorda Szeliski, fu sorprendente e fresco anche agli occhi del suo veterano.

Quello che avevamo era un nuovo modo di visualizzare una raccolta di foto, una presentazione interattiva, dice Szeliski. Penso che il turismo fotografico sia stato sorprendente per diversi motivi sia per gli addetti ai lavori che per gli estranei. Gli addetti ai lavori sono rimasti sconcertati dall'avvincente facilità dell'esperienza. Gli estranei, dice, non riuscivano a credere che fosse possibile.

Eppure l'applicazione Photo Tourism aveva un futuro incerto. Sebbene fosse una rivelazione tecnica, sviluppata in Linux e in grado di funzionare su Windows, era ancora un prototipo e la road map per svilupparlo ulteriormente non era chiara.

Nella primavera del 2006, mentre Snavely stava presentando Photo Tourism in un workshop interno di Microsoft, Blaise Agüera y Arcas, allora un nuovo dipendente, è passato e se ne è accorto. Era arrivato di recente grazie all'acquisizione della sua azienda, Seadragon, che ha sviluppato un'applicazione software che descrive come un gestore di memoria virtuale 3D per le immagini. Il fascino strabiliante di Seadragon risiede nella sua capacità di consentire agli utenti di caricare, sfogliare e manipolare quantità senza precedenti di informazioni visive, e il suo grande risultato tecnico è stata la sua capacità di farlo su una rete. (La capacità di Photosynth di lavorare con immagini di Flickr e simili, tuttavia, deriva dalla tecnologia che ha avuto origine con Photo Tourism.)

Agüera y Arcas e Snavely iniziarono a parlare quel giorno. Entro l'estate del 2006 furono presentati i demo. Il prodotto ibrido risultante, in parte Photo Tourism e in parte Seadragon, aggrega un ampio gruppo di immagini simili (foto o illustrazioni), intrecciandole in un modello visivo 3D del soggetto del mondo reale. Conferisce anche tridimensionalità alle aree in cui le foto 2D si uniscono. Ogni singola immagine è riprodotta con perfetta fedeltà, ma nelle transizioni tra di esse, Photosynth riempie le lacune percettive che altrimenti impedirebbero a una raccolta di foto di sentirsi parte di un'immagine dalla prospettiva più ampia. E oltre ad essere un analogo visivo di una scena di vita reale, il modello sintetizzato è completamente navigabile. Come spiega Snavely, la modalità di navigazione dominante è scegliere la prossima foto da visitare, facendo clic sui controlli, e il sistema sposta automaticamente il punto di vista in 3-D in quella nuova posizione. Un occhio vagante è una buona metafora per questo. Il software ricrea il soggetto fotografato come un luogo da apprezzare da ogni angolazione documentata.

Il sorprendente risultato tecnico di Photosynth è come tirare fuori un coniglio da un cappello: produce un'interfaccia 3D realistica dal mezzo fotografico 2D. Questo è qualcosa dal nulla, dice Alexei A. Efros, un professore di Carnegie Mellon specializzato in visione artificiale. Il segreto, spiega Efros, è la quantità di fotografie. Man mano che ottieni sempre più dati visivi, la quantità diventa qualità, dice. E man mano che ottieni una quantità incredibile di dati, inizia a dirti cose che prima non sapevi. Grazie al riconoscimento dei modelli, all'indicizzazione e ai metadati migliorati, le macchine possono dedurre la tridimensionalità. Prima di quanto ci aspettiamo, afferma Efros, la vista sarà il sensore principale per le macchine, proprio come lo è ora per gli esseri umani.

Microsoft sta dimostrando Photosynth online con raccolte di foto come questa di Piazza San Marco a Venezia. Gli scatti di questa raccolta sono stati realizzati da un singolo fotografo nell'arco di 10 giorni.
Credito: per gentile concessione di Microsoft Live Labs

Cosa potrebbe diventare
Il lavoro di Microsoft su Photosynth esemplifica la strategia dell'azienda per i Live Labs di 100 persone. In parte funziona da puzzola basata sul Web, in parte terreno di reclutamento per i propulsori per i quali la società madre non è adatta, Live Labs mira in parte a sfidare ciò che la gente pensa che sia Microsoft, afferma Gary Flake, un quarantenne tecnico che è fondatore e direttore del laboratorio. Il suo obiettivo più immediato è portare le tecnologie Web sul mercato.

Il discorso di Flake sulla cultura di Live Labs è energico, poiché parla dei suoi sforzi per collegare la scienza della ricerca e l'ingegneria del prodotto. Flake, che ha lavorato per numerose organizzazioni di ricerca, tra cui il NEC Research Institute e Yahoo Research Labs, da lui fondato e anche gestito, descrive questa come una sfida a livello di settore. In Live Labs, abbiamo un portafoglio di copertura deliberato, spiega. Abbiamo un mix molto interessante, che comprende 40 progetti diversi.

Flake non è disposto a discutere molti dei suoi progetti in dettaglio, ma è entusiasta del suo mandato di portare più DNA in termini di talento grezzo. Vogliamo creare e far progredire lo stato dei prodotti e dei servizi Internet, afferma, ma parla anche con passione dei dipendenti di Live Labs come pietre di Rosetta umane che possono fungere da traduttori in un mondo di ricerca e sviluppo in cui ingegneri e scienziati spesso, in effetti, parlano in modo diverso le lingue.

Il progetto Photosynth, afferma Flake, incarna il tipo di successo che vuole difendere attraverso i suoi sforzi per superare il tradizionale divario tra scienza e ingegneria del prodotto. Rappresenta un serio avanzamento dello stato dell'arte.

Attualmente, Photosynth può essere visto solo in una demo online, ma il team di Agüera y Arcas spera di rilasciarlo entro la fine dell'anno. Resta da vedere cosa può effettivamente fare qualcuno che lo acquisisce. Le nuvole di punti possono essere create da un minimo di due o tre immagini, quindi si può immaginare che gli utenti creino sintetizzatori relativamente non sofisticati della propria fotografia, ad esempio di un viaggio di famiglia sul Monte Rushmore. (Naturalmente, le persone che hanno Photosynth potrebbero iniziare a scattare molte più immagini di un determinato luogo, nell'interesse di poter creare un synth ricco in un secondo momento.) Ma potrebbe anche essere che gli utenti attingeranno alle librerie online di foto, che probabilmente dovranno essere scaricati su un computer locale, per creare i propri sintetizzatori di siti altamente fotografati.

Tuttavia, Photosynth è per lo più una promessa con poche prove. Le domande tecniche abbondano su quanto sarà facile da usare e quali saranno, esattamente, le sue capacità. Inoltre, nonostante le origini Linux di Photo Tourism, Photosynth rimarrà Windows solo per il prossimo futuro.

E nonostante l'appeal immediato di Photosynth, anche le sue applicazioni rimangono poco chiare. Il mondo non ha bisogno di un altro browser di immagini, nemmeno rivoluzionario. Sembra ancora più improbabile che gli utenti paghino per Photosynth nella sua forma attuale. Nel frattempo, le fortune di Photosynth dipenderanno dalla possibilità di costruire una vasta comunità di utenti. Avrà nuovi usi per coloro che lo abbracceranno, come ha fatto Google Earth? Ancora più importante, Microsoft rilascerà un prodotto finale sufficientemente aperto da consentire a tale comunità di cercare usi diversi da quelli inizialmente previsti?

Flake riferisce che il team di Photosynth ha evocato dozzine di potenziali usi, due dei quali sembrano particolarmente probabili.

Uno è quello di integrarlo più completamente con Microsoft Virtual Earth, rendendolo quello strumento che porta gli utenti al passo successivo nello zoom profondo. Con Virtual Earth che gestisce la topografia e la fotografia aerea mentre Photosynth coordina una vasta gamma di materiale fotografico terrestre, le due applicazioni potrebbero dare origine a una sorta di metaverso leggero, per usare il termine che Agüera y Arcas ha invocato a TED.

Notando la struttura di Photosynth con edifici e piazze cittadine, Seitz prevede anche un ridimensionamento in grande stile. Ci piacerebbe catturare intere città, dice. Infatti, Agüera y Arcas e Stephen Lawler, direttore generale del progetto Virtual Earth di Microsoft, hanno annunciato nell'agosto 2007 a Las Vegas, alla convention annuale degli hacker Defcon, che stanno pianificando una partnership. Una volta superati alcuni ostacoli tecnici relativamente minori, afferma Seitz, non c'è nulla che ci impedisca di modellare le città.

Poiché le persone creano e archiviano quantità sempre maggiori di media digitali, Photosynth potrebbe persino consentire agli utenti di riprodurre in vita i propri album di foto di famiglia. Immagina di poter guardare i tuoi figli crescere in casa tua, dice Flake, solo dalla tua collezione di foto.

Mentre tali idee percolano, il team di Photosynth non è quasi fermo. La scorsa estate i ricercatori hanno rilasciato una collaborazione demo online con la NASA, e ora stanno lavorando con il Jet Propulsion Lab per sintetizzare una piccola parte della superficie di Marte.

Ci si chiede fino a che punto Microsoft sia disposta a finanziare questo tipo di geek-out. E poi, come chiedono retoricamente Agüera y Arcas e Flake, come si dà valore a questo genere di conquiste tecniche? Perché mentre Photosynth sembra in qualche modo privo di un chiaro percorso verso il mercato, sembra anche del tutto privo di concorrenza.

Jeffrey MacIntyre è un giornalista freelance che scrive ampiamente di cultura, scienza e tecnologia.

nascondere