211service.com
Come digitalizzare un milione di libri
Quindici mesi dopo che Google ha annunciato un progetto di scansione di libri di proporzioni bibliche - uno sforzo per digitalizzare l'intera collezione di libri della Biblioteca pubblica di New York e delle biblioteche dell'Università di Harvard, tra gli altri - la società è ancora riservata su come stanno risolvendo i problemi tecnici chiave e non diranno quanto hanno realizzato finora.
Tuttavia, un progetto simile, anche se più piccolo, il Progetto Million Book alla Carnegie Mellon University di Pittsburgh – è in corso da circa sette anni. Potrebbe fornire alcuni indizi. Il direttore del progetto, l'informatico Raj Reddy, afferma che lui e i suoi colleghi non conoscono i metodi o i progressi di Google più di chiunque altro, ma stanno affrontando molte delle stesse sfide.
L'obiettivo di Google Ricerca Libri è rendere ricercabili tutti i libri offline, attualmente invisibili agli occhi di Google. Ciò significa scansionare fisicamente centinaia di milioni di pagine legate tra le copertine di circa 18 milioni di libri, riconoscere circa 430 lingue e tutti i tipi di caratteri, rendere disponibili i risultati per le ricerche di testo e replicare la tradizionale esperienza di navigazione in biblioteca quando tutto è finito. Daniel Clancy, direttore tecnico di Google Ricerca Libri, afferma di non poter commentare ciò che l'azienda ha realizzato finora.
Nel progetto CMU, tuttavia, la tecnologia di scansione è fuori uso. Stanno usando prontamente disponibili Minolta PS 7000 scanner per libri installati in 40 stazioni di scansione in India e Cina, dove i governi locali stanno aiutando a mantenere bassi i costi per il progetto senza scopo di lucro. In questa configurazione, i lavoratori girano manualmente ogni pagina. A sette anni dall'inizio del progetto, sono stati scansionati circa 600.000 libri (per lo più opere di pubblico dominio spedite da tutto il mondo) e ogni giorno altre 100.000 pagine si aggiungono al corpus digitale. A questo ritmo, potrebbero volerci poco meno di cinque anni per completare il progetto CMS.
Al contrario, Clancy afferma che Google ha sviluppato una propria tecnologia di scansione. Ma la società non conosce i dettagli tecnici dell'hardware, il software di riconoscimento ottico dei caratteri (OCR) e la velocità di scansione nei suoi cinque centri di scansione vicino ai partner delle biblioteche che collaborano ad Harvard, Stanford, Università del Michigan, Università di Oxford e New York Biblioteca pubblica.
Reddy dice disponibile in commercio Software per riconoscere l'inglese funziona bene per il Million Book Project. Le sfide che devono affrontare con l'OCR vengono affrontate dai loro partner cinesi, che stanno sviluppando software specifici per riconoscere meglio i caratteri non convenzionali e gli script calligrafici spesso presenti nei libri più vecchi. Inoltre, i loro partner in Egitto stanno sviluppando l'OCR per l'arabo. In questo momento, afferma Reddy, l'OCR è un'area di ricerca attiva in cui molti paesi stanno contribuendo con le proprie competenze.
Una volta che i libri sono stati scansionati e i loro testi sono accessibili, la sfida principale è rendere il testo utile per la ricerca. L'incoerenza nella qualità fisica dei libri può causare problemi, dice Clancy, in particolare, con la numerazione delle pagine. Ad esempio, le pagine intere possono mancare o gli angoli con le orecchie possono rivelare un numero di pagina errato. E se l'impaginazione è sbagliata in una parte del libro, l'errore si propaga per tutta l'opera.
Questo problema viene superato, afferma Reddy di CMU, progettando software che non si basa sui numeri di pagina. Invece, crea metadati strutturali, che sono fondamentalmente tag che riassumono il significato delle informazioni all'interno di un libro, in modo che i ricercatori possano collegare le parole nel sommario con i capitoli corrispondenti. Inoltre, i termini indicizzati possono essere collegati ai passaggi corretti. Sfortunatamente, afferma Reddy, stabilire i collegamenti è ancora un processo manuale; nessuno ha sviluppato un software in grado di stabilire questi collegamenti ipertestuali con una precisione superiore al 90% circa. Se la tecnica può essere affinata, tuttavia, potrebbe rendere le ricerche di testo più significative.
In definitiva, dice Clancy, Google vorrebbe che Ricerca Libri dia lo stesso risultato di chi va in biblioteca, guarda nelle sue pile e trova casualmente un libro che è interessante o utile. Un modo per farlo sarebbe collegare i libri tra loro per categorie e temi, suggerisce. Il compito si complica, però, quando si collegano opere di Virginia Woolf, ad esempio, a critiche sul suo lavoro, opere che l'hanno ispirata o autori che hanno scritto nella stessa epoca. Progettare algoritmi in grado di organizzare efficacemente tutte queste nuove informazioni, afferma Clancy, è una delle grandi sfide e richiederà molti anni.
Reddy afferma che i ricercatori della CMU stanno cercando di affrontare questa sfida utilizzando un approccio statistico per organizzare le informazioni. In questo approccio, le frasi del flusso di coscienza di Virginia Woolf, ad esempio, verrebbero analizzate da un algoritmo che troverebbe modelli basati sulla lunghezza, sulla struttura e sulla punteggiatura della frase. Questa tecnica potrebbe trovare un'opera di James Joyce, una delle influenze di Woolf - o quella di un autore oscuro i cui scritti altrimenti non sarebbero mai stati trovati.
Nel frattempo, i ricercatori stanno cercando scorciatoie per la ricerca tra autori, libri e generi, afferma Reddy. In modo simile al modo in cui il filtro collaborativo su Amazon utilizza gli acquisti passati delle persone per aiutare gli altri a trovare potenziali acquisti, gli utenti di Ricerca Libri potrebbero aiutarsi a vicenda. L'approccio basato sulla comunità è un'idea che Google non ha annunciato, afferma Clancy, ma potrebbe aggiungere un altro livello alla ricerca tra i libri e creare entusiasmo dal basso per il progetto.
Certo, tenere le carte in tavola non è una novità per Google. Sono riservati su quasi tutto ciò che fanno... questo è molto comune con le aziende della Silicon Valley, afferma Reddy alla CMU. Nel caso di Ricerca Libri, dice, Google vuole avere una soluzione vincolata per tutte le biblioteche. Anche così, però, Reddy è entusiasta del progetto di Google e crede che alla fine andrà a completare la sua ricerca. Sono sicuro che prima o poi avranno un indizio sui nostri libri, dice.
Nel frattempo, Google deve fare i conti con la questione non tecnica dei detentori del copyright scontenti che li trascinano in tribunale. La Gilda degli autori e un certo numero di editori li hanno citati in giudizio, sostenendo che il progetto di Google viola la legge sul copyright. (Il professore di Stanford Lawrence Lessig ha realizzato un'intervista di 30 minuti video sulla controversia legale.)
Ma se le sfide legali e tecniche possono essere superate, i libri fisici digitalizzati potrebbero superare di gran lunga i miliardi di pagine Web esistenti in ampiezza e profondità di informazioni. In effetti, un unico catalogo completo di schede online per milioni di libri in tutto il mondo ha il potenziale per creare un capitolo completamente nuovo nell'era dell'informazione.