211service.com
Anche tu puoi essere il prossimo Google
Sono stato in Google per quattro anni e Google ha ovviamente qualche computer in più rispetto a noi, dice Tom Annau, vicepresidente tecnico di Blekko, il motore di ricerca che sostiene di essere in tutto e per tutto uguale ai giganti della ricerca esistenti Bing e Google, meno il spam.
Utilizzando nuovi siti web come proxy, la crescita della conoscenza umana è rallentata...
Ma la quantità di informazioni effettive, utili e interessanti su Internet non sta aumentando così velocemente come la legge di Moore, aggiunge.
La legge di Moore non è tanto una legge quanto una tendenza generale nell'industria dei microprocessori, quanto il prodotto di uno sforzo di ricerca e sviluppo decennale da parte di aziende come Intel, quanto il risultato di principi fisici sottostanti. Dichiara che il numero di microprocessori che puoi ottenere per un dollaro raddoppia circa ogni 18 mesi. Ciò significa chip più piccoli e più veloci i cui poteri sono cresciuti in modo esponenziale almeno dagli anni '60.
Al contrario, la crescita del Web potrebbe essersi stabilizzato . Anche così, come potrebbe un'azienda, tanto meno una startup, sperare di competere con i server e l'infrastruttura di rete davvero giganteschi di aziende come Google e Microsoft?
La ricerca sul Web è ancora un'applicazione che spinge i confini degli attuali dispositivi di elaborazione piuttosto difficile, afferma Annau. Ma Blekko realizza un indice completo e aggiornato del Web con meno di 1000 server, probabilmente meno di quelli che si troverebbero in uno qualsiasi dei principali data center di Google, sfruttando la riduzione del problema a dimensioni gestibili in modi in cui i giganti della ricerca non possono o non vogliono.
Cerchiamo di evitare la scansione di spam e altri contenuti dannosi, afferma Annau. Penso che altri motori abbiano una scansione prima di fare domande dopo la politica. Un'efficienza che otteniamo è semplicemente quella di non eseguire la scansione di splog [blog di spam] e altri incomprensibili generati dalla macchina.
Quasi tutto il contenuto generato dalla macchina sul Web viene prodotto proprio per intrappolare gli spider dei motori di ricerca che lo scansionano e per riempire i loro indici di pagine cariche di pubblicità. Evitare questi siti tutti insieme, utilizzando algoritmi di rilevamento dello spam e cura umana, consente a Blekko di risparmiare enormi quantità di risorse.
C'è una certa misura oltre la quale, se continui a eseguire la scansione, non eseguirai più la scansione di cose più interessanti, utili o buone: ci sono molti ritorni decrescenti su una grande scansione del Web, afferma Annau.
Blekko utilizza anche una tattica utilizzata da altri motori di ricerca: una scansione divisa che indicizza accuratamente l'intero Web, incluso gran parte del suo contenuto statico, meno frequentemente di una scansione veloce che reindicizza costantemente i siti che cambiano frequentemente, come notizie e blog.
Eseguiamo la scansione aggressiva di molte fonti di alta qualità e in rapida evoluzione, afferma Annau. Puoi vederlo quando fai una ricerca con la data barrata: puoi vedere cose che sono arrivate solo un minuto fa.
La legge di Moore va avanti.
(CC)Wgsimon
La lunga visione di Annau sulla ricerca è che indicizzare l'intero Web, o almeno le parti utili, sta diventando più gestibile, non meno. In questo calcolo, Microsoft, Google e altri grandi motori di ricerca pubblicizzano le dimensioni dei loro data center in parte per intimidire i potenziali rivali; per far sembrare le barriere all'ingresso nel business della ricerca più alte di quanto non siano in realtà.
Che si riesca o si fallisca come startup, sarà vero che ogni anno che passa i singoli server diventeranno sempre più potenti e la capacità di eseguire la scansione e indicizzare le informazioni utili sul Web diventerà effettivamente sempre più conveniente, afferma Anna.
Ogni startup è un'ipotesi su una certa efficienza nel mercato che percepisce, aggiunge. Per Blekko e altre startup di motori di ricerca, come l'operazione individuale Duck Duck Go di Gabriel Weinberg, l'efficienza è che la somma della conoscenza umana sarà facilmente superata dal tasso di aumento della potenza di calcolo.
Come ama sottolineare Rich Skrenta, CEO di Blekko, la crescita di Wikipedia si sta stabilizzando. Non ci sono molti argomenti al mondo: le persone possono aggiungere e modificare pagine, ma non vedrai continuamente un raddoppio delle sue dimensioni, afferma Annau.
