¿Que harías si tuvieras 1000 veces más datos?

En la visión del increible Christophe Bisciglia, podríamos aprender y soñar a gran escala. Google funciona gracias a una red (se estima) de 1 millón de computadoras de bajo costo, sin mucho más poder que cualquier PC de escritorio, que almacenan varias copias de la web, entre otra información. Esta “nube de computación” responde nuestras consultas de búsqueda instantáneamente, recorriendo montañas de datos más rápido que cualquier otra máquina en la tierra. La mayoría de este hardware no se encuentra en el campus de Google, sino que está por ahí, en algún lugar, en grandes y fresquitos centros de datos. “Entonces un día, alguien va a sugerir un trabajo loco, que requiera algunos miles de computadoras, y vas a poder decir: hey, las puede conseguir”, reflexiona Christophe.

El surgimiento de una idea y la filosofía de trabajo 80/20

Ya había estado leyendo sobre esto, que los empleados en Google tienen 20% del tiempo de trabajo disponible para dedicar a sus propios proyectos. Me gustó mucho la idea y ahora la veo funcionar en la historia de Christophe y su proyecto. El utilizó ese 20% para organizar un curso e introducir a estudiantes de la Universidad de Washington para programar a escala de “la nube”.

Lo llamó Google 101. Durante los meses siguientes, el proyecto de Christophe evolucionó y creció hasta llegar a una ambiciosa alianza con IBM anunciada en Octubre, para comunicar diferentes universidades a través de la tecnología de nubes de Google. Pero todo comenzó con un pequeño “cluster” de 40 computadoras y un curso basado en Hadoop, la implementación de código abierto de MapReduce, el software que divide el procesamiento de datos en pequeñas tareas repartidas a través de “la nube”. Finalmente, como cuenta Christophe Bisciglia, ese 20%, terminó convirtiéndose en el 100% de su tiempo.

Se viene bien

A medida que el concepto se difunde, promete expandir la marca de Google dentro de la industria más allá de la busqueda, medios y publicidad, llevando al gigante hacia la investigación científica y quizás nuevos negocios. En el proceso, “la nube” de Google se convertirá, eventualmente, en La Computadora mundial. Como dice Daniel Frye, vice-presidente de desarrollo de sistemas abiertos en IBM, “Google está haciendo lo que 10 años atrás se hacía en un laboratorio nacional“.

Hasta se hacen comparaciones con la electricidad, cuando en un pasado se apagaron los generadores que la gente usaba en sus casas, para conectarse a la red pública. Para pequeñas compañías y empresarios, la nube promete oportunidades, poniendo a su disposición grandes masas de información y un poder practicamente ilimitado de procesamiento y almacenamiento de datos. Mientras tanto, otras compañías como el pionero Amazon, Yahoo! y últimamente Microsoft ya elaboran sus propias “nubecitas”.

“Comparado a esto, la web es diminuta. Vamos a estar riéndonos de lo pequeña que es.” Son palabras de Mark Dean, de IBM, quién piensa que la mezcla de negocios y ciencia van a liderar en un futuro cercano. Desde Microsoft, Tony Hey, dice que fucionarán como enormes laboratios virtuales donde “quizás puedas ganar el premio Nobel analizando datos ensamblados por alguien más”.

Más info, fuentes, ideas…
Hace poco estuve probando Google App Engine, que nos permite construir software y hacerlo correr en servidores Google, procesando y almacenando datos de forma distribuida.

Deje su comentario en el blog de proyecto 83 ,de Emilio Mariscal.

Google and the Wisdom of Clouds (BussinessWeek)

Future of Mobile Search (petitinvention)