¿Por qué el disco que tienes en tu casa no vale para Big Data?

Después de todo, pongamos, 100 millones de registros pueden ser unos 100 GB y caber perfectamente en cualquier disco duro externo. Si, el pequeño que enganchas a tu portátil por USB.

La información que guarda Google de sus usuarios para algunas de sus aplicaciones es del orden de terabytes, pero vamos, eso cabe en la palma de tu mano hoy en día.

El problema es que tienes los datos, pero no puedes explotarlos debidamente. Acceder a esos datos supone un gran coste a poco que quieras consultar libremente. La respuesta es lenta, más lenta a medida que aumentan los usuarios. Tienes muchos datos, pero no Big Data.

¿A que equivalen los 100GB del disco de tu casa cuando quieres una respuesta rápida para muchos usuarios? Pues se convertirán quizá en un array de 7 discos de 100GB.

Necesitas poder realizar muchas consultas a la vez, y para ello los datos deben estar replicados. Para recuperarte de fallos en los discos (porque esto está funcionando siempre) deberás guardar datos redundantes (paridad), y así suma y sigue.

big-data-raid

Así que la próxima vez que oigas a alguien decir que “si es necesario me traigo el disco de casa para poner la memoria que necesitamos”, ya sea para Big Data o para otras aplicaciones, ya sabes por qué no es tan fácil.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *