Introducción a los grandes datos

Big Data es un conjunto de datos extremadamente grande que consta de datos estructurados y no estructurados. Tiene activos de información de alto volumen, velocidad y variedad que exigen formas innovadoras y rentables de procesamiento de información para mejorar el conocimiento y la toma de decisiones. Hoy en día la cantidad de datos ha aumentado enormemente, lo que ha formado este Big Data.

Los datos en una organización hoy en día están creciendo más allá de MB, TB o GB. La cuestión es qué pasaría si los datos crecieran más de lo que están presentes hoy. En el futuro, es posible que los datos crezcan hasta aproximadamente Petabyte (1024 TB) o Exabyte (1024 PB) o Zettabyte (1024 EB) o Yottabyte (1024 ZB). Algunos de los datos son que la bolsa de valores de Nueva York genera aproximadamente 1 Terabyte de datos por día, Facebook aloja aproximadamente 10 mil millones de fotos, lo que representa aproximadamente un Petabyte de datos, y Twitter genera 8 TB de datos.

Para la mayoría, Big Data no se trata sólo del tamaño de los datos, sino también de la 4V de datos. Si bien el volumen de datos es uno de los aspectos de Big Data, también incluye la variedad de datos y la velocidad a la que ingresan a la organización y también el valor de los datos para la organización. El valor es muy importante para cualquier organización. Por lo tanto, en realidad se resume como 4V de datos: Volumen, Velocidad, Variedad, Valor.

El procesamiento de este Big Data necesita una plataforma que organice los datos y los procese adecuadamente. Hadoop es aquella plataforma que ayuda a organizar y procesar el Big Data, que tiene su origen en apache nuez.

En RielesCarma Hemos estado utilizando Hadoop con éxito para organizar grandes volúmenes de datos para nuestros clientes y compartiremos nuestras experiencias y aprendizajes en nuestros próximos blogs. Así que estad atentos.

Póngase en contacto con nosotros.

Manasa Heggere

Desarrollador senior Ruby on Rails