Introduction aux Big Data

Le Big Data est un ensemble de données extrêmement volumineux composé de données structurées et non structurées. Il s'agit d'un volume, d'une vitesse et d'une variété d'informations qui exigent des formes rentables et innovantes de traitement de l'information afin d'améliorer la compréhension et la prise de décision. De nos jours, la quantité de données a augmenté de façon considérable, ce qui a donné naissance au Big Data.

De nos jours, les données d'une organisation augmentent au-delà des Mo, des To ou des Go. La question est de savoir ce qui se passerait si les données augmentaient plus que ce qui est présent aujourd'hui. À l'avenir, les données pourraient atteindre le pétaoctet (1024 TB), l'exaoctet (1024 PB), le zettaoctet (1024 EB) ou le yottaoctet (1024 ZB). La bourse de New York génère environ 1 téraoctet de données par jour, Facebook héberge environ 10 milliards de photos, ce qui représente environ un pétaoctet de données, et Twitter génère 8 téraoctets de données.

Pour la plupart des gens, le Big Data ne se limite pas à la taille des données, mais aussi à l'importance de l'information qu'elles contiennent. 4V's de données. Si le volume des données est l'un des aspects du Big Data, il comprend également la variété des données et la vitesse à laquelle les données arrivent dans l'organisation, ainsi que la valeur des données pour l'organisation. La valeur est très importante pour toute organisation. C'est pourquoi elle est en fait résumée par les 4 V des données : Volume, vitesse, variété, valeur.

Le traitement de ces Big Data nécessite une plateforme pour organiser les données et les traiter correctement. Hadoop est cette plateforme qui aide à organiser et à traiter les Big Data, dont les origines remontent à Apache Nutch.

À RailsCarma nous avons utilisé avec succès Hadoop pour organiser de grands volumes de données pour nos clients et nous partagerons nos expériences et apprentissages dans nos prochains blogs. Restez donc à l'écoute.

Prenez contact avec nous.

Manasa Heggere

Développeur senior Ruby on Rails