L'outil de traitement des données volumineuses - Hadoop

Dans notre blog précédent nous avons appris que la plateforme qui traite et organise les Big Data est  Hadoop. Nous allons ici en apprendre davantage sur Hadoop, qui est une plateforme centrale permettant de structurer les données volumineuses et de résoudre les problèmes liés à leur utilisation à des fins d'analyse. Il s'agit d'un cadre logiciel Open Source pour le stockage et le traitement distribués de Big Data sur des grappes de matériel de base.

Principales caractéristiques de Hadoop :

• Hautement évolutive (mise à l'échelle)
• Matériel de base
• Source ouverte, faibles coûts d'acquisition et de stockage

Hadoop est essentiellement divisé en deux parties, à savoir : HDFS et Mapreduce cadre. Un cluster Hadoop est spécialement conçu pour stocker et analyser d'énormes quantités de données non structurées. La charge de travail est répartie entre plusieurs nœuds de cluster qui traitent les données en parallèle.

Histoire de Hadoop

Doug Cutting est le cerveau de Hadoop, qui trouve son origine dans l'industrie des télécommunications. Apache et Nutch. Nutch a été lancé en 2002 et est lui-même un moteur de recherche web Open Source. Google a publié l'article qui a introduit Mapreduce dans le monde. Début 2005, les développeurs de Nutch ont mis en œuvre Mapreduce dans Nutch. En février 2006, Hadoop a été créé en tant que projet indépendant par Nutch. En janvier 2008, Hadoop est devenu son propre projet de haut niveau au sein d'Apache et, à cette époque, de grandes entreprises comme Yahoo et Facebook ont commencé à utiliser Hadoop.

HDFS est le premier aspect et Mapreduce est l'aspect secondaire de Hadoop. HDFS a une architecture qui l'aide à traiter les données et à les organiser. Pour entrer dans les détails de HDFS, de son architecture, de son fonctionnement et de plusieurs autres concepts, gardez un œil sur les blogs qui seront publiés dans les jours à venir.

 Prenez contact avec nous.

Manasa Heggere

Développeur senior Ruby on Rails