Big Data, Science des données, aide à la décision en entreprise, business intelligence, data warehouse, reporting, OLAP, web analytics, data visualization, data mining, internet des objets, informatique cognitive, intelligence artificielle...

Abonnez-vous gratuitement à Decideo !


Decideo

 


10 000 000 000 de fichiers lus en 43 minutes : IBM divise son précédent record par 37 !


Rédigé par le 25 Juillet 2011



Sur une machine en grappe composée de 10 serveurs dotés chacun de 8 cœurs, IBM a pulvérisé son propre record de manipulation de fichiers. Le record précédent avait été établi en 2007 et avait permis de lire 1 milliard de fichiers en trois heures. Ce sont maintenant 10 milliards de fichiers qui ont été lus en 43 minutes, soit une réduction d’un facteur 37. IBM continue de faire progresser son algorithme de gestion de fichiers (General Parallel File System – GPFS) inventé en 1998. Pas d’impact concret sur nos systèmes décisionnels aujourd’hui bien sur, mais par ces recherches, IBM donne de nouvelles perspectives à la croissance exponentielle des volumes de données à analyser. Les données décisionnelles de demain ne seront plus forcément centralisées dans une base de données unique, mais éparpillées dans une multitude de fichiers qu’il faudra trouver, trier et lire le plus rapidement possible.

Pour en savoir plus sur l’organisation de ce nouveau record, le détail du test et de ses conditions est disponible dans le document en pièce jointe publié par IBM et les quatre chercheurs à l’origine de ce record.

Pour en savoir plus sur la division recherche en charge du stockage chez IBM, consultez : http://www.almaden.ibm.com/storagesystems/

gpfs_violin_white_paper.pdf GPFS-Violin-white-paper.pdf  (794.2 Ko)





Nouveau commentaire :
Facebook Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.