10 000 000 000 de fichiers lus en 43 minutes : IBM divise son précédent record par 37 !

Sur une machine en grappe composée de 10 serveurs dotés chacun de 8 cœurs, IBM a pulvérisé son propre record de manipulation de fichiers. Le record précédent avait été établi en 2007 et avait permis de lire 1 milliard de fichiers en trois heures. Ce sont maintenant 10 milliards de fichiers qui ont été lus en 43 minutes, soit une réduction d’un facteur 37. IBM continue de faire progresser son algorithme de gestion de fichiers (General Parallel File System – GPFS) inventé en 1998. Pas d’impact concret sur nos systèmes décisionnels aujourd’hui bien sur, mais par ces recherches, IBM donne de nouvelles perspectives à la croissance exponentielle des volumes de données à analyser. Les données décisionnelles de demain ne seront plus forcément centralisées dans une base de données unique, mais éparpillées dans une multitude de fichiers qu’il faudra trouver, trier et lire le plus rapidement possible.

Pour en savoir plus sur l’organisation de ce nouveau record, le détail du test et de ses conditions est disponible dans le document en pièce jointe publié par IBM et les quatre chercheurs à l’origine de ce record.

Pour en savoir plus sur la division recherche en charge du stockage chez IBM, consultez : http://www.almaden.ibm.com/storagesystems/