Big Data, Science des données, aide à la décision en entreprise, business intelligence, data warehouse, reporting, OLAP, web analytics, data visualization, data mining, internet des objets, informatique cognitive, intelligence artificielle...

Abonnez-vous gratuitement à Decideo !


Decideo

 


Deux milliards de lignes en mémoire avec Microsoft PowerPivot


Rédigé par par Philippe NIEUWBOURG le 11 Juin 2010

A l’occasion de la conférence Microsoft sur la Business Intelligence qui se tenait cette semaine à la Nouvelle Orléans, Amir Netz, un ingénieur en charge du développement chez l’éditeur a réalisé une démonstration qu’il a lui-même qualifiée de « diabolique ».



Amir Netz et Ted Kummert
Amir Netz et Ted Kummert
Sur un serveur largement gonflé en mémoire vive, il a montré comment Microsoft PowerPivot pouvait interroger une base de 2 milliards d’enregistrements.
« Nous avons dix appliquettes à l’écran, six tableaux et quatre graphiques. Et chacun d’entre eux envoie deux requêtes à la base de données source. Nous avons donc vingt requêtes, qui chacune doit balayer la base de deux milliards d’enregistrements. Donc lorsque je lance la démo, nous balayons au total quarante milliards de lignes, et cela ne prends que deux secondes et demi. Donc, si vous faites le calcul rapidement, cela représente une vitesse de lecture d’un millier de milliards par minute ! », explique Amir Netz.
Il a également profité de son intervention en session plénière pour démontrer de nouveaux outils de visualisation graphique de donnés. Très visuelle, la navigation dans un rapport au travers des photos des personnes concernées (voir illustration ci-dessous) marie l’informatique décisionnelle et le réseau social interne de l’entreprise. Prenons par exemple votre rapport d’analyse des ventes. Au lieu d’indiquer une colonne avec le nom des commerciaux, vous rattachez à chaque commercial sa photo. Lorsque vous réalisez un graphique qui présente les résultats de chacun suivant qu’il a ou non atteint ses objectifs, le logiciel créé une mosaïque de photos, dans laquelle vous pouvez naviguer et qui se recompose en temps réel en fonction de vos requêtes... bluffant ! Cette nouvelle forme de visualisation et de navigation a été annoncée comme disponible d’ici un mois.
Vous pouvez retrouver l’intégralité de la session plénière en vidéo sur http://www.msteched.com/2010/NorthAmerica/Keynote02





Commentaires

1.Posté par Patrick le 17/06/2010 10:50
Deux milliards de lignes en mémoire ? Qu'est-ce que cela veut vraiment dire ? Cela ne ressemble-t-il pas aux petits garçons de l'école primaire qui mesurent leur zigounette ? Parce que je ne crois pas qu'il soit réaliste ni professionnel d'imaginer de déployer une telle fonction en entreprise, avec les contraintes induites sur la config des postes clients, des réseaux et des systèmes d'E/S des data warehouses sources. Comment elles sont arrivées là, dans PowerPivot, leurs 2 milliards de lignes ? Par magie ? Ah oui, c'est vrai,j'oubliais : Krossoft parle de "conte de fée". Sourire. Le IN MEMORY est une fonction intéressante lorsqu'on la mesure à l'aune des limitations des bases de données MOLAP, beaucoup moins lorsqu'elle est présentée comme une solution universelle.

2.Posté par Meledo le 17/06/2010 21:12
La "Data visualization" bientôt présente dans PowerPivot n'est autre que GetPivot.com
Cet accès à l'information visuelle repose sur le vieux principe du mur de photos (photomosaic, mazaika, wosaic... comme l'ont fait il y a des années, les sites web de Wikipedia, du restaurant HardRock http://memorabilia.hardrock.com/ ou le peintre pointilliste Georges Seurat).

Concrètement GetPivot est un composant silverlight (WPF en fait) permettant de ranger les objets photographiques par leurs tags dans des dimensions (hiérarchies simples sous forme de bâtons... mais sans pondération en aire tel que le permet le "tree map").

Plus de détails ici :
http://www.ted.com/talks/gary_flake_is_pivot_a_turning_point_for_web_exploration.html
(il est possible d'y demander les sous-titres en Français)

Nouveau commentaire :
Facebook Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.