Big Data, Science des données, aide à la décision en entreprise, business intelligence, data warehouse, reporting, OLAP, web analytics, data visualization, data mining, internet des objets, informatique cognitive, intelligence artificielle...

Abonnez-vous gratuitement à Decideo !


Decideo

 


Les réseaux SDN transforment le Big Data en capital informationnel


Rédigé par Bithika Khargharia, Extreme Networks le 21 Janvier 2014

Depuis quelques années, les entreprises prennent conscience de l'extraordinaire vivier de connaissances que constitue le Big Data, et les éditeurs s'emploient ardemment à développer de nouvelles technologies telles que Hadoop MapReduce, Dryad, Spark et HBase afin de transformer ces données en capital informationnel le plus efficacement possible. Ce phénomène va également profiter de l'émergence d'une autre technologie : le Software Defined Networking (SDN).



Bithika Khargharia, Senior Engineer, Vertical Solutions and Architecture chez Extreme Networks
Bithika Khargharia, Senior Engineer, Vertical Solutions and Architecture chez Extreme Networks
La majorité des données constitutives du Big Data sont en réalité des données non structurées qui, contrairement aux données structurées qui sont parfaitement adaptées aux schémas de base de données classiques, sont beaucoup plus difficiles à gérer. Prenons l'exemple du stockage vidéo. Le type de fichier vidéo, la taille de fichier et l'adresse IP source sont tous des données structurées, alors que le contenu vidéo proprement dit, qui ne tient pas dans des champs de longueur fixe, est entièrement constitué de données non structurées. Aujourd'hui, une grande partie de la valeur produite par l'analyse du Big Data vient de la capacité à rechercher et demander des données non structurées - par exemple, la capacité à identifier un individu dans un clip vidéo parmi des milliers de visages grâce à des algorithmes de reconnaissance faciale.

Les technologies traitant de cette question atteignent la rapidité et l'efficacité requises en appliquant les calculs analytiques effectués sur le Big Data en parallèle sur des clusters de plusieurs centaines de milliers de serveurs connectés via des réseaux Ethernet haut débit. Ainsi, le processus d'exploration de l'information issue du Big Data comporte essentiellement trois étapes : 1) Fractionnement des données en plusieurs nœuds de serveur ; 2) Analyse de chaque bloc de données en parallèle ; 3) Fusion des résultats.

Ces opérations sont répétées au cours de plusieurs phases successives jusqu'à ce que le jeu de données ait été entièrement analysé.

Compte tenu des opérations de fractionnement-fusion liées à ces calculs parallèles, l'analyse du Big Data peut peser lourd sur le réseau sous-jacent. Même avec les serveurs les plus rapides du monde, les vitesses de traitement de l'information – principal point bloquant pour le Big Data – ne peuvent pas dépasser la capacité du réseau à transférer les données d'un serveur à l'autre lors des phases de fractionnement et de fusion. Ainsi, une étude sur les traces Facebook a montré que ce transfert de données entre plusieurs phases successives représentait 33 % du temps d'exécution total et que pour de nombreuses tâches, la phase de communication monopolisait plus de 50 % du temps d'exécution.

En s'attaquant à ce point bloquant pour le réseau, nous pouvons accélérer l'analyse du Big Data de manière considérable, ce qui peut avoir deux effets : 1) optimiser l'utilisation des clusters et ainsi réduire le coût total de possession pour le fournisseur de solutions cloud en charge de la gestion de l'infrastructure, et 2) exécuter les tâches plus rapidement et permettre ainsi au client locataire de l'infrastructure d'obtenir des analyses en temps réel.

Ce dont nous avons besoin, c'est d'un réseau intelligent qui évolue de manière adéquate à chaque phase du calcul pour répondre aux exigences de bande passante du transfert de données lors des phases de fractionnement et de fusion, et améliore ainsi non seulement la vitesse de traitement, mais aussi l'utilisation.

Le rôle du SDN

Le SDN offre d'énormes possibilités pour construire le réseau adaptatif intelligent requis pour l'analyse du Big Data. En raison du découplage du plan de contrôle et du plan de données, le SDN propose une interface programmatique bien définie qui permet à l'intelligence logicielle de programmer des réseaux hautement personnalisables, extensibles et agiles, afin de répondre aux exigences du Big Data à la demande.

Le SDN permet de dimensionner le réseau à la demande de manière à ce que les machines virtuelles de calcul communiquent entre elles de façon optimale. Le principal obstacle auquel se heurte le Big Data, application massivement parallèle - à savoir des temps de traitement trop longs - est ainsi directement pris en compte. Les vitesses de traitement sont lentes parce que la plupart des machines virtuelles de calcul dans une application Big Data passent énormément de temps à attendre l'arrivée de volumes massifs de données lors des opérations de fragmentation-regroupement avant de pouvoir commencer le traitement. Grâce au SDN, le réseau peut créer des voies de communication sécurisées à la demande et réaliser une extension de capacité lors des opérations de fragmentation-regroupement, réduisant ainsi de façon significative le temps d'attente et par conséquent le temps de traitement.

Cette intelligence logicielle, qui consiste ni plus ni moins en la compréhension de ce que le réseau peut apporter à l'application, peut être mise à profit de manière très précise et efficace pour les applications de Big Data. Cela s'explique de deux façons : 1) l'existence de modèles de calcul et de communication bien définis, tels que le modèle SplitMerge ou MapReduce de Hadoop ; et 2) l'existence d'une structure de gestion centralisée qui permet d'exploiter l'information au niveau application, comme Hadoop Scheduler ou HBase Master.

Avec l'aide du contrôleur SDN, qui a une vue globale du réseau sous-jacent (état, utilisation, etc.), l'intelligence logicielle peut traduire les besoins de l'application de façon précise en programmant le réseau à la demande.

Le SDN propose également d'autres fonctions qui facilitent la gestion, l'intégration et l'analyse du Big Data. Les nouveaux protocoles réseau orientés SDN, dont OpenFlow et OpenStack, promettent de simplifier la gestion du réseau et de la rendre plus intelligente et largement automatisée. OpenStack permet d'effectuer le paramétrage et la configuration des éléments du réseau en mobilisant nettement moins de ressources, tandis qu'OpenFlow contribue à l'automatisation du réseau et aide à faire face aux nouvelles pressions - automatisation du data center, BYOD, sécurité et accélération des applications - avec plus de souplesse.

Du point de vue de la taille, le SDN joue aussi un rôle primordial dans le développement de l'infrastructure réseau pour le Big Data. En effet, il facilite la gestion rationalisée de milliers de commutateurs ainsi que l'interopérabilité entre les éditeurs, qui jette les bases de la construction accélérée du réseau et du développement des applications. OpenFlow, un protocole qui fonctionne avec tous les périphériques compatibles, quel que soit le fournisseur, permet cette interopérabilité, et libère les entreprises des solutions propriétaires qui pouvaient être contraignantes dans le cadre de leur démarche de transformation du Big Data en capital informationnel.

Les implications et le potentiel considérables du Big Data étant de plus en plus visibles, il sera crucial de veiller à ce que le réseau soit prêt à s'adapter à ces nouvelles exigences si l'on veut en garantir le succès à long terme. Il est clair qu'une solution efficace tirera profit de deux aspects essentiels : l'existence de modèles dans les applications de Big Data et la programmabilité du réseau garantie par le SDN. De ce point de vue, le SDN est d'ailleurs sur le point de jouer un rôle majeur dans l'adaptation continue et accélérée du réseau, et devrait contribuer à ouvrir la voie du savoir et de l'innovation.

A propos de l'auteur : Bithika Khargharia est ingénieur senior, spécialiste des solutions et de l'architecture verticales chez Extreme Networks. Après plus de dix ans d'expérience dans la recherche et le développement technologiques au sein de grandes entreprises comme Cisco, Bithika a acquis une expertise de l'ingénierie systèmes dans différents domaines, dont la technologie, la gérabilité et la performance écologiques ; les architectures serveur, réseau et data center à grande échelle ; l'informatique distribuée (grid computing) ; l'informatique autonome et le SDN (Software Defined Networking).




Commentaires

1.Posté par Loic Bertin le 21/01/2014 18:10
Pour info, voici le lien vers Virtela :
http://www.virtela.net/ntt-com-agrees-wholly-acquire-virtela-leading-cloud-networking-provider/

2.Posté par Loic Bertin le 23/01/2014 09:22
Voici un article qu iillustre très bien les avantages du SDN. J'ajouterai que le panorama de la virtualisation des réseaux serait complet en éclairant ce qu'apporte le protocoel NFV - au-dessus de SDN - pour rendre les réseaux encore plus sensibles à la nature des données qui transitent.

Nouveau commentaire :
Facebook Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.