Talend, leader reconnu des solutions d’intégration de données open source, annonce aujourd’hui la disponibilité de Talend Integration Suite MPX, nouvelle plate-forme d’intégration de données d’entreprise, conçue spécifiquement pour aider les entreprises à bénéficier des plus hauts niveaux de performances et à dépasser les limites généralement associées aux processus traditionnels d’intégration de données.



Reposant sur la plate-forme d’intégration de données d’entreprise Talend Integration Suite, la nouvelle solution tire parti de la technologie FileScale de Talend. Celle-ci permet aux entreprises de réaliser des traitements massivement parallèles : FileScale les aide à traiter plus rapidement d’importants volumes de données, tout en dépassant les limites associées aux architectures d’intégration de données traditionnelles.



« Même à mesure que s’accroissent exponentiellement les volumes de données et que se restreignent les fenêtres de traitement, les entreprises doivent traiter et charger les données encore plus rapidement pour supporter des applications métiers pilotées par les données, telles que la Business Intelligence, la gestion des performances, la gestion des stocks en mode JIT (Just in Time), le marketing one-to-one, etc. » déclare Philip Russom, Directeur de recherche chez TDWI (The Data Warehousing Institute). « Traiter de très importants volumes de données en peu de temps implique l’exploitation d’une infrastructure d’intégration de données capable de traiter des données en parallèle à chaque étape du projet. »



Entièrement compatible avec les projets développés à l’aide de Talend Integration Suite, MPX tire parti de deux principales gammes de fonctionnalités pour offrir d’importants niveaux d’évolutivité :



P FileScale – cette technologie développée par Talend repose sur l’architecture MapReduce conçue au départ par Google pour assurer des traitements hautement distribués de données en mode ensembliste. Les composants FileScale de Talend Integration Suite MPX permettent, dans le cadre des processus d’intégration, de classer, filtrer et fusionner des données, d’exécuter des agrégations et des fonctions arithmétiques, de transformer les données, et de vérifier leur conformité. Les composants FileScale ont été optimisés pour chaque plate-forme supportée, afin de garantir les plus hauts niveaux de performances.



P Parallèlisation Massive – Talend Integration Suite MPX est également massivement parallèle et permet l’exécution simultanée de sous-processus séparés, la décomposition de jeux de données en plusieurs flux parallèles et l’utilisation des loaders parallèles des SGBD.



Grâce à Talend Integration Suite MPX, les départements informatiques sont en mesure de traiter très rapidement d’importants volumes de données, afin de fournir les informations les plus actualisées sur les activités de l’entreprise. Les Data Warehouses et les applications analytiques peuvent être actualisées plus souvent et peuvent inclure des données plus granulaires pour garantir une analyse plus précise – le tout afin d’outiller l’entreprise pour lui permettre de prendre des décisions métiers plus précises et mieux documentées.



« De plus en plus d’entreprises prennent conscience que leurs données forment une ressource inexploitée et cherchent une solution efficace pour en tirer le meilleur parti. Talend Integration Suite MPX répond aux vrais besoins de l’entreprise, en lui fournissant une fonction de traitement d’importants volumes de données » précise Fabrice Bonan, cofondateur et Directeur général de Talend. « Cette nouvelle solution, qui a battu tous les records lors de tests de performance, combine une nouvelle technologie avec des algorithmes innovants pour franchir un nouveau pallier en matière de traitement de données. »



Un benchmark a été réalisé en collaboration avec Sun Microsystems, à l’aide d’un serveur Sun Blade X670, équipé de deux processeurs quadri-cœurs Xeon 5520 cadencés à 2,26 GHz, ainsi que de 24Gb de RAM et tournant sous Solaris 10, update 6. Talend Integration Suite MPX a atteint des niveaux de montée en charge jamais atteints auparavant pour le tri et les calculs. Ce test a été réalisé à l’aide de jeux de données TPC-H standards, dont la taille variait de 6 millions à 3,3 milliards d’enregistrement.



Parmi les principaux résultats de ce test de performances :

P Tri en mémoire de données atteignant jusqu’à un million d’enregistrement par seconde avec une évolutivité linéaire.

P Tri d’importants jeux de données (3,3 milliards d’enregistrements) à la vitesse de 200 000 à 400 000 enregistrements par seconde.

P Calculs de moyennes dans d’importants jeux de données (3,3 milliards d’enregistrements) atteignant 220 000 enregistrements par seconde.



Les résultats complets de ce test, analysés et annotés par Amir Javanshir de Sun, peuvent être téléchargés ici : http://blogs.sun.com/aja/entry/talend_s_new_data_processing.



Talend Integration Suite MPX est disponible immédiatement et a été optimisé pour les plates-formes suivantes : Windows 32 & 64 bit, Solaris & OpenSolaris (SPARC & Intel x86), IBM AIX, HP-UX et Linux 32 & 64 bit. Pour plus d’informations, visitez http://www.talend.com.