Big Data, Science des données, aide à la décision en entreprise, business intelligence, data warehouse, reporting, OLAP, web analytics, data visualization, data mining, internet des objets, informatique cognitive, intelligence artificielle...

Abonnez-vous gratuitement à Decideo !


Decideo

 


Pourquoi Syncsort est-il si rapide ?


Rédigé par Communiqué de Syncsort le 19 Septembre 2011

Syncsort a toujours eu une réputation de haute perfomance, mais n’a historiquement jamais fait d’efforts de marketing ou de vente, et seul le bouche à oreille laissait à penser que le produit méritait l’attention. Cette situation a changé dernièrement, la compagnie ayant changé de management, donc j’ai pris le temps de regarder sous le capot pour voir ce qui est différent dans DM Express, qui est le produit d’intégration de données de la compagnie, et pourquoi il détient le record du monde ETL (de loin) de chargement de données dans un DatawareHouse.



traduction d’un article de BLOOR Research publié en mars 2011
Ecrit par: Philip Howard
Research Director – Data Management
Bloor Research


Il y a un nombre de points importants. Le premier est que la technologie a été développée à l’origine pour tourner sur les Mainframes dans les années 1970. A cette époque, vous deviez utiliser les ressources avec parcimonie et tirer des axes d’amélioration des performances de chaque bit de mémoire accessible. Cette frugalité a été conservée dans le produit actuel (qui tourne sur toutes les plates-formes majeures). Par exemple, par défaut, DM Express utilise 15% de la mémoire disponible, quelle que soit la plate-forme. En comparaison les autres outils prennent généralement la totalité de la mémoire disponible du système. Dans la même idée, le produit accède directement aux disques durs des sources et cibles plutôt que de passer par le système d‘exploitation, évitant ainsi toute charge additionnelle lors des accès.

Deuxième point, et différentiateur unique majeur dans l’intégration de données, le produit est construit autour d’un optimiseur, à la manière des bases de données. Bien sûr, cela n’a de sens que si vous avez plusieurs manières d’atteindre les mêmes résultats. La plupart des ETL et plates-formes d’intégration de données n’ont que très peu d’algorithmes pour réaliser des jointures et des tris, par exemple. En conséquence on peut argumenter qu’ils n’obtiendraient pas d’amélioration des performances avec un optimiseur, puisque ses choix seraient limités. Syncsort, d’un autre côté, dispose de plus de 30 algorithmes de tris et un nombre similaire d’algorithmes de jointures et autres transformations. L’optimiseur crée un « plan de transformation » comme celui d’une base de données crée un « plan d’exécution de requête ». De plus, l’optimiseur observe les mouvements de données pendant qu’ils ont lieu et, s’il trouve que les algorithmes utilisés ne sont pas optimaux, il peut alors changer dynamiquement son plan de transformation.

Je pourrais continuer mais il est suffisant de dire que DM Express est extrêmement efficient et, pour les chargements massifs, probablement le produit le plus rapide sur le marché. Mais l’efficacité (i.e. une meilleure utilisation des ressources et donc des coûts réduits) et performance ne sont pas tout, même si c’est déjà beaucoup.
Si nous revenons à la discussion sur l’optimiseur, l’autre gros avantage qu’il apporte (avec les algorithmes qui l’accompagnent) est que le moteur se règle automatiquement. Cela veut dire que vous n’avez pas à constamment tuner vos processus ETL, et en conséquence vos développeurs ont besoin de passer moins de temps à maintenir les processus existants et peuvent passer plus de temps à répondre aux demandes métiers de nouvelles fonctionnalités et capacités.

Finalement, je dirai quelque chose du positionnement de Syncsort. Vous pourriez penser que c’est un concurrent direct pour Informatica ou IBM et dans certains cas cela peut être vrai. Cependant, il peut aussi être considéré comme complémentaire à ces produits. De nombreuses entreprises ont fait des investissements significatifs dans les plates-formes IBM ou Informatica, les utilisant par exemple pour des rapports B2B, ou utilisant leurs outils de découverte ou de qualité des données. Syncsort n’est pas sur ces marchés mais propose le support de métadonnées approprié pour agir comme un moteur de mouvement de données pour ces environnements. Vous pouvez continuer à développer vos transformations avec Informatica, mais utiliser DM Express pour déplacer les données. Supportant cela, Syncsort positionne DM Express comme un Accélérateur d’Intégration de Données. Il l’est à l’évidence.




Nouveau commentaire :
Facebook Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.