Decideo - Actualités sur le Big Data, Business Intelligence, Data Science
Recherche avancée

Abonnez-vous gratuitement à Decideo !
Decideo
 


Benchmark ETL - Hummingbird Genio 7.0 / Microsoft SSIS 2005


Rédigé par Stratners le 9 Juin 2008

Etude de performances de deux outils ETL.



Objet de l'étude

Cette étude n’a pas vocation à démontrer que le développement et la mise en oeuvre de flux sont plus aisés avec tel ou tel ETL mais bien de montrer les capacités en terme de performance de chaque outil dans un contexte technique courant.

Cette étude se focalise donc sur le temps de traitement nécessaire aux réalisations d’opérations communes aux deux ETL dans diverses combinaisons de sources et cibles, nombre de colonnes plus ou moins larges et volumétries multiples.

Résultats et publication

Les résultats sont analysés et présentés sous forme de graphiques par rapport à une source de données choisie, les paliers de volumétries et le nombre de colonnes de données à traiter.

Deux documents sont disponibles :
- un document de synthèse de 6 pages, téléchargeable gratuitement sur http://www.stratners.com
- le dossier complet du benchmark avec, notamment, les architectures, les scenarii détaillés, les tableaux de mesures, et des graphiques et analyses complémentaires.
Autres articles




Commentaires
Du plus récent au plus ancien | Du plus ancien au plus récent

11.Posté par Etudiant le 29/09/2008 22:52
Génial !

12.Posté par François - Consultant SSIS le 14/10/2008 19:18
Bonjour, je souhaitais apporter un contrepoint sur cette étude, mais je dois préciser en préambule qu'il est délicat pour moi de la critiquer car je n'ai pas eu encore accès au dossier complet.

Les résultats présentés me paraissent étonnants : j'ai pu travailler sur des volumétries de même ordre avec SSIS, et quelques millions de lignes se peuvent se charger en quelques minutes sur du hardware tout à fait standard ... Or si je lis bien les graphiques présentés, c'est plutôt quelques heures ...

Dans la version simplifiée, certains postulats me semblent suffisament peu établis pour pouvoir prouver avec évidence les conclusions présentées :
- Il n'est pas indiqué le composant de destination qui a été utilisé sous SSIS avec la cible SQL SERVER : s'agit-il du composant OLE DB, ou d'un du composant destination SQL SERVER ? Je devine qu'il doit s'agir d'un chargement OLEDB car le moteur SSIS est désolidarisé du serveur de BDD : il en résulte qu'il est probable que le ratio 100/200 en faveur de Genio pour un chargement vers Oracle pourrait être de même grandeur avec SSIS / SQL SERVER contre GENIO / SQL SERVER avec une architecture adaptée.
- Les connecteurs Oracle pour SSIS ont été fournis par Microsoft avant la date de publication de cet article or il ne semblent pas avoir été utilisés, pourquoi ?

De même savez-vous si les réglages par défaut de SSIS sont définis pour une volumétrie élevée (notamment la Taille des tampons, le nombre de ceux-ci, et le parallélisme) ?

Pour résumer, le document synthétique ne pose malheureusement pas les hypothèses de bases suffisantes pour accréditer les conclusions, j'ai hâte de me procurer la version complète !


13.Posté par STRATNERS le 20/11/2008 17:03
Bonjour à tous,
Nous venons de faire un complément à notre étude sur ces 2 mêmes ETL en intégrant des hypothèses de paramétrage (options ETL) complémentaires que nous avons fait visées par les éditeurs Microsoft et OpenText/Hummingbird.
Comme précédemment (pour notre étude de l'été dernier), nous avons mis en ligne, aujourd'hui (jeudi 20 novembre 2008), sur notre site un document pdf de 6 pages, avec cette fois un plus d'informations techniques sur ce qui a été fait.
A vous de juger : http://www.stratners.com
http://www.stratners.com

1 2
Nouveau commentaire :
Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.
Twitter
Rss
LinkedIn
Facebook
Apple Podcast
App Store
Google Play Store
 
Toute reproduction interdite.
Copyright © Decideo OÜ

Contact
     
Toute reproduction ou représentation intégrale ou partielle, par quelque procédé que ce soit, des pages publiées sur ce site, faite sans l'autorisation de l'éditeur est illicite et constitue une contrefaçon.