Big Data, Science des données, aide à la décision en entreprise, business intelligence, data warehouse, reporting, OLAP, web analytics, data visualization, data mining, internet des objets, informatique cognitive, intelligence artificielle...

Abonnez-vous gratuitement à Decideo !


Decideo

 


ETL 2.0 - Eléments de compréhension


Rédigé par Steven HADDAD, Syncsort le 22 Décembre 2011



Contexte

Steven HADDAD, Senior Software Architect
Steven HADDAD, Senior Software Architect
Depuis 20 ans, les systèmes d'informations ont utilisé des solutions d'intégration de données pour déployer des initiatives nécessitant des échanges inter-applicatifs
- Entrepôts de données
- Fusion / Migration de systèmes
- Compliance
- etc

Ces dernières années, les suites d'intégration de données se sont enrichies de nombreux modules, destinés à répondre aux nouvelles initiatives stratégiques des entreprises
- Déploiement de référentiels unifiés
- Vision 360° des clients
- Amélioration de la Supply-chain
- Mise en œuvre d'interfaces B2B normalisées
- Traçabilité des circuits de l'information
- Mise à disposition d'informations décisionnelles
- Data Analytics
- Compliance
- etc

Aujourd‘hui, on parle de plus en plus de nouvelles initiatives autour du Big Data, qui consiste à préparer le traitement des données nouvelles ou enfouies afin de dégager toujours plus de valeur autour à partir de ses informations : Les Big Data.
Seulement voilà, les solutions d'intégration de données standards du marché ne suivent pas, ni du point de vue de la volumétrie, ni du point de vue des attentes métiers.
Sur tous les projets actuels, les équipes d'études ont dû trouver des moyens de pallier aux performances des ETL standards afin de délivrer les résultats en accord avec les besoins métiers : Expertise, ajout de matériel, déport des traitements dans les bases de données, autant de "bonnes pratiques" qui entraînent des augmentations significatives de coûts de possessions et qui impactent l'agilité des projets.

Alors que les projets demandent toujours plus de ressources, le contexte actuel de crise économique amène des DAF et les DSI à chercher des angles pour réduire les coûts de possession des applications.

On peut poser la question : Comment ces moteurs d'intégrations, inadaptés aux projets d'aujourd'hui tant en terme de coût que de capacité de traitement, vont-ils se comporter face à des volumes 44 fois supérieurs (estimation du Gartner d'augmentation des volumétries entre 2009 et 2015) ? Lorsqu'on voit le coût des infrastructures actuelles destinées à intégrer des données opérationnelles en BATCH nocturnes pour quelques dizaines d'utilisateurs, quel sera le coût des mêmes solutions pour traiter au fil de l'eau des données opérationnelles ET externes (terminaux mobiles, réseaux sociaux, ...) en quasi temps-réel et servies à des milliers de personnes ?

Pour Syncsort, la réponse est évidente : Sans aide, les architectures d'intégration de données actuelles vont échouer sur les projets d'aujourd'hui dont la volumétrie va exploser, et ne seront pas déployées pour les projets de demain car d'emblée jugées trop coûteuses.

ETL 2.0 - Proposition de valeur

Pour débloquer la valeur des projets d'intégration de données, il va falloir significativement améliorer les performances des couches d'intégration de données, et dans le même temps en réduire les coûts de possession, et ce en renforçant les règles de développements urbanisés, afin de rester (ou de redevenir) réactif en alignement avec les besoins métiers.

Cette proposition de valeur, la stratégie ETL 2.0 la matérialise par la mise à disposition transverse d'un élément d'architecture remarquable par ses performances, son comportement vis-à-vis des ressources systèmes, et sa flexibilité. Au services des autres éléments de l'architecture d'intégration de données, ce composant appelé "DI Accelerator" (ou DIA) est destiné à en améliorer significativement les capacités de traitements ainsi qu'à en réduire les coûts de possessions.

Découvrir la suite de cet article en téléchargeant gratuitement le document ci-dessous

article_etl_20_v5.pdf Article ETL 20 v5.pdf  (393.8 Ko)





Commentaires

1.Posté par Jean-Pierre Riehl le 23/12/2011 15:46
Bonjour,

Je comprend mieux maintenant le sens de votre premier article sur l'ETL 2.0. C'était le teaser marketing pour présenter votre produit DI Accelerator. ;-)
Peut-on le télécharger pour l'essayer ?
Les gains de performances annoncés (60% de CPU, 50% de mémoire, 50% de temps) sont basés sur quelle référence ?

Merci

2.Posté par Steven Haddad le 02/01/2012 10:24
Bonjour,

Effectivement, nous positionnons DMX comme la pierre angulaire de la stratégie ETL 2.0. Cependant, nous voyons apparaître d'autres logiciels offrant des caractéristiques similaires. En bases de données, je citerai VectorWise d'Actian, qui présente les mêmes axes de ROI que DMX.
Le concept de DI Accelerator peut donc être étendu à des fonctions autres que l'ETL pur, et ainsi augmenter le potentiel de ce nouveau composant d'infrastructure.

Pour tous ceux désireux de "tester" DM Express, je vous invite à me contacter directement
shaddad@syncsort.com

Mes meilleurs voeux pour la nouvelle année
Steven

Nouveau commentaire :
Facebook Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.