Big Data, Science des données, aide à la décision en entreprise, business intelligence, data warehouse, reporting, OLAP, web analytics, data visualization, data mining, internet des objets, informatique cognitive, intelligence artificielle...

Abonnez-vous gratuitement à Decideo !


Decideo

 


Avancée majeure dans l’évolution de Datastage au passage à la V8 : Les 10 meilleures nouveautés


Rédigé par Mustafa REKIK le 2 Mai 2007



Avancée majeure dans l’évolution de Datastage au passage à la V8 : Les 10 meilleures nouveautés
La division Data Information Management d’IBM a sorti la suite IBM Information Server qui reflète d’un côté la bonne intégration des produits Ascential (racheté par IBM en 2005) au sein de la nouvelle suite IBM, et d’un autre côté, la confirmation du leadership d’IBM dans le domaine de l’intégration de données.

Datastage V8 (version finale annoncée depuis quelques semaines) fait partie de la suite IBM Information Server à côté d’autres composants, notamment QualityStage (couvre les fonctionnalités de gestion de la qualité de données), Information Analyzer (Outil de profiling et d’exploration s’inspirant des anciens produits Ascential : ProfileStage et AuditStage). Datastage reste néanmoins le pilier de cette suite.
En tant qu’intégrateur spécialisé dans le domaine du décisionnel, Nouveli accompagne l’un de ses grands comptes qui participe au programme Beta de la nouvelle version Datastage.

C’est dans ce cadre qu’il apparaît nécessaire de partager avec vous les 10 meilleures nouveautés (selon moi) de cette nouvelle version en vu de préparation de vos futurs projets de migration Datastage :

1. Une nouvelle architecture homogène permettant de gérer sous un référentiel commun l’ensemble des composants de la suite IBM Information Server. Le référentiel Datastage s’ouvre vers de nouvelles bases de données, notamment DB2. Ce qui met fin aux nombreuses restrictions de l’ancienne base Universe (concurrence d’accès, …),

2. Une structure plus souple du référentiel et une gestion flexible des méta-données en interne grâce aux fonctionnalités DB2, mais également au niveau de l’interface utilisateur. Il est désormais possible de gérer les développements (job, job sequence, …) et les objets annexes correspondants (structure, routines, …) dans les mêmes dossiers,

3. Des indicateurs de suivi des performances sont proposés afin d’estimer et/ou analyser les ressources nécessaires pour piloter votre projet d’intégration de données,

4. L’analyse d’impact est une brique primordiale pour augmenter la réactivité face aux demandes de maintenance/évolution. Une interface interactive et conviviale permet de donner des réponses rapides aux questions du genre : « où est utilisé cet objet » ou « quelles sont les dépendances liées à cet objet »,

5. La collaboration entre les différents acteurs d’un projet est plus facile sous cette nouvelle version. Il est par exemple possible d’ouvrir à plusieurs le même job (en mode lecture-seule). Un nouvel outil de comparaison est à la disposition des développeurs pour le partage des développements et le versionning, Il permet notamment de générer un rapport de différences entre deux méta-données du référentiel (tables, jobs, routines, …),

6. L’outil de recherche sous ses deux variantes : recherche rapide ou recherche avancée montre que ce produit est capable de s’adapter aux grands projets,

7. L’interface de développement (module Designer) a hérité des fonctions d’export/import qui appartenait à l’ancien module « Manager » (qui n’existe plus dans cette version). Il est important de noter que les interfaces ont été améliorées (notamment celle de l’export) et qu’il est désormais possible de lancer un export sur un simple clique-droit à partir du la fenêtre du référentiel,

8. La gestion des paramètres voit arriver un nouveau un type d’objet (ParameterSet) qui rend la manipulation des paramètres (parfois laborieuse dans les versions précédentes) plus souple et facile, surtout pour les déploiements,

9. La nouveauté en ce qui concerne la validation des données en provenance de systèmes sources par rapport aux table de références (stage Lookup) dans un Datawarehouse/Datamart est qu’il est désormais possible de comparer (Range Lookup) une colonnes de référence à un intervalle de valeurs (dessiné à partir de deux colonnes),

10. Le SCD (Slowly Change Dimension) répond à une problématique classique dans les environnements décisionnels : comment gérer facilement la variation des attributs liés aux enregistrements des tables de références (dites tables de dimension) dans le temps ? Le SCD supporte les techniques standard et masque leur complexité technique vis-à-vis des développeurs.

Ces nouveautés (à côté d’autres : connectivité, SQL Builder, …) s’ajoutent aux bases (comme le parallélisme, …) déjà existantes dans les versions précédentes et qui font déjà de Datastage l’un des meilleurs produits d’intégration de données du marché.

Grâce à cette nouvelle version de Datastage et son intégration dans la suite IBM Information Server, IBM s’inscrit dans la nouvelle définition du marché de l’intégration de données qui s’élargit de plus en plus pour couvrir de nouveaux thèmes (comme la qualité de données ou la fédération de données) autour du cycle de vie des données dans une entreprise.

Mustafa REKIK, Consultant Senior Nouveli, Expert intégration de données.




Commentaires

1.Posté par Daniel le 09/08/2007 13:48
Bravo Mus!

Super article...
Chez Nokia il n'y avait pas de Datastage!

Bonne continuation

2.Posté par cindy le 21/08/2007 11:09
Très intéressant Mustafa !
Merci

@+
Cindy

3.Posté par Miniar le 04/09/2007 14:28
Des excellentes nouvelles!
Mais je propose d' améliorer les details de LOG pour simplifier les dev!

4.Posté par Yassine (omni) le 25/12/2007 11:25
merci mustapha pour cet article très interessant
à bientôt j espère

5.Posté par EL OUJAJI le 10/06/2008 17:33
J'ai constaté plutôt des régressions dans la version V8 sous Windows server 2003, Le SQL Loader qui ne marche plus
le MW qui n'apporte pas de valeur ajoutée aux traitement si ce n'est diviser les perf.
peut être faudrait il paramétrer la machine virtuelle java .. la doc n'en parle pas
Nous allons tenter une migration sous la V8 sous linux ... croisons les doigts

6.Posté par Kadiri le 15/11/2008 17:52
Article intéressant Moustapha, mais les outils Open source prennent de l'ampleur par rapport à ton outil, car ils progressent plus vite que les solutions payantes: Informatica, OWB, ODI, BODI, et ton DataStage. il vaut mieux jeter un coup d'œil sur ces outils comme Talend et Kettle , qui sont devenus des solutions riches et qui permettent de tous faire.

7.Posté par Martinez Orellana le 26/01/2009 12:28
Bonjour,
Trés bonne présentation de la nouvelle version 8 de DataStage.
Les évolutions qui ont été faites sont logiques et pertinantes.
L'utilisation n'en serat que plus simple et pratique pour les développeurs ainsi que pour les etudes d'impacts lors de modifications.
Merci beaucoup et au plaisir de te relire.
José