Decideo - Actualités sur le Big Data, Business Intelligence, Data Science

Abonnez-vous gratuitement à Decideo !


Decideo


 
Forums, dernières contributions

Utilité des rejets dans une architecture décisionnelle

 Charlie95
Samedi 15 Mai 2010

Version imprimable
[Ignorer]
Bonjour,
Nous devons construire un SID, et nous avons 3 questions existentielles qui font débats dans la démarche de mise en œuvre.
Doit-on gérer des rejets lors de l'alimentation de notre SID ?
Une autre question, directement liée à la première, est de savoir si les colonnes du SID doivent être typées (date, float, varchar, ...) ?
A-t-on besoin de mettre les contraintes au sens SGBD, à partir du moment ou nous faisons la qualifications dans l'alimentation ?
Nous sommes preneur de toutes vos réponses.
Cdlt
 Jean
Vendredi 16 Juillet 2010

Version imprimable
[Ignorer]
1 - Oui, il faut gérer les rejets dans le SID. Cela permet de vérifier que les données chargés sont bien représentatives des système opérants. Les rejets peuvent, entre autre, permettre de détecter des modifications de processus en amont. Il faut aussi prévoir (si possible) un recyclage de ces rejets.

2- Il faut typer les données car cela permet d'appliquer des fonctions du SGBD lors de l'exécution de requête (comment faire pour effectuer une somme ou une moyenne sur des champs de type CHAR ?).

3- Il faut mettre des contraintes au niveau du SGBD. Elles seules garantissent la cohérence des données. Si 90% des alimentations se font avec des traitements qui vérifient l'intégrité des données, il subsistera toujours des insertions plus manuelles (reprises de données, insertions manuelles, etc.) qui n'auront pas les traitements de vérification. Dans ce cas, seules les intégrités de la base permettent de s'assurer de la conformité des données insérées.
 Loïc Baspin
Mercredi 21 Juillet 2010

Version imprimable
[Ignorer]
Bonjour,

1-Le système de rejet doit être couplé (naturellement) à un système de supervision qui indique qu'il y a eu des rejets. Ce sytème de supervision doit fournir des alertes, indicateurs. Il faut savoir aussi à quel niveau il se situe : visible par la MOE, MOA voire utilisateur (exemple : une personne se connecte au SID et un indicateur lui donne un flag vert pour indiquer que tout a bien été chargé durant la nuit, et que les données manipulées sont en date d sans rentrer dans les détails)
Un système de recyclage intelligent coûte cher. Si le recyclage est manuel cela devient difficile. Le système de recyclage a tendance à exister pour palier un non-effort de qualité de données en amont (logique !)

3-Dans certains cas, on peut avoir un SID non 100% cohérent. Cela nécessaite de 'mesurer' cette non-cohérence. On a souvent tendance à dire/penser que si il est 100% cohérent, cela entraîne un surcoût à l'alimentation (beaucoup de contrôles).

Loïc Baspin
Consultant Décisionnel
Advanced Schema


Twitter
Rss
LinkedIn
Facebook
Apple Podcast
App Store
Google Play Store