Steven HADDAD, Senior Software Architect, Syncsort
L’ETL 2.0 est sur le point de redéfinir l’intégration de données dans les entreprises. Outre ses avantages en termes de réduction du coût total de possession et de gestion de votre environnement d’intégration de données, l’ETL 2.0 va vous permettre de capitaliser sur le Big Data pour doper votre compétitivité et réaliser vos objectifs stratégiques.
Une vidéo pédagogique est également disponible sur : http://www.syncsort.fr/Solutions/ETL2.aspx
Comment l’ETL a perdu son « T ».
Jusqu’à présent, les efforts d’amélioration des outils d’ETL et d'intégration de données se sont concentrés sur l’ajout de fonctionnalités, aux dépens de deux facteurs essentiels : la facilité d’utilisation et l’évolutivité sans perte de performance. Confrontés à la diversité, à la vélocité et aux volumes croissants de données – le fameux phénomène du « Big Data » – les départements informatiques sont contraints de recourir à des solutions coûteuses et inefficaces pour surmonter leurs problèmes de performance :
Les opérations d’optimisation s’avèrent fastidieuses et mobilisent un personnel informatique expérimenté. L’ajout de matériel coûte cher à l’achat comme à l’usage, pour des gains de performance marginaux
L’affectation des opérations de transformation à la base de données et le codage manuel de scripts SQL génèrent une complexité accrue, compromettent la traçabilité des données et réduisent la flexibilité de l'entreprise − sans oublier l’augmentation des coûts liés à la base de données
Le « T » a désormais disparu de l’ETL. À tel point que moins d’un tiers des informaticiens utilisent leurs outils d’ETL pour la transformation de données. Résultat : un réseau complexe de transformations exécutées en divers points – un vrai casse-tête en termes de maintenance, de développement et de gestion.
ETL 2.0, pour une intégration de données rapide, efficace, simple et économique. Ni plus, ni moins.
L’ETL 2.0 vous offre tout ce dont vous avez besoin pour réduire considérablement le coût et la complexité des environnements actuels d’intégration de données. Ce nouveau concept consiste à transférer toutes les transformations vers un moteur ETL haute performance opérant en mémoire. Vous réduisez ainsi les opérations de staging des données et/ou l’envoi des transformations dans la base de données (« push down »). Au menu :
Élimination de la phase de staging et l’off-load dela base de données. La lecture, la transformation et le chargement des données s’effectuent à des vitesses d’E/S maximales. Les transformations s’opèrent en mémoire, sur du matériel standard, pour accélérer les performances tout en éliminant les besoins en capacités supplémentaires des bases de données.
Des performances et une efficacité optimales, sans besoin de tuning. L’intégration de données traditionnelle s’effectue manuellement et de manière statique, avec pour conséquence une utilisation sous-optimale des ressources. Grâce à un moteur ETL dynamique qui s’adapte en temps réel aux changements de conditions du système, l’ETL 2.0 offre des performances optimales, avec en prime un pipelining et un parallélisme automatiques.
Connexion des utilisateurs à leurs données. L’ETL 2.0 fait appel au collaboratif et à des frameworks de développement flexibles pour rapprocher l’utilisateur de ses données. La simplicité d’utilisation et les réglages automatiques permettent également aux équipes informatiques de consacrer moins de temps aux opérations de maintenance, pour se concentrer davantage sur le besoin croissant d’information des entreprises.
Accélération des déploiements Hadoop. L’ETL 2.0 exploite et développe les frameworks Big Data comme Hadoop, pour faciliter le développement et améliorer les performances des tâches MapReduce.
Réduction du TCO. Performances décuplées, baisse de 75 % du taux d'utilisation processeurs, stockage divisé par 10… l’ETL 2.0 vous permet de réaliser des économies considérables tout en améliorant vos objectifs SLA. Grâce aux moteurs d’optimisation automatique, vous réduisez les heures de main d'œuvre informatique nécessaires à la maintenance de votre environnement existant d’intégration de données.
Conclusion : l’ETL 2.0 redéfinit l’intégration de données dans les entreprises, exploite la problématique du Big Data pour le transformer en avantage compétitif. Mais ce n’est pas tout : l’ETL 2.0 permet aussi aux entreprises de réaliser leurs objectifs stratégiques, tout en réduisant leur coût total de possession tout en en assurant la maintenance de leur environnement d’intégration de données.
Une vidéo pédagogique est également disponible sur : http://www.syncsort.fr/Solutions/ETL2.aspx
Comment l’ETL a perdu son « T ».
Jusqu’à présent, les efforts d’amélioration des outils d’ETL et d'intégration de données se sont concentrés sur l’ajout de fonctionnalités, aux dépens de deux facteurs essentiels : la facilité d’utilisation et l’évolutivité sans perte de performance. Confrontés à la diversité, à la vélocité et aux volumes croissants de données – le fameux phénomène du « Big Data » – les départements informatiques sont contraints de recourir à des solutions coûteuses et inefficaces pour surmonter leurs problèmes de performance :
Les opérations d’optimisation s’avèrent fastidieuses et mobilisent un personnel informatique expérimenté. L’ajout de matériel coûte cher à l’achat comme à l’usage, pour des gains de performance marginaux
L’affectation des opérations de transformation à la base de données et le codage manuel de scripts SQL génèrent une complexité accrue, compromettent la traçabilité des données et réduisent la flexibilité de l'entreprise − sans oublier l’augmentation des coûts liés à la base de données
Le « T » a désormais disparu de l’ETL. À tel point que moins d’un tiers des informaticiens utilisent leurs outils d’ETL pour la transformation de données. Résultat : un réseau complexe de transformations exécutées en divers points – un vrai casse-tête en termes de maintenance, de développement et de gestion.
ETL 2.0, pour une intégration de données rapide, efficace, simple et économique. Ni plus, ni moins.
L’ETL 2.0 vous offre tout ce dont vous avez besoin pour réduire considérablement le coût et la complexité des environnements actuels d’intégration de données. Ce nouveau concept consiste à transférer toutes les transformations vers un moteur ETL haute performance opérant en mémoire. Vous réduisez ainsi les opérations de staging des données et/ou l’envoi des transformations dans la base de données (« push down »). Au menu :
Élimination de la phase de staging et l’off-load dela base de données. La lecture, la transformation et le chargement des données s’effectuent à des vitesses d’E/S maximales. Les transformations s’opèrent en mémoire, sur du matériel standard, pour accélérer les performances tout en éliminant les besoins en capacités supplémentaires des bases de données.
Des performances et une efficacité optimales, sans besoin de tuning. L’intégration de données traditionnelle s’effectue manuellement et de manière statique, avec pour conséquence une utilisation sous-optimale des ressources. Grâce à un moteur ETL dynamique qui s’adapte en temps réel aux changements de conditions du système, l’ETL 2.0 offre des performances optimales, avec en prime un pipelining et un parallélisme automatiques.
Connexion des utilisateurs à leurs données. L’ETL 2.0 fait appel au collaboratif et à des frameworks de développement flexibles pour rapprocher l’utilisateur de ses données. La simplicité d’utilisation et les réglages automatiques permettent également aux équipes informatiques de consacrer moins de temps aux opérations de maintenance, pour se concentrer davantage sur le besoin croissant d’information des entreprises.
Accélération des déploiements Hadoop. L’ETL 2.0 exploite et développe les frameworks Big Data comme Hadoop, pour faciliter le développement et améliorer les performances des tâches MapReduce.
Réduction du TCO. Performances décuplées, baisse de 75 % du taux d'utilisation processeurs, stockage divisé par 10… l’ETL 2.0 vous permet de réaliser des économies considérables tout en améliorant vos objectifs SLA. Grâce aux moteurs d’optimisation automatique, vous réduisez les heures de main d'œuvre informatique nécessaires à la maintenance de votre environnement existant d’intégration de données.
Conclusion : l’ETL 2.0 redéfinit l’intégration de données dans les entreprises, exploite la problématique du Big Data pour le transformer en avantage compétitif. Mais ce n’est pas tout : l’ETL 2.0 permet aussi aux entreprises de réaliser leurs objectifs stratégiques, tout en réduisant leur coût total de possession tout en en assurant la maintenance de leur environnement d’intégration de données.