Qlik ajoute l’ingestion des flux de données, les transformations en temps réel, la qualité des données et des intégrations étendues à sa plateforme Open Lakehouse

Qlik®, un des leaders mondiaux de l’intégration et de la qualité des données, de l’analytics et de l’intelligence artificielle (IA), annonce l’ajout de nouvelles capacités à sa plateforme Qlik Open Lakehouse, permettant désormais l’ingestion de flux de données et leur transformation à la volée au sein d’un lakehouse managé et basé sur Apache Iceberg.
Grâce à ces capacités supplémentaires, les équipes sont en mesure d’ingérer un volume élevé de données événementielles à partir d’Apache Kafka, d’Amazon Kinesis et d’Amazon Simple Storage Service (Amazon S3), au sein de tables Iceberg gouvernées et de les transformer à mesure que celles-ci sont acheminées. La qualité, la traçabilité, le catalogage des données, ainsi que le Qlik Trust Score™ s’appliquent automatiquement. Les données sont disponibles immédiatement pour les analyses, les applications et les équipes ML, tandis que l’ingestion et les transformations sont alimentées par des instances de puissance de calcul rentables, telles que EC2 Spot Instances.
Qlik développe également ses intégrations avec l’écosystème Iceberg grâce à la prise en charge de Snowflake Open Catalog, à la compatibilité renforcée avec Apache Spark et à la mise en miroir « zéro copie » sur Databricks et Amazon Redshift, qui viennent s’ajouter à la mise en miroir d’ores et déjà disponible pour Snowflake, afin de simplifier les architectures lakehouse et les warehouse hybrides.
« La prochaine phase de l’IA portera sur l’opérationnel, » déclare Drew Clarke, EVP Product and Technology chez Qlik. « La technologie s’appuie sur des données à jour et gouvernées, plutôt que sur des informations ingérées par lots chaque nuit. Grâce à l’ajout de l’ingestion en streaming et des transformations à la volée à Open Lakehouse, les équipes ont accès à un socle de données d’entreprise fiables et ouvertes sur leur propre cloud, qui repose sur Iceberg et sur une intégration à l’aide des moteurs existants. Cela réduit le délai de déclenchement des actions et fait passer l’IA d’une logique de pilotage à une logique de performance. »
Les nouvelles capacités sont les suivantes :
• Ingestion de données en streaming vers Apache Iceberg depuis Apache Kafka, Amazon Kinesis et Amazon S3, sans consommer la puissance de calcul du data warehouse.
• Transformation des données en streaming, y compris le nettoyage, le filtrage, la normalisation, le flattening et bien plus encore, à mesure que les données sont ingérées
• Optimisation automatique des tables Iceberg pour les tâches de compression et de maintenance des métadonnées, afin de conserver un niveau de performance élevé à grande échelle.
• Qualité et gouvernance complètes des données, qui incluent la traçabilité des données, des services de catalogage et l’application du Qlik Trust Score aux données situées au sein des tables Iceberg et aux datasets en miroir
• Intégration avec Snowflake Open Catalog en plus d’AWS Glue
• Mise en miroir « zéro copie » sur Databricks et Amazon Redshift, qui réplique les données Iceberg sans les dupliquer
• Compatibilité étendue avec Apache Spark pour un accès simplifié à des tables Iceberg à jour
Lorsque les données sont dupliquées ou acheminées tardivement, les tâches en temps réel stagnent. Qlik Open Lakehouse propose désormais une solution unifiée qui inclut l’ingestion en temps réel, des transformations à la volée, l’optimisation et la gouvernance afin de rendre les données exploitables dès qu’elles sont acheminées. La plateforme se connecte à des centaines de sources et ajoute des pipelines en temps réel, sans pour autant dépendre de la puissance de calcul du warehouse pour l’ingestion ou les transformations de données en streaming. Elles ne s’écrivent qu’une seule fois sur les tables Apache Iceberg au sein du compte client et sont interrogeables via un vaste éventail de moteurs, dont Snowflake, Amazon Athena, Amazon Sagemaker Studio, Apache Spark, Trino, Presto et bien d’autres encore, tout en intégrant la qualité, la traçabilité, ainsi que le Trust Score.
Open Lakehouse permet de gérer des tables Apache Iceberg sur Amazon S3 au sein du compte AWS du client. Les pipelines de données en streaming écrivent les événements et appliquent les transformations à mesure que les données affluent, tout en les compressant et en mettant à jour automatiquement les métadonnées afin de conserver le même niveau de performance. La gouvernance au sein de Qlik Talend Cloud renforce la qualité et la traçabilité des données, tout en maintenant le catalogue à jour. La mise en miroir « zéro copie » rend les datasets disponibles également sur Snowflake, Databricks ou Amazon Redshift sans générer de copies supplémentaires.
Les nouvelles capacités d’ingestion et de transformation des données en streaming pour Qlik Open Lakehouse devraient être mises à la disposition générale des clients Qlik Talend Cloud dès le premier trimestre 2026. La prise en charge de Snowflake Open Catalog, la compatibilité renforcée avec Apache Spark et la mise en miroir « zéro copie » sur Databricks et Amazon Redshift devraient être déployées par étapes dès le premier trimestre 2026. Des annonces seront faites à mesure que les fonctionnalités deviendront disponibles dans différentes régions.