Actualités : analyse de données, Business Intelligence, Data Science, Big Data


Quel data warehouse choisir ? Fivetran dresse un comparatif des principales plates-formes du marché


Rédigé par Communiqué de Fivetran le 21 Octobre 2020

Fivetran, le leader de l’intégration de données automatisée, annonce la publication de la deuxième édition de son benchmark annuel, qui compare les performances et les coûts des principales plates-formes de data warehouse du marché.



Quel data warehouse choisir ? Fivetran dresse un comparatif des principales plates-formes du marché
Depuis 2012, la technologie de Fivetran transmet et synchronise des ensembles de données provenant d’applications, de bases de données et de répertoires de fichiers dans des data warehouses à des fins d’analytics. La question qui lui est le plus fréquemment posée par ses clients est Quel data warehouse dans le cloud dois-je choisir ? Afin de mieux répondre à cette question, la société réalise depuis 2019 un benchmark qui compare la vitesse et le coût des quatre plates-formes de data warehouse les plus populaires : Amazon RedShift, Snowflake, Presto et Google BigQuery.

Un marché de plus en plus homogène

Au cours des deux dernières années, les principaux data warehouses dans le cloud se sont rapprochés en termes de performances. RedShift et BigQuery ont tous deux fait évoluer leur expérience utilisateur pour la rapprocher de celle de Snowflake. Le marché converge aujourd’hui autour de deux principes : la séparation des traitements et du stockage, et une tarification au forfait, avec des ‘pics’ pour tenir compte de flux intermittents.

Le benchmark Fivetran – La méthodologie

Un benchmark de data warehouses est avant tout une question de choix : quels types de données vais-je utiliser ? Dans quelle quantité ? Quels types de queries ? Ces choix ont des conséquences majeures. Il suffit de changer la nature des données ou la structure des queries, et le data warehouse le plus rapide pourra se retrouver en queue de peloton.

Dans son benchmark, Fivetran a choisi la configuration la plus proche de celle d’un utilisateur typique de sa solution, afin qu’il soit le mieux à même d’apprécier ses résultats.

Quelles différences entre les data warehouses testés ?

Chaque data warehouse offre une expérience utilisateur et un modèle de tarification spécifiques. Les solutions testées peuvent être réparties sur le spectre ci-dessus, de ‘Self hosted’ (auto hébergé) à ‘Serverless’.

A l’extrême gauche du côté ‘Self hosted’ du spectre, on trouve Presto, qui laisse à l’utilisateur l’entière responsabilité de la fourniture des serveurs et de l’ensemble de la configuration du cluster. Presto est une solution open source, à la différence des autres systèmes présents dans le benchmark.

Pre RA3 RedShift intègre plus de fonctionnalités de gestion que Presto, mais exige toujours de l’utilisateur de configurer les clusters de traitement individuels avec un niveau déterminé de ressources mémoire, de traitement et de stockage.

RedShift RA3 rapproche RedShift de l’expérience utilisateur de Snowflake en séparant parties traitement et stockage.

Snowflake offre une expérience quasi ‘serverless’ : l’utilisateur configure la taille et le nombre des clusters de traitement. Chacun d’entre eux voit les mêmes données, et les clusters peuvent être créés et supprimés en quelques secondes. Snowflake propose plusieurs niveaux de tarification associés à des fonctionnalités différentes. Les calculs du benchmark sont basés sur le niveau le moins coûteux, ‘Standard’. Pour le niveau ‘Enterprise’ ou ‘Business Critical’, le coût sera 1,5 ou 2 fois plus élevé.

Le forfait de BigQuery est similaire à celui de Snowflake, excepté qu’il n’intègre pas le concept de cluster de traitement, mais uniquement un nombre configurable de ‘slots de traitement’.

BigQuery on demand est un pur modèle ‘serverless’, dans lequel l’utilisateur soumet ses ‘queries’ l’un après l’autre et paie par ‘query’. Le mode on demand peut être beaucoup plus coûteux ou beaucoup moins coûteux, en fonction de la nature du flux de données. Un flux « régulier » utilisant la capacité de traitement en 24/7 sera beaucoup moins cher en mode forfait. Un flux avec une succession de pointes contenant d’importants ‘queries’ entrecoupées de longues périodes d’inactivité sera beaucoup moins cher en mode on demand.

Trouver le meilleur équilibre correspondant à ses besoins

Tous les data warehouses testés offrent d’excellents niveaux de coût et de performance. Ce résultat n’est pas étonnant, car les techniques de base pour construire un data warehouse en cylindres performant sont bien connues depuis la publication de l’article C Store en 2005. Toutes les solutions utilisent donc les mêmes recettes standard pour optimiser leurs performances : stockage en cylindres, planification des ‘queries’ basée sur les coûts, exécution par pipeline et compilation juste à temps.

Les principales différences entre les plates-formes testées sont donc au niveau qualitatif, en raison de choix de conception différents. Certaines mettent en avant les capacités de configuration et de réglage, d’autres la simplicité d’utilisation. La meilleure stratégie pour les entreprises est donc de tester plusieurs solutions, et de choisir celle qui offre le meilleur équilibre correspondant à ses besoins.




Nouveau commentaire :
Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.


Twitter
Rss
LinkedIn
Facebook
Apple Podcast
App Store
Google Play Store