Starburst, la plateforme analytique du data lake, annonce étendre sa prise en charge du langage de programmation Python avec PyStarburst et une nouvelle intégration avec la bibliothèque Python open source Ibis, construite en collaboration avec Voltron Data, constructeur de systèmes de données composables et mainteneur d'Ibis.
Cela signifie que les développeurs et les data engineers utilisant Starburst et Trino n'ont plus besoin de décharger les données vers des frameworks tels que PySpark et Snowpark pour gérer des workloads complexes. Les équipes peuvent désormais exploiter un moteur MPP unique et puissant pour leurs workloads analytiques et de transformation, réduisant ainsi le coût et la complexité de leur environnement de données.
PyStarburst fournit une syntaxe familière à PySpark et Snowpark pour écrire et exécuter des pipelines ETL et des transformations de données pour la production. Cela facilite la construction de nouveaux pipelines avec PyStarburst ainsi que la migration de pipelines PySpark et Snowpark existants vers Starburst, et ce sans réécriture de code.
“De nombreux data engineers privilégient l'écriture de code plutôt que le SQL pour les transformations et de nombreux ingénieurs logiciels ont l'habitude de construire des applications de données avec Python”, a déclaré Martin Traverso, CTO de Starburst. “Avec PyStarburst, nous leur donnons la liberté de le faire en bénéficiant de la productivité et des performances avancées de la solution d’entreprise Starburst basée sur Trino.”
Pour les développeurs et les data engineers qui cherchent à créer des applications de données scalable, la nouvelle intégration Ibis fournit une API Python uniforme capable d'exécuter des requêtes sur plus de 18 moteurs différents, y compris DuckDB, pandas, PostgreSQL, et désormais Starburst Galaxy. Cela signifie qu’il est possible de passer du développement sur un ordinateur portable à la production dans Galaxy, sans réécrire une seule ligne de code.
Cette collaboration entre Ibis et Starburst Galaxy permet aux utilisateurs d'écrire du code Python portable qui s'exécute sur le moteur d'analyse de data lake de Starburst, en opérant sur des données provenant de plus de 50 sources prises en charge.
“Les utilisateurs de Python rencontrent des difficultés pour combler le fossé entre les prototypes sur leurs ordinateurs portables et les applications de production fonctionnant sur des plateformes telles que Starburst Galaxy. Ibis permet de combler ce fossé beaucoup plus facilement”, a déclaré Josh Patterson, CEO de Voltron Data. “Avec Ibis, il est possible d'écrire du code Python une seule fois et de l'exécuter n'importe où, avec n'importe quel moteur d'exécution backend pris en charge. L'utilisateur peut passer en toute transparence du crunching de quelques gigaoctets de données de test sur son ordinateur portable au crunching à l'échelle de pétaoctets de données en production à l'aide de Starburst Galaxy.”
Cela signifie que les développeurs et les data engineers utilisant Starburst et Trino n'ont plus besoin de décharger les données vers des frameworks tels que PySpark et Snowpark pour gérer des workloads complexes. Les équipes peuvent désormais exploiter un moteur MPP unique et puissant pour leurs workloads analytiques et de transformation, réduisant ainsi le coût et la complexité de leur environnement de données.
PyStarburst fournit une syntaxe familière à PySpark et Snowpark pour écrire et exécuter des pipelines ETL et des transformations de données pour la production. Cela facilite la construction de nouveaux pipelines avec PyStarburst ainsi que la migration de pipelines PySpark et Snowpark existants vers Starburst, et ce sans réécriture de code.
“De nombreux data engineers privilégient l'écriture de code plutôt que le SQL pour les transformations et de nombreux ingénieurs logiciels ont l'habitude de construire des applications de données avec Python”, a déclaré Martin Traverso, CTO de Starburst. “Avec PyStarburst, nous leur donnons la liberté de le faire en bénéficiant de la productivité et des performances avancées de la solution d’entreprise Starburst basée sur Trino.”
Pour les développeurs et les data engineers qui cherchent à créer des applications de données scalable, la nouvelle intégration Ibis fournit une API Python uniforme capable d'exécuter des requêtes sur plus de 18 moteurs différents, y compris DuckDB, pandas, PostgreSQL, et désormais Starburst Galaxy. Cela signifie qu’il est possible de passer du développement sur un ordinateur portable à la production dans Galaxy, sans réécrire une seule ligne de code.
Cette collaboration entre Ibis et Starburst Galaxy permet aux utilisateurs d'écrire du code Python portable qui s'exécute sur le moteur d'analyse de data lake de Starburst, en opérant sur des données provenant de plus de 50 sources prises en charge.
“Les utilisateurs de Python rencontrent des difficultés pour combler le fossé entre les prototypes sur leurs ordinateurs portables et les applications de production fonctionnant sur des plateformes telles que Starburst Galaxy. Ibis permet de combler ce fossé beaucoup plus facilement”, a déclaré Josh Patterson, CEO de Voltron Data. “Avec Ibis, il est possible d'écrire du code Python une seule fois et de l'exécuter n'importe où, avec n'importe quel moteur d'exécution backend pris en charge. L'utilisateur peut passer en toute transparence du crunching de quelques gigaoctets de données de test sur son ordinateur portable au crunching à l'échelle de pétaoctets de données en production à l'aide de Starburst Galaxy.”
Autres articles
-
Starburst alimente le nouveau Dell Data Lakehouse pour accélérer l’analyse des données sans les déplacer
-
Dell annonce le lancement du Dell Data Lakehouse qui intègre Starburst et permet d’unifier toutes les données pour accélérer les projets analytiques et d’IA
-
Starburst nommée leader dans le Radar 2024 de GigaOm pour les data lakes et lakehouses
-
L'approche décentralisée du Data Mesh maximise la valeur des données
-
Orange Côte d’Ivoire s’appuie sur Starburst pour améliorer l’efficacité de son infrastructure data
