Canonical lance Charmed Spark, une solution compatible avec Apache Spark® sur Kubernetes

Canonical, un leader de l’Open Source et éditeur d’Ubuntu, a annoncé la sortie de Charmed Spark. C’est une solution avancée pour Apache Spark® qui fournit tout ce dont les utilisateurs ont besoin pour exécuter Apache Spark sur Kubernetes.

Apache Spark peut être utilisé dans diverses applications de traitement de données, notamment l'analyse prédictive, l'entreposage de données, la préparation des données d'apprentissage automatique et l'ETL (extract-transform-load).

Charmed Spark est la première version de la future suite Canonical Data Fabric de solutions de traitement de données pour tous types de données. Les clients achètent un support d'entreprise 24 heures sur 24, 7 jours sur 7 ou en semaine, par nœud, dans le cadre du plan Ubuntu Pro + Support, qui couvre toutes les applications de la suite ainsi que les solutions supplémentaires pour l'IA proposées par Canonical, notamment Charmed Kubeflow et Charmed MLFlow.

Charmed Spark est conçu pour exécuter Spark sur Kubernetes, ce qui apporte une portabilité cloud native à travers les clouds et les centres de données sur site. Charmed Spark prend en charge Apache Spark 3 avec son intégration Python améliorée et un ensemble de fonctionnalités Spark-SQL encore plus riche.

Le SDK Python spark8t et l'outil de ligne de commande inclus simplifient le travail avec Spark sur Kubernetes, et peuvent être installés de manière pratique via le Snap spark-client fourni ou en tant que package Python. L'image de conteneur Spark, Spark container image, construite sur Ubuntu 22.04 LTS, offre un runtime prêt à l'emploi pour créer des applications Spark qui s'exécutent sur des clusters Kubernetes.

L'opérateur spark-history-server-k8s permet aux administrateurs de déployer, configurer et exploiter rapidement le serveur Spark History sur un cluster Kubernetes à l'aide de Juju - le moteur d'orchestration open source de Canonical - directement ou avec Terraform.

L'image Charmed Spark OCI, disponible sur Github, est incluse dans la solution. L'ensemble de la solution est soutenu par le support Ubuntu Pro entreprise et l'abonnement à la maintenance de sécurité, avec jusqu'à 10 ans de support disponible pour la version.

"Les ingénieurs de données d'entreprise veulent Apache Spark avec la facilité et l'engagement de sécurité à long terme d'Ubuntu", a déclaré Mark Shuttleworth, directeur général de Canonical. "Charmed Spark est la première des nombreuses solutions de données open source Canonical conçues pour la fiabilité et le fonctionnement multi-cloud. Chaque déploiement en production est garanti pendant dix ans pour la conformité et la maintenance de la sécurité."

La documentation pour utiliser Charmed Spark sur Canonical Kubernetes et Amazon EKS accessible sur ubuntu.com/data/docs. Pour en savoir plus: canonical.com/data/spark.