Databricks, leader de l’analytique unifiée et société à l’origine d’Apache Spark, annonce que sa plateforme Unified Analytics offre désormais l’automatisation et des fonctions augmentées tout au long du cycle de vie du machine learning. L’offre d’analytique augmentée ainsi élargie automatise non seulement la conception de modèles de machine learning, mais s’applique également à l’automatisation de la préparation de données et au déploiement de modèles. Les nouvelles fonctionnalités AutoML (Automated Machine Learning) sont destinées aux experts ainsi qu’aux citizens data scientists.
« Gartner prévoit que d'ici 2020, plus de 40 % des tâches de data science seront automatisées, ce qui se traduira par une productivité accrue et une utilisation plus large par les citizen data scientists ». Pour accélérer cette automatisation et aider les équipes de data science à apporter une valeur ajoutée à leur entreprise, la plate-forme Unified Analytics de Databricks utilise le machine learning pour ajouter des fonctions augmentées de préparation des données, de visualisation, d'ingénierie des fonctionnalités, de réglage des hyperparamètres, de recherche de modèles, de suivi automatique des modèles, de reproductibilité et de déploiement. Basée sur une intégration avec le framework open source MLflow, cette offre AutoML permet aux citizens data scientists, et pas seulement aux experts, de bénéficier à de fonctions augmentées pour leurs workflows de data science et de machine learning à grande échelle.
« Les data scientists et les ingénieurs en machine learning cherchent continuellement des moyens d'accélérer et d'étendre leurs initiatives de machine learning », déclare Adam Conway, vice-président de la gestion des produits chez Databricks. « En introduisant le concept de low-code et no-code, AutoML représente un changement fondamental dans la façon dont les organisations abordent le machine learning et la data science. Dotée de l’automatisation adéquate, AutoML peut considérablement raccourcir le délai de création de valeur des équipes de data science. »
L’offre de Databricks fournit les fonctions AutoML à différents niveaux de contrôle et d’automatisation.
AutoML Toolkit : pipeline de machine learning automatisé de bout-en-bout, notamment pour l’ingénierie de fonctionnalités, de recherche de modèles, et le déploiement, est disponible via les solutions spécifiques du Databricks Labs. Les exécutions d’AutoML Toolkit sont automatiquement suivies dans MLflow.
Automated Model Search : recherche d’hyperparamètres conditionnels optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow
Automated Hyperparameter Tuning : recherche d’hyperparamètres optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow. Intégration étroite à PySpark MLlib’s Cross Validation pour un suivi automatique des expériences dans MLflow.
Intégration à AzureML: s'appuyant sur la collaboration MLflow open source entre Databricks et Microsoft annoncée en avril, cette intégration permet aux clients d'accéder aux fonctionnalités AutoML offertes par Azure Machine Learning.
Smarter With Gartner, Top 10 Strategic Technology Trends for 2019, October 15, 2018, https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/
« Gartner prévoit que d'ici 2020, plus de 40 % des tâches de data science seront automatisées, ce qui se traduira par une productivité accrue et une utilisation plus large par les citizen data scientists ». Pour accélérer cette automatisation et aider les équipes de data science à apporter une valeur ajoutée à leur entreprise, la plate-forme Unified Analytics de Databricks utilise le machine learning pour ajouter des fonctions augmentées de préparation des données, de visualisation, d'ingénierie des fonctionnalités, de réglage des hyperparamètres, de recherche de modèles, de suivi automatique des modèles, de reproductibilité et de déploiement. Basée sur une intégration avec le framework open source MLflow, cette offre AutoML permet aux citizens data scientists, et pas seulement aux experts, de bénéficier à de fonctions augmentées pour leurs workflows de data science et de machine learning à grande échelle.
« Les data scientists et les ingénieurs en machine learning cherchent continuellement des moyens d'accélérer et d'étendre leurs initiatives de machine learning », déclare Adam Conway, vice-président de la gestion des produits chez Databricks. « En introduisant le concept de low-code et no-code, AutoML représente un changement fondamental dans la façon dont les organisations abordent le machine learning et la data science. Dotée de l’automatisation adéquate, AutoML peut considérablement raccourcir le délai de création de valeur des équipes de data science. »
L’offre de Databricks fournit les fonctions AutoML à différents niveaux de contrôle et d’automatisation.
AutoML Toolkit : pipeline de machine learning automatisé de bout-en-bout, notamment pour l’ingénierie de fonctionnalités, de recherche de modèles, et le déploiement, est disponible via les solutions spécifiques du Databricks Labs. Les exécutions d’AutoML Toolkit sont automatiquement suivies dans MLflow.
Automated Model Search : recherche d’hyperparamètres conditionnels optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow
Automated Hyperparameter Tuning : recherche d’hyperparamètres optimisée et distribuée avec la librairie Hyperopt et un suivi automatisé jusqu’à MLflow. Intégration étroite à PySpark MLlib’s Cross Validation pour un suivi automatique des expériences dans MLflow.
Intégration à AzureML: s'appuyant sur la collaboration MLflow open source entre Databricks et Microsoft annoncée en avril, cette intégration permet aux clients d'accéder aux fonctionnalités AutoML offertes par Azure Machine Learning.
Smarter With Gartner, Top 10 Strategic Technology Trends for 2019, October 15, 2018, https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/
Autres articles
-
Databricks lance la Data Intelligence Platform for Energy, apportant des fonctionnalités d'IA générative au secteur de l'énergie
-
Databricks lance DBRX, un Nouveau Standard pour des Modèles Open Source Efficients
-
Lilac rejoint Databricks pour simplifier l'évaluation des données non structurées pour l'IA générative
-
Databricks s'associe à Mistral AI et intègre les modèles de Mistral AI dans la Data Intelligence Plateform
-
Databricks intègre Einblick, pionnière de l'IA
