Actualités : analyse de données, Business Intelligence, Data Science, Big Data


Lilac rejoint Databricks pour simplifier l'évaluation des données non structurées pour l'IA générative


Rédigé par Communiqué de Databricks le 25 Mars 2024

Aujourd'hui, nous sommes ravis d'annoncer que Lilac rejoint Databricks. Lilac est un outil évolutif et facile à utiliser pour les data scientists, qui leur permet de rechercher, de regrouper et d'analyser tout type de données textuelles notamment grâce à l'IA générative. Lilac couvre une large gamme de cas d'utilisations - de l'évaluation de la sortie de grands modèles de langage (LLM) à la compréhension et à la préparation d'ensembles de données non structurées pour l'entraînement de modèles. L'intégration de l'outil Lilac dans Databricks permettra aux utilisateurs d’accélérer le développement d'applications d'IA générative de qualité de production, en utilisant leurs propres données d'entreprise.



Exploration et compréhension des données à l'ère de la GenAI

Les données sont au cœur de tout système basé sur l’IA Générative - qu'il s'agisse de préparer des ensembles de données pour l'entraînement des modèles, d'évaluer les résultats des modèles ou de filtrer les données RAG (Retrieval-Augmented Generation). L'exploration et la compréhension de ces ensembles de données sont essentielles pour construire des applications GenAI de qualité. Cependant, l'analyse de données textuelles non structurées peut devenir très lourde et extrêmement difficile. Historiquement, ce processus a été entaché par des méthodes manuelles chronophage.. Non seulement ces méthodes traditionnelles prennent du temps, mais elles sont également si décourageantes qu'elles en dissuadent plus d'un.

Présentation de Lilac

Lilac, par essence, facilite l'exploration des données non structurées : c'est un outil plébiscité par les data scientist et les chercheurs en intelligence artificielle pour l’exploration, la compréhension et la modification d’ensembles de données textuelles.

Lilac a innové dans ce domaine en offrant une solution évolutive qui encourage et facilite l'intégration des données. Grâce à une interface utilisateur très intuitive et à des fonctionnalités renforcées par l'IA, Lilac permet aux data scientists et aux chercheurs d'explorer des groupes de données, de dériver de nouvelles catégories de données à l'aide de commentaires et de classificateurs, et d'adapter les ensembles de données sur la base de ces informations. L'équipe à l'origine de Lilac a spécifiquement conçu son produit pour permettre l'analyse des résultats des modèles afin d'en déceler les biais ou la toxicité, et la préparation des données pour le RAG et le pré-entraînement des LLM.

La mission principale de Lilac s'aligne sur l'engagement de Databricks à fournir aux utilisateurs des solutions d’IA Générative de bout en bout. Leur projet open source a déjà captivé un large public au sein des communautés de recherche en science des données et en IA - y compris notre propre équipe Mosaic AI, qui a tiré parti de Lilac pour conserver des données au cours de l'année écoulée. Les fondateurs de Lilac, Daniel Smilkov et Nikhil Thorat, ont tous deux passé une décennie chez Google à affiner leur expertise dans le développement de solutions de qualité des données à l'échelle de l'entreprise. Leur expérience, leurs équipes et leur technologie sont des apports considérables pour Databricks.

Perspectives d'avenir : Lilas et Databricks

Databricks Mosaic AI, peut fournir aux utilisateurs des outils clé en main pour développer des applications GenAI de haute qualité en utilisant leurs propres données. La technologie de Lilac facilitera l'évaluation et le suivi des résultats de leurs LLM dans une plateforme unifiée, ainsi que la préparation des ensembles de données pour le RAG, le fine-tuning et le pré-entraînement. Nous sommes impatients de découvrir de nouvelles synergies au fur et à mesure de l'intégration de la technologie de Lilac dans Databricks. Restez à l'écoute !




Nouveau commentaire :
Twitter

Vous pouvez commenter ou apporter un complément d’information à tous les articles de ce site. Les commentaires sont libres et ouverts à tous. Néanmoins, nous nous réservons le droit de supprimer, sans explication ni préavis, tout commentaire qui ne serait pas conforme à nos règles internes de fonctionnement, c'est-à-dire tout commentaire diffamatoire ou sans rapport avec le sujet de l’article. Par ailleurs, les commentaires anonymes sont systématiquement supprimés s’ils sont trop négatifs ou trop positifs. Ayez des opinions, partagez les avec les autres, mais assumez les ! Merci d’avance. Merci de noter également que les commentaires ne sont pas automatiquement envoyés aux rédacteurs de chaque article. Si vous souhaitez poser une question au rédacteur d'un article, contactez-le directement, n'utilisez pas les commentaires.


Twitter
Rss
LinkedIn
Facebook
Apple Podcast
App Store
Google Play Store