IBM et l'ESA lancent TerraMind, le modèle d'Intelligence Artificielle générative le plus performant pour l'observation de la Terre

Par Simonetta Cheli, director of ESA Earth Observation Programmes and Head of ESRIN, Johannes Jakubik, IBM Research scientist et Nicolas Longepe, Earth Observation Data Scientist at ESA, Paris, le 22 avril : Quelles informations un modèle d'intelligence artificielle nécessite-t-il pour véritablement comprendre notre planète ? C'est la question à laquelle des chercheurs d'IBM, de l'ESA, de KP Labs, du Julich Supercomputing Center (JSC) et de l'Agence spatiale allemande (DLR) ont tenté de répondre cette année, dans le cadre d’une initiative de l’ESA visant à améliorer l'accès aux modèles de fondation au sein de la communauté des spécialistes de l'observation de la Terre.

C'est pourquoi IBM et l'ESA publient aujourd'hui TerraMind, un nouveau modèle d'observation de la Terre qui a été rendu disponible en open-source sur la plateforme d’HuggingFace. Ce modèle a été pré-entraîné sur TerraMesh, le plus grand ensemble de données géospatiales existant, construit par les chercheurs dans le cadre du projet TerraMind.

Leader dans le domaine des performances des modèles géospatiaux

TerraMind se distingue par son architecture unique de codeur-décodeur à base de transformateurs symétriques, conçue pour fonctionner avec des entrées de type pixel, jeton et séquence, et pour apprendre les corrélations entre les différentes modalités. Bien qu'il ait été entraîné sur 500 milliards de tokens, TerraMind est un modèle compact et léger, qui utilise 10 fois moins de calcul que les modèles standards pour chaque modalité. Cela signifie que les utilisateurs peuvent le déployer à grande échelle à moindre coût, tout en réduisant la consommation d'énergie globale lors de l'inférence.

« Pour moi, ce qui distingue TerraMind, c'est sa capacité à aller au-delà du simple traitement des observations terrestres à l'aide d'algorithmes de vision par ordinateur. Il a plutôt une compréhension intuitive des données géospatiales et de notre planète », a déclaré Juan Bernabé-Moreno, director of IBM Research UK and Ireland, and IBM's Accelerated Discovery lead for climate and sustainability. « Dans une évaluation de l'ESA, TerraMind a été comparé à 12 modèles de fondation d'observation de la Terre populaires sur PANGAEA, un benchmark standard de la communauté, pour mesurer la performance du modèle sur des tâches réelles, comme la classification de la couverture terrestre, la détection des changements, la surveillance de l'environnement et l'analyse multi-capteurs et multi-temporelle. » L'analyse comparative a montré que TerraMind surpassait les autres modèles de 8 % ou plus sur ces tâches.

« TerraMind associe des informations provenant de plusieurs modalités de données d'entraînement afin d'accroître la précision de ses résultats », a déclaré Simonetta Cheli, director of ESA Earth Observation Programmes and Head of ESRIN. « La capacité à intégrer intuitivement des informations contextuelles et à générer des scénarios inédits est une étape essentielle pour exploiter la valeur des données de l'ESA. Par rapport aux modèles concurrents, elle peut permettre aux chercheurs et aux entreprises de mieux comprendre la Terre ».

Pour prédire le risque de pénurie d'eau, les chercheurs doivent considérer de nombreux facteurs tels que l'utilisation des terres, le climat, la végétation, les activités agricoles et la localisation. Avant TerraMind, ces données étaient dispersées et non intégrées. Grâce à TerraMind, les utilisateurs peuvent désormais prévoir le risque de pénurie d'eau en considérant une vue plus large et plus précise des conditions terrestres.

Neuf millions de points de données, neuf modalités différentes

Lors de la création de l'ensemble de données, les chercheurs ont inclus des données provenant de tous les biomes, types d'utilisation et d'occupation des sols, et régions du monde, ce qui permet d'appliquer le modèle de manière égale à n'importe quelle application, avec des biais limités.

Le jeu de données comprend 9 millions d'échantillons de données spatio-temporelles réparties à l'échelle mondiale et réparties selon neuf modalités de données principales, notamment les observations effectuées par les capteurs des satellites, la géomorphologie de la surface de la Terre, les caractéristiques de surface importantes pour la vie sur Terre (végétation et utilisation des sols) et les bases de la description des lieux et des caractéristiques (latitude, longitude et descriptions textuelles simples).

Self-tunning pour créer des données artificielles

TerraMind est un modèle d'intelligence artificielle révolutionnaire qui dépasse le domaine de l'observation de la Terre. Il est le premier modèle d'IA générative multimodale "any-to-any" pour l'observation de la Terre, ce qui signifie qu'il peut générer des données d'entraînement supplémentaires à partir d'autres modalités. Cette technique, appelée "Thinking-in-Modalities" (TiM) tuning, permet au modèle de se perfectionner lui-même en générant des données pertinentes pour le problème traité.

Le réglage TiM est une approche innovante pour les modèles de vision par ordinateur, similaire à la chaîne de pensée dans les modèles de langage. Les résultats empiriques montrent que le réglage TiM peut améliorer les performances du modèle au-delà du réglage fin normal.

Selon Johannes Jakubik, IBM Research scientist, à Zurich, « le réglage TiM augmente l'efficacité des données en générant des données d'entraînement supplémentaires pertinentes pour le problème traité. Cela peut générer une précision sans précédent lors de la spécialisation de TerraMind pour des cas d'usage particuliers, par exemple en demandant au modèle de 'penser' à l'occupation des sols lorsqu'il s'agit de cartographier des masses d'eau. »

Construire sur une fondation solide

L'utilisation de l'intelligence artificielle (IA) et des techniques de Machine learning pour analyser les données liées à la Terre, telles que les données satellitaires et les modèles d'utilisation des terres, est une approche établie. Des modèles géospatiaux existants, développés par IBM et la NASA, aident les scientifiques à interpréter ces données et à répondre à divers cas d'usage, notamment pour l’agriculture de haute précision, la gestion des catastrophes naturelles, la surveillance de l'environnement (eau, chaleur, sécheresse), la planification urbaine et régionale, la surveillance des infrastructures critiques, la surveillance de la sylviculture et de la biodiversité et bien plus encore.

Toutefois, ces modèles géospatiaux existants traitent des données provenant de sources qui ne peuvent pas toujours appréhender la complexité des conditions réelles de notre planète. Par exemple, les satellites qui orbitent autour de la Terre fournissent des données temporelles sur les événements naturels, mais ils ne reviennent au même endroit que tous les cinq jours. Cela peut être suffisant pour analyser les tendances climatiques à long terme, mais cela peut rendre difficile le suivi des événements climatiques à court terme, tels que les incendies de forêt ou les inondations. Lorsque chaque jour compte, les chercheurs ont besoin de données récentes et précises pour faire des prévisions ou évaluer les risques à l'aide de modèles d'intelligence artificielle.

Pour relever ce défi, les chercheurs d'IBM ont uni leurs forces avec l'Agence spatiale européenne (ESA) pour développer un nouveau modèle de fondation d'IA multimodale. Ce modèle a été créé en combinant les compétences techniques d'IBM en matière de préparation des données et de construction de modèles de fondation avec les données précieuses d'observation de la Terre de l'ESA et leur expertise en matière d'évaluation de modèles. Le modèle a été formé en utilisant l'infrastructure et l'expertise du Centre de supercalcul de Jülich et d'autres partenaires ont contribué au processus de développement en menant des expériences de mise à l'échelle et en préparant des applications de réduction d'échelle.

Un projet continu

TerraMind s'inscrit dans la continuité des projets d'IBM pour utiliser l'intelligence artificielle (IA) pour explorer notre planète. Actuellement, les gouvernements, les entreprises et les institutions publiques utilisent les modèles de géospatialité d'IBM, tels que les modèles IBM-NASA Prithvi et les modèles géospatiaux spécialisés IBM Granite, pour étudier les changements dans les categories de catastrophes, dans la biodiversité et l'utilisation des terres, ainsi que pour détecter et prédire les phénomènes météorologiques violents.

Les experts de la NASA ont également contribué à la validation de TerraMind dans le cadre de l’initiative Open Science de la NASA. Tous les modèles géospatiaux d'IBM sont disponibles sur les plateformes d’Hugging Face et IBM Geospatial Studio.

« En combinant la science et la technologie de l'observation de la Terre avec la collaboration internationale, nous pouvons pleinement exploiter le potentiel des données spatiales pour protéger notre planète », a déclaré Nicolas Longepe, Earth Observation Data Scientist at ESA. « Ce projet est un exemple parfait de collaboration réussie entre la communauté scientifique, les grandes entreprises technologiques et les experts pour exploiter le potentiel de la technologie au service des sciences de la Terre. La synergie entre les experts des données d'observation de la Terre, les spécialistes de Machine learning, les scientifiques des données et les ingénieurs en calcul haute performance (HPC) est magique. »