Grâce à leur capacité à traiter de grandes quantités de données par «apprentissage» algorithmique plutôt que par programmation traditionnelle, les réseaux neuronaux profonds comme Chat-GPT donnent souvent l’impression d’avoir un potentiel illimité. Mais l’accroissement de la portée et de l’impact de ces systèmes s’est accompagné d’une augmentation de leur taille, de leur complexité et de leur consommation d’énergie, cette dernière étant suffisamment élevée pour susciter des inquiétudes quant à leur contribution aux émissions mondiales de carbone.
Alors que l’on pense souvent aux progrès technologiques en termes de passage de l’analogique au numérique, les spécialistes cherchent désormais des réponses à ce problème dans des alternatives physiques aux réseaux neuronaux profonds numériques. Romain Fleury, du Laboratoire d’ingénierie des ondes (LWE) de la Faculté des sciences et techniques de l’ingénieur de l’EPFL, fait partie de ces scientifiques. Dans un article publié dans la revue Science, Romain Fleury et ses collègues décrivent un algorithme d’entraînement de systèmes physiques qui présente une vitesse et une robustesse accrues, ainsi qu’une consommation d’énergie réduite par rapport à d’autres méthodes.
«Nous avons testé avec succès notre algorithme d’entraînement sur trois systèmes physiques qui utilisent des ondes sonores, des ondes lumineuses et des micro-ondes pour transporter des informations, plutôt que des électrons. Mais notre approche polyvalente peut être utilisée pour entraîner n’importe quel système physique», déclare Ali Momeni, principal auteur de l’étude et chercheur au LWE.
Une approche «biologiquement plus plausible»
Avec l’entraînement des réseaux neuronaux, les systèmes apprennent à générer des valeurs optimales de paramètres pour une tâche telle que la reconnaissance d’images ou de la parole. L’entraînement des réseaux neuronaux comporte généralement deux étapes: un passage vers l’avant, où les données sont envoyées à travers le réseau et une fonction d’erreur est calculée sur la base de la sortie; et un passage vers l’arrière (appelé aussi rétropropagation), où un gradient de la fonction d’erreur est calculé par rapport à tous les paramètres du réseau.
Après plusieurs itérations, le système se met à jour sur la base de ces deux calculs afin de fournir des valeurs de plus en plus précises. Le problème? En plus d’être très énergivore, la rétropropagation est peu adaptée aux systèmes physiques. En effet, l’entraînement de systèmes physiques nécessite généralement un jumeau numérique pour l’étape de rétropropagation, ce qui est inefficace et comporte un risque de décalage entre la réalité et la simulation.
L’idée des scientifiques était de remplacer l’étape de rétropropagation par un second passage vers l’avant dans le système physique pour mettre à jour chaque couche du réseau localement. En plus de baisser la consommation d’énergie et d’éliminer la nécessité d’avoir un jumeau numérique, cette méthode reflète mieux l’apprentissage humain.
«La structure des réseaux neuronaux s’inspire du cerveau, mais il est peu probable que ce dernier apprenne par le biais de la rétropropagation, explique Ali Momeni. L’idée est que si nous entraînons chaque couche physique localement, nous pouvons utiliser notre système physique réel au lieu de commencer par créer un modèle numérique de celui-ci. Nous avons donc développé une approche biologiquement plus plausible.»
Les scientifiques de l’EPFL, en collaboration avec Philipp del Hougne de l’IETR du CNRS et Babak Rahmani de Microsoft Research, ont utilisé leur algorithme d’apprentissage local physique (PhyLL) pour entraîner des systèmes acoustiques et micro-ondes expérimentaux et un système optique modélisé afin de classer des données comme des sons de voyelles et des images. En plus de présenter une précision comparable à celle de l’entraînement basé sur la rétropropagation, la méthode s’est révélée fiable et adaptable, même dans les systèmes exposés à des perturbations externes imprévisibles, par rapport aux méthodes actuelles.
Un futur analogique?
Alors que l’approche du LWE est le premier entraînement sans rétropropagation de réseaux neuronaux physiques profonds, certaines mises à jour numériques des paramètres restent nécessaires. «C’est une approche d’entraînement hybride, mais notre objectif est de réduire autant que possible le calcul numérique», indique Ali Momeni.
Les scientifiques espèrent maintenant mettre en œuvre leur algorithme sur un système optique à petite échelle afin d’augmenter l’extensibilité du réseau.
«Dans nos expériences, nous avons utilisé des réseaux neuronaux comportant jusqu’à 10 couches, mais cela fonctionnerait-il encore avec 100 couches et des milliards de paramètres? Ce sera la prochaine étape. Elle nécessitera de surmonter les limites techniques des systèmes physiques», conclut le chercheur.
Références
Ali Momeni et al, Backpropagation-free training of deep physical neural networks. Science 0, eadi8474 DOI: 10.1126/science.adi8474
Alors que l’on pense souvent aux progrès technologiques en termes de passage de l’analogique au numérique, les spécialistes cherchent désormais des réponses à ce problème dans des alternatives physiques aux réseaux neuronaux profonds numériques. Romain Fleury, du Laboratoire d’ingénierie des ondes (LWE) de la Faculté des sciences et techniques de l’ingénieur de l’EPFL, fait partie de ces scientifiques. Dans un article publié dans la revue Science, Romain Fleury et ses collègues décrivent un algorithme d’entraînement de systèmes physiques qui présente une vitesse et une robustesse accrues, ainsi qu’une consommation d’énergie réduite par rapport à d’autres méthodes.
«Nous avons testé avec succès notre algorithme d’entraînement sur trois systèmes physiques qui utilisent des ondes sonores, des ondes lumineuses et des micro-ondes pour transporter des informations, plutôt que des électrons. Mais notre approche polyvalente peut être utilisée pour entraîner n’importe quel système physique», déclare Ali Momeni, principal auteur de l’étude et chercheur au LWE.
Une approche «biologiquement plus plausible»
Avec l’entraînement des réseaux neuronaux, les systèmes apprennent à générer des valeurs optimales de paramètres pour une tâche telle que la reconnaissance d’images ou de la parole. L’entraînement des réseaux neuronaux comporte généralement deux étapes: un passage vers l’avant, où les données sont envoyées à travers le réseau et une fonction d’erreur est calculée sur la base de la sortie; et un passage vers l’arrière (appelé aussi rétropropagation), où un gradient de la fonction d’erreur est calculé par rapport à tous les paramètres du réseau.
Après plusieurs itérations, le système se met à jour sur la base de ces deux calculs afin de fournir des valeurs de plus en plus précises. Le problème? En plus d’être très énergivore, la rétropropagation est peu adaptée aux systèmes physiques. En effet, l’entraînement de systèmes physiques nécessite généralement un jumeau numérique pour l’étape de rétropropagation, ce qui est inefficace et comporte un risque de décalage entre la réalité et la simulation.
L’idée des scientifiques était de remplacer l’étape de rétropropagation par un second passage vers l’avant dans le système physique pour mettre à jour chaque couche du réseau localement. En plus de baisser la consommation d’énergie et d’éliminer la nécessité d’avoir un jumeau numérique, cette méthode reflète mieux l’apprentissage humain.
«La structure des réseaux neuronaux s’inspire du cerveau, mais il est peu probable que ce dernier apprenne par le biais de la rétropropagation, explique Ali Momeni. L’idée est que si nous entraînons chaque couche physique localement, nous pouvons utiliser notre système physique réel au lieu de commencer par créer un modèle numérique de celui-ci. Nous avons donc développé une approche biologiquement plus plausible.»
Les scientifiques de l’EPFL, en collaboration avec Philipp del Hougne de l’IETR du CNRS et Babak Rahmani de Microsoft Research, ont utilisé leur algorithme d’apprentissage local physique (PhyLL) pour entraîner des systèmes acoustiques et micro-ondes expérimentaux et un système optique modélisé afin de classer des données comme des sons de voyelles et des images. En plus de présenter une précision comparable à celle de l’entraînement basé sur la rétropropagation, la méthode s’est révélée fiable et adaptable, même dans les systèmes exposés à des perturbations externes imprévisibles, par rapport aux méthodes actuelles.
Un futur analogique?
Alors que l’approche du LWE est le premier entraînement sans rétropropagation de réseaux neuronaux physiques profonds, certaines mises à jour numériques des paramètres restent nécessaires. «C’est une approche d’entraînement hybride, mais notre objectif est de réduire autant que possible le calcul numérique», indique Ali Momeni.
Les scientifiques espèrent maintenant mettre en œuvre leur algorithme sur un système optique à petite échelle afin d’augmenter l’extensibilité du réseau.
«Dans nos expériences, nous avons utilisé des réseaux neuronaux comportant jusqu’à 10 couches, mais cela fonctionnerait-il encore avec 100 couches et des milliards de paramètres? Ce sera la prochaine étape. Elle nécessitera de surmonter les limites techniques des systèmes physiques», conclut le chercheur.
Références
Ali Momeni et al, Backpropagation-free training of deep physical neural networks. Science 0, eadi8474 DOI: 10.1126/science.adi8474
Autres articles
-
Des synapses nanofluidiques pour stocker la mémoire computationelle
-
Ensemble pour une intelligence artificielle digne de confiance
-
Le grand modèle de langage de l'EPFL pour le savoir médical
-
Un outil d'analyse de données pour saisir la complexité du monde réel
-
Vers une meilleure prédiction des glissements de terrains argileux
