Les modèles d'IA sont porcs de puissance.

À mesure que les algorithmes se développent et deviennent plus complexes, ils mettent de plus en plus à l’épreuve les puces informatiques actuelles. Plusieurs entreprises ont conçu des puces adaptées à l’IA pour réduire la consommation d’énergie. Mais ils reposent tous sur une règle fondamentale : ils utilisent l’électricité.

Ce mois-ci, une équipe de l’Université Tsinghua en Chine a modifié la recette. Ils construit une puce de réseau neuronal qui utilise la lumière plutôt que l'électricité pour exécuter des tâches d'IA à une fraction du coût énergétique de Le H100 de NVIDIA, une puce de pointe utilisée pour entraîner et exécuter des modèles d'IA.

Appelée Taichi, la puce combine deux types de traitement basé sur la lumière dans sa structure interne. Par rapport au précédent puces optiques, le Taichi est beaucoup plus précis pour des tâches relativement simples telles que la reconnaissance de chiffres manuscrits ou d'autres images. Contrairement à ses prédécesseurs, la puce peut également générer du contenu. Il peut créer des images de base dans un style basé sur l'artiste néerlandais Vincent van Gogh, par exemple, ou des numéros musicaux classiques inspirés de Johann Sebastian Bach.

Une partie de l'efficacité de Taichi est due à sa structure. La puce est composée de plusieurs composants appelés chiplets. Semblable à l’organisation du cerveau, chaque chiplet effectue en parallèle ses propres calculs dont les résultats sont ensuite intégrés aux autres pour parvenir à une solution.

Confronté au problème délicat de la séparation des images sur 1,000 92 catégories, Taichi a réussi dans près de XNUMX % des cas, égalant les performances actuelles de la puce, mais réduisant la consommation d'énergie de plus de mille fois.

Pour l’IA, « la tendance à traiter des tâches plus avancées [est] irréversible », écrivent les auteurs. « Taichi ouvre la voie à l’informatique photonique [basée sur la lumière] à grande échelle », conduisant à une IA plus flexible avec des coûts énergétiques inférieurs.

Puce sur l'épaule

Les puces informatiques d’aujourd’hui ne s’intègrent pas bien à l’IA.

Une partie du problème est structurelle. Le traitement et la mémoire sur les puces traditionnelles sont physiquement séparés. La navette de données entre eux prend énormément de temps et d’énergie.

Bien qu'efficace pour résoudre des problèmes relativement simples, la configuration est incroyablement gourmande en énergie lorsqu'il s'agit d'IA complexe, comme les grands modèles de langage qui alimentent ChatGPT.

Le principal problème réside dans la manière dont les puces informatiques sont construites. Chaque calcul repose sur des transistors, qui s'allument ou s'éteignent pour représenter les 0 et les 1 utilisés dans les calculs. Les ingénieurs ont considérablement réduit les transistors au fil des décennies afin de pouvoir en entasser toujours plus sur les puces. Mais la technologie actuelle des puces se dirige vers un point de rupture où nous ne pouvons pas aller plus petit.

Les scientifiques cherchent depuis longtemps à réorganiser les puces actuelles. Une stratégie inspirée du cerveau repose sur des « synapses » – le « dock » biologique reliant les neurones – qui calculent et stockent les informations au même endroit. Ces puces inspirées du cerveau, ou neuromorphiques, réduisent considérablement la consommation d'énergie et accélèrent les calculs. Mais comme les puces actuelles, elles dépendent de l’électricité.

Une autre idée consiste à utiliser un mécanisme informatique complètement différent : la lumière. « L’informatique photonique » « attire une attention toujours croissante », écrivent les auteurs. Plutôt que d’utiliser l’électricité, il pourrait être possible de détourner des particules lumineuses pour alimenter l’IA à la vitesse de la lumière.

Let There Be Light

Par rapport aux puces électriques, la lumière consomme beaucoup moins d’énergie et peut effectuer simultanément plusieurs calculs. En exploitant ces propriétés, les scientifiques ont construit des réseaux de neurones optiques qui utilisent des photons (des particules de lumière) pour les puces d'IA, au lieu de l'électricité.

Ces puces peuvent fonctionner de deux manières. Dans l’un d’entre eux, des puces diffusent des signaux lumineux dans des canaux techniques qui combinent finalement les rayons pour résoudre un problème. Appelés diffraction, ces réseaux de neurones optiques regroupent étroitement les neurones artificiels et minimisent les coûts énergétiques. Mais ils ne peuvent pas être facilement modifiés, ce qui signifie qu’ils ne peuvent fonctionner que sur un problème simple et unique.

Une configuration différente dépend d’une autre propriété de la lumière appelée interférence. Comme les vagues de l’océan, les ondes lumineuses se combinent et s’annulent. Lorsqu’ils se trouvent à l’intérieur des micro-tunnels d’une puce, ils peuvent entrer en collision pour se renforcer ou s’inhiber mutuellement : ces modèles d’interférence peuvent être utilisés pour les calculs. Les puces basées sur les interférences peuvent être facilement reconfigurées à l'aide d'un dispositif appelé interféromètre. Le problème est qu’ils sont physiquement volumineux et consomment des tonnes d’énergie.

Ensuite, il y a le problème de la précision. Même dans les canaux sculptés souvent utilisés pour les expériences d’interférence, la lumière rebondit et se disperse, ce qui rend les calculs peu fiables. Pour un seul réseau de neurones optiques, les erreurs sont tolérables. Mais avec des réseaux optiques plus grands et des problèmes plus sophistiqués, le bruit augmente de façon exponentielle et devient intenable.

C'est pourquoi les réseaux de neurones basés sur la lumière ne peuvent pas être facilement étendus. Jusqu’à présent, ils n’ont pu résoudre que des tâches de base, comme reconnaître des chiffres ou des voyelles.

"Agrandir l'échelle des architectures existantes n'améliorerait pas proportionnellement les performances", a écrit l'équipe.

Double Trouble

La nouvelle IA, Taichi, a combiné les deux caractéristiques pour pousser les réseaux de neurones optiques vers une utilisation dans le monde réel.

Plutôt que de configurer un seul réseau neuronal, l’équipe a utilisé une méthode chiplet, qui déléguait différentes parties d’une tâche à plusieurs blocs fonctionnels. Chaque bloc avait ses propres atouts : l’un d’entre eux était destiné à analyser la diffraction, ce qui permettait de compresser de grandes quantités de données en peu de temps. Un autre bloc était intégré à des interféromètres pour fournir des interférences, permettant ainsi à la puce d'être facilement reconfigurée entre les tâches.

Par rapport à l’apprentissage profond, Taichi a adopté une approche « superficielle » dans laquelle la tâche est répartie sur plusieurs chiplets.

Avec les structures standard d’apprentissage profond, les erreurs ont tendance à s’accumuler au fil des couches et du temps. Cette configuration élimine dans l’œuf les problèmes liés au traitement séquentiel. Lorsqu'il est confronté à un problème, Taichi répartit la charge de travail sur plusieurs clusters indépendants, ce qui facilite la résolution de problèmes plus importants avec un minimum d'erreurs.

La stratégie a porté ses fruits.

Taichi a une capacité de calcul de 4,256 14 neurones artificiels au total, avec près de 1,000 millions de paramètres imitant les connexions cérébrales qui codent l’apprentissage et la mémoire. Lors du tri des images en 92 XNUMX catégories, la puce photonique était précise à près de XNUMX %, comparable aux « réseaux neuronaux électroniques actuellement populaires », a écrit l'équipe.

La puce a également excellé dans d’autres tests standard de reconnaissance d’images d’IA, tels que l’identification de caractères manuscrits de différents alphabets.

En guise de test final, l'équipe a mis l'IA photonique au défi de saisir et de recréer du contenu dans le style de différents artistes et musiciens. Lorsqu'elle est formée au répertoire de Bach, l'IA finit par apprendre la hauteur et le style général du musicien. De même, les images de Van Gogh ou d'Edvard Munch, l'artiste derrière le célèbre tableau, Le cri- introduit dans l'IA lui a permis de générer des images dans un style similaire, même si beaucoup ressemblaient à une récréation pour un tout-petit.

Les réseaux de neurones optiques ont encore beaucoup à faire. Mais s’ils sont utilisés à grande échelle, ils pourraient constituer une alternative plus économe en énergie aux systèmes d’IA actuels. Taichi est plus de 100 fois plus économe en énergie que les itérations précédentes. Mais la puce nécessite toujours des lasers pour l’alimentation et les unités de transfert de données, difficiles à condenser.

Ensuite, l’équipe espère intégrer des mini-lasers et d’autres composants facilement disponibles dans une seule puce photonique cohérente. Pendant ce temps, ils espèrent que Taichi « accélérera le développement de solutions optiques plus puissantes » qui pourraient éventuellement conduire à « une nouvelle ère » d’IA puissante et économe en énergie.

Crédit image: spainter_vfx / Shutterstock.com

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/