L'impact potentiel et positif de l'IA sur la société dans son ensemble est impossible à surestimer. L'IA omniprésente reste cependant un défi. Les algorithmes de formation peuvent prendre des quantités excessives de puissance, de temps et de capacité de calcul. L'inférence deviendra également plus exigeante avec des applications telles que l'imagerie médicale et la robotique. Applied Materials estime que l'IA pourrait consommer jusqu'à 25% de l'électricité mondiale (contre 5 % actuellement) à moins que nous ne réalisions des percées dans les processeurs, les logiciels, la science des matériaux, la conception de systèmes, la mise en réseau et d'autres domaines.
Il existe aujourd'hui deux directions principales pour le développement des technologies de calcul et d'IA : les systèmes à grande échelle et les systèmes massivement distribués en périphérie/omniprésents. Ils viennent tous les deux avec un mélange de défis similaires et divergents.
D'un point de vue matériel, voici ce que je pense être les principaux domaines nécessitant des améliorations.
1. Traitement spécialisé. Les architectures informatiques ont connu un tournant important en 2006. Gains de performance grâce à la loi de Moore et Détartrage de Dennard est devenu plus coûteux et problématique. Dans le même temps, les co-processeurs faisaient leur retour. NVIDIA a sorti le G80, son premier GPU destiné aux serveurs cette année. La première efforts développer des processeurs d'IA a également commencé à l'époque.
Depuis lors, les GPU sont devenus omniprésents dans AI HPC. Plus de 50 entreprises développent des processeurs d'IA, y compris Google, Qualcomm, Amazon, Facebook, Samsung et bien d'autres. Et les unités de traitement de données (DPU) pour le réseau, le stockage et la sécurité deviennent un élément permanent dans les nuages et les ordinateurs exascale.
Le défi des trois prochaines années consistera à trouver la combinaison magiquement délicieuse pour différentes applications d'IA. La formation ML basée sur le cloud sera-t-elle mieux servie avec processeurs à l'échelle de la tranche or chips dans les ordinateurs Exascale ? Ou quel niveau de formation devrait avoir lieu sur les appareils dans un système massivement distribué ? Nous avons une bonne partie de la technologie de base pour l'IA cloud et edge. Ce dont nous aurons besoin, ce sont davantage d'architectures dédiées à l'IA, ainsi qu'une configuration et une optimisation intelligentes du système dynamique basées sur ML.
2. Proche du traitement des données. Plus de 60 % de l'énergie utilisée par les ordinateurs est consommée pour faire la navette entre les données entre les unités de stockage, de mémoire et de traitement. La réduction ou même l'élimination d'une grande partie de ce trajet numérique peut réduire considérablement la consommation d'énergie et réduire la latence. Le traitement en mémoire, où une minuscule unité de traitement dédiée est intégrée dans la mémoire vive, aura du sens dans les centres de données et le calcul exascale en général.
À la périphérie, être capable de traiter les données dans le capteur, ou du moins avant qu'elles ne soient diffusées en continu ou envoyées à un appareil distant, pourrait être un moyen de réduire considérablement le transit et le stockage des données. Seuls les événements ou données significatifs seraient transférés à un service distant et uniquement lorsqu'un moteur intelligent à la périphérie l'aurait dit.
Comme le traitement spécialisé, il s'agit d'une innovation à court terme.
3. Processeurs non CMOS. Comme je l'ai écrit dans mon dernier article, des processeurs peu coûteux et facilement intégrables fabriqués avec des transistors et/ou des substrats flexibles ouvriront la voie pour réduire le gaspillage alimentaire, trouver des fuites d'eau ou encourager le recyclage. Certaines de ces balises seront simplement des capteurs intelligents envoyant des données brutes, mais elles tireront de plus en plus parti de l'apprentissage automatique pour réduire le trafic de données et augmenter la « valeur » de leurs communications.
Recherche sur les bras, en conjonction avec Semiconducteur PragmatIC, l'année dernière a montré Bras en plastique, un réseau de neurones expérimental imprimé à un prix abordable avec un capteur qui pourrait être utilisé pour ces tâches. Les conceptions de processeurs, les outils EDA, les équipements de fabrication et les logiciels devront tous être développés et intégrés dans une plate-forme d'électronique imprimée en tant que service de bout en bout. L'identification d'une application killer déterminera la prochaine étape et la vitesse de développement pour ce domaine.
4. Traitement basé sur les événements/seuil. prophétiser a développé un processeur d'image basé sur les événements avec des pixels qui fonctionnent indépendamment les uns des autres. Les données sont mises à jour uniquement lorsque des changements se produisent, et non selon un cycle synchronisé sur l'imageur, similaire au fonctionnement de l'œil humain. Cela réduit considérablement la quantité de données capturées, permettant des vitesses allant jusqu'à 10,000 XNUMX images par seconde. La consommation d'énergie, la latence et les frais de calcul sont tous réduits tandis que la résolution de l'image est améliorée.
Imaginez prendre une image d'une course de ski alpin : la mécanique corporelle d'un coureur individuel pourrait être capturée dans les moindres détails en éliminant les mises à jour inutiles d'un ciel statique. Les accidents de voiture pourraient être reconstitués avec plus de précision.
Au-delà de la vision par ordinateur, les dispositifs sensoriels basés sur les événements pourraient être utilisés pour rationaliser l'analyse des vibrations, la reconnaissance vocale et d'autres calculs dans les applications gourmandes en données. Imaginez un tatouage intelligent qui ne transmettrait que des événements significatifs concernant vos biosignaux à votre montre intelligente ou à votre fournisseur de soins de santé une fois qu'un seuil ou une chaîne d'événements est atteint. Vous seriez en mesure de surveiller en temps réel sur un flux de données, avec un système de calcul minuscule, certaines caractéristiques d'un événement d'un état du système, ou d'une émotion humaine, ou de prédire la divergence dans certaines maladies cognitives.
5. Processeurs neuromorphiques. Il est possible de concevoir des réseaux de neurones impulsionnels artificiels ou plus généralement des composants électroniques, de manière à s'inspirer de l'architecture du cerveau humain. Carver Mead a théorisé pour la première fois les processeurs neuromorphiques dans les années 80. Mais encore aujourd'hui, seules quelques puces expérimentales telles que SpiNNaker 1 et Spinnaker 2, une plate-forme de processeurs de 10 millions de cœurs optimisée pour la simulation de réseaux de neurones à pointes, existe.
L'informatique neuromorphique semble très prometteuse, mais continue de nécessiter des percées dans la formation de modèles, les outils de développement ML et d'autres technologies. Nous avons également besoin de matériel qui s'adapte à différents cas d'utilisation : le chipset de la taille d'une tranche ne fonctionnera pas pour les applications orientées basse consommation. Bien que la recherche neuromorphique ait principalement ciblé les systèmes exascale, il peut être judicieux de concentrer autant d'énergie sur des applications telles que la détection de mots-clés à ultra-basse consommation, la détection d'événements pour les véhicules autonomes ou d'autres cas d'utilisation du traitement de flux de données. Les progrès pourraient être plus rapides et les concepts révolutionnaires pourraient être étendus. La future application phare pour la neuromorphique ne sera peut-être pas dans les systèmes exascale mais plutôt dans le calcul de périphérie orienté basse consommation.
6. Refroidissement ambiant extrême. Des centres de données ont été installés dans des mines abandonnées, des abris anti-bombes souterrains et des ports urbains pour réduire les charges de refroidissement mécanique. Le refroidissement liquide semble également faire son grand retour.
La cryoinformatique, si elle est spécifiquement conçue pour tirer parti des phénomènes physiques qui surviennent à des températures cryogéniques, pourrait offrir des avantages significatifs en termes de performances par watt. Ce qui est essentiel, c'est d'explorer les optimisations de conception des matériaux aux dispositifs aux systèmes. Un effort de l'industrie sera nécessaire pour donner vie à la technologie pour une application à grande échelle dans les centres de données et/ou pour les systèmes informatiques exascale, mais les premières investigations semblent très prometteuses et méritent une exploration plus approfondie.
7. Architectures sans calcul. Si nous examinons plus en détail les modèles bio-inspirés potentiels, nous pourrions explorer comment reproduire la manière dont notre mémoire implicite à long terme nous permet d'accomplir efficacement des exploits connus mais complexes, comme conduire une voiture en sens inverse ou lire un livre en fusionnant pas à pas. processus par étapes en une procédure relativement automatisée.
Dans un monde informatique, le système serait capable de s'appuyer sur des fonctions apprises ou expérientielles, pour raccourcir les tâches intensives en calcul lorsqu'elles ont déjà été effectuées une fois. À un niveau élevé, un système de calcul zéro comprendrait un mécanisme capable de reconnaître si une application est nouvelle ou apprise, un processus d'exécution des tâches apprises et une bibliothèque de fonctions apprises pour une relecture future. Nous pourrions bien sûr affirmer qu'il ne s'agit pas vraiment d'un calcul nul, mais d'un calcul proche de zéro. Néanmoins, cela pourrait réduire un nombre considérable de calculs.
Comme chez les humains, nous devrions être conscients des compromis entre l'exécution de tâches par cœur et l'examen critique de chaque processus. Mais en supposant que l'équilibre fonctionne entre une grande quantité de tâches connues et le recalcul, nous pourrions imaginer un système intelligent exascale divisant le monde de l'informatique entre le connu et l'inconnu et distribuant la réponse à une quantité massive de systèmes stupides.
Ce n'est bien sûr qu'un début. Au fur et à mesure que l'IA se répandra, le besoin de plus de performances et d'efficacité au niveau matériel augmentera également.
Le poste Sept avancées matérielles dont nous avons besoin pour activer la révolution de l'IA apparaît en premier sur Ingénierie des semi-conducteurs.
