Het brein is een uitzonderlijk krachtige computermachine. Wetenschappers hebben lang geprobeerd de innerlijke werking ervan in mechanische geesten na te bootsen.

Mogelijk heeft een team van IBM de code gekraakt Noordpool, een volledig digitale chip die de structuur en efficiëntie van de hersenen nabootst. Tegenover de modernste grafische verwerkingseenheden (GPU's) – de chips die het meest worden gebruikt om AI-programma's uit te voeren – zegevierde IBM's hersenachtige chip in verschillende standaardtests, terwijl hij tot 96 procent minder energie verbruikte.

IBM is geen onbekende op het gebied van op de hersenen geïnspireerde chips. Van TrueNorth naar Spinnakerhebben ze tien jaar lang gebruik gemaakt van de architectuur van de hersenen om AI-algoritmen beter uit te voeren.

Project tot project was het doel hetzelfde: hoe kunnen we snellere, energiezuinigere chips bouwen waarmee kleinere apparaten – zoals onze telefoons of computers in zelfrijdende auto’s – AI op de ‘edge’ kunnen laten draaien. Edge computing kan problemen in realtime monitoren en erop reageren zonder dat er verzoeken naar externe serverfarms in de cloud hoeven te worden gestuurd. Net als de overstap van inbelmodems naar glasvezelinternet, kunnen deze chips ook grote AI-modellen versnellen met minimale energiekosten.

Het probleem? De hersenen zijn analoog. Traditionele computerchips maken daarentegen gebruik van digitale verwerking: nullen en enen. Als je ooit hebt geprobeerd een oude VHS-band om te zetten in een digitaal bestand, weet je dat dit geen eenvoudig proces is. Tot nu toe maken de meeste chips die de hersenen nabootsen gebruik van analoog computergebruik. Helaas zijn deze systemen luidruchtig en kunnen fouten er gemakkelijk doorheen glippen.

Met NorthPole ging IBM volledig digitaal. De chip bevat 22 miljard transistors op 256 kernen en neemt de signalen van de hersenen over door computer- en geheugenmodules naast elkaar te plaatsen. Geconfronteerd met een taak, neemt elke kern een deel van een probleem op zich. Maar net als zenuwvezels in de hersenen verbinden langeafstandsverbindingen modules, zodat ook zij informatie kunnen uitwisselen.

Dit delen is een ‘innovatie’, zei Drs. Subramanian Iyer en Vwani Roychowdhury aan de Universiteit van Californië, Los Angeles (UCLA), die niet bij het onderzoek betrokken waren.

De chip is vooral relevant in het licht van steeds duurdere, energievretende AI-modellen. Omdat NorthPole volledig digitaal is, sluit het ook aan bij bestaande productieprocessen – de verpakking van transistors en bedrade verbindingen – waardoor het mogelijk gemakkelijker wordt om op schaal te produceren.

De chip vertegenwoordigt “neurale gevolgtrekkingen aan de grens van energie, ruimte en tijd”, aldus de auteurs schreef in hun artikel, gepubliceerd in Wetenschap.

Geest versus machine

Van DALL-E tot ChatGTP: generatieve AI heeft de wereld stormenderhand veroverd met zijn schokkend mensachtige, op tekst gebaseerde reacties en afbeeldingen.

Maar volgens auteur Dr. Dharmendra S. Modha bevindt generatieve AI zich op een onhoudbaar pad. De software is getraind op basis van miljarden voorbeelden (vaak van internet geplukt) om reacties te genereren. Zowel het maken van de algoritmen als het uitvoeren ervan vereist enorme hoeveelheden rekenkracht, wat resulteert in hoge kosten, verwerkingsvertragingen en een grote ecologische voetafdruk.

Deze populaire AI-modellen zijn losjes geïnspireerd op de innerlijke werking van de hersenen. Maar ze passen niet goed bij onze huidige computers. De hersenen verwerken en slaan herinneringen op dezelfde locatie op. Computers verdelen het geheugen en de verwerking daarentegen in afzonderlijke blokken. Deze opstelling pendelt gegevens heen en weer voor elke berekening, en het verkeer kan zich opstapelen, wat knelpunten, vertragingen en verspilling van energie veroorzaakt.

Het is een ‘databewegingscrisis’, schreef het team. We hebben ‘dramatisch efficiëntere methoden nodig’.

Eén idee is om analoge computerchips te bouwen die vergelijkbaar zijn met hoe de hersenen functioneren. In plaats van gegevens te verwerken met behulp van een systeem van discrete nullen en enen, zoals aan- of uitschakelaars voor licht, functioneren deze chips meer als lichtdimmers. Omdat elk computerknooppunt meerdere toestanden kan vastleggen, is dit type computergebruik sneller en energiezuiniger.

Helaas hebben analoge chips ook last van fouten en ruis. Net als bij het afstellen van een schakelaar met een lichtdimmer, kan zelfs een kleine fout de uitvoer veranderen. Hoewel flexibel en energiezuinig, zijn de chips lastig om mee te werken bij het verwerken van grote AI-modellen.

Een match Made in Heaven

Wat als we de flexibiliteit van neuronen zouden combineren met de betrouwbaarheid van digitale processors?

Dat is het rijconcept voor NorthPole. Het resultaat is een chip ter grootte van een postzegel die de beste GPU's in verschillende standaardtests kan verslaan.

De eerste stap van het team was om de gegevensverwerking over meerdere kernen te verdelen, terwijl de geheugen- en computermodules in elke kern fysiek dicht bij elkaar bleven.

Eerdere analoge chips, zoals IBM's TrueNorth, gebruikten een speciaal materiaal om rekenkracht en geheugen op één locatie te combineren. In plaats van analoog te gaan met niet-standaard materialen, plaatst de NorthPole-chip standaard geheugen- en verwerkingscomponenten naast elkaar.

De rest van het ontwerp van NorthPole is gebaseerd op de grotere organisatie van de hersenen.

De chip heeft een gedistribueerde reeks kernen zoals de cortex, de buitenste laag van de hersenen die verantwoordelijk is voor waarneming, redenering en besluitvorming. Elk deel van de cortex verwerkt verschillende soorten informatie, maar deelt ook berekeningen en zendt resultaten uit over de hele regio.

Geïnspireerd door deze communicatiekanalen bouwde het team twee netwerken op de chip om het geheugen te democratiseren. Net als neuronen in de cortex heeft elke kern toegang tot berekeningen binnen zichzelf, maar heeft hij ook toegang tot een globaal geheugen. Deze opstelling maakt een einde aan de hiërarchie in de gegevensverwerking, waardoor alle kernen tegelijkertijd een probleem kunnen aanpakken en tegelijkertijd hun resultaten kunnen delen, waardoor een veelvoorkomend knelpunt bij de berekening wordt geëlimineerd.

Het team heeft ook software ontwikkeld die op slimme wijze een probleem in zowel ruimte als tijd naar elke kern delegeert, zodat er geen computerbronnen verloren gaan of met elkaar in botsing komen.

De software “maakt gebruik van de volledige mogelijkheden van de [chip]-architectuur”, legden ze uit in het artikel, terwijl ze hielp bij het integreren van “bestaande applicaties en workflows” in de chip.

Vergeleken met TrueNorth, de vorige op het brein geïnspireerde analoge chip van IBM, kan NorthPole AI-modellen ondersteunen die 640 keer groter zijn, en 3,000 keer meer berekeningen vergen. En dat allemaal met slechts vier keer zoveel transistors.

Een digitale hersenprocessor

Het team zette NorthPole vervolgens tegenover verschillende GPU-chips in een reeks prestatietests.

NorthPole was 25 keer efficiënter toen hij met hetzelfde probleem werd geconfronteerd. De chip verwerkte gegevens ook razendsnel in vergelijking met GPU's in twee moeilijke AI-benchmarktests.

Op basis van de eerste tests is NorthPole al bruikbaar voor realtime gezichtsherkenning of het ontcijferen van taal. In theorie zou de snelle responstijd zelfrijdende auto's ook kunnen helpen bij het nemen van beslissingen in een fractie van een seconde.

Computerchips staan ​​op een kruispunt. Sommige experts zijn van mening dat de wet van Moore – die stelt dat het aantal transistors op een chip elke twee jaar verdubbelt – op de rand van de dood staat. Hoewel ze nog in de kinderschoenen staan, winnen alternatieve computerstructuren, zoals hersenachtige hardware en quantum computing, aan kracht.

Maar NorthPole laat zien dat halfgeleidertechnologie nog steeds veel te bieden heeft. Momenteel zitten er 37 miljoen transistors per vierkante millimeter op de chip. Maar op basis van projecties zou de opstelling gemakkelijk kunnen worden uitgebreid tot twee miljard, waardoor grotere algoritmen op één chip kunnen worden uitgevoerd.

“Architectuur overtroeft de wet van Moore”, schreef het team.

Ze geloven dat innovatie op het gebied van chipontwerp, zoals NorthPole, kortetermijnoplossingen zou kunnen bieden voor de ontwikkeling van steeds krachtigere, maar hulpbronnenverslindende AI.

Afbeelding tegoed: IBM

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://singularityhub.com/2023/10/24/this-brain-like-ibm-chip-could-drastically-cut-the-cost-of-ai/