AI-modellen zijn dat wel machtsvarkens.

Naarmate de algoritmen groeien en complexer worden, belasten ze de huidige computerchips steeds meer. Meerdere bedrijven hebben chips ontworpen die zijn afgestemd op AI om het stroomverbruik te verminderen. Maar ze zijn allemaal gebaseerd op één fundamentele regel: ze gebruiken elektriciteit.

Deze maand heeft een team van de Tsinghua Universiteit in China het recept gewijzigd. Zij bouwde een neurale netwerkchip dat licht gebruikt in plaats van elektriciteit om AI-taken uit te voeren tegen een fractie van de energiekosten van NVIDIA's H100, een ultramoderne chip die wordt gebruikt om AI-modellen te trainen en uit te voeren.

De chip, genaamd Taichi, combineert twee soorten op licht gebaseerde verwerking in zijn interne structuur. Vergeleken met vorige optische chipsTaichi is veel nauwkeuriger voor relatief eenvoudige taken, zoals het herkennen van handgeschreven cijfers of andere afbeeldingen. In tegenstelling tot zijn voorgangers kan de chip ook inhoud genereren. Het kan basisbeelden maken in een stijl die bijvoorbeeld gebaseerd is op de Nederlandse kunstenaar Vincent van Gogh, of klassieke muzieknummers geïnspireerd door Johann Sebastian Bach.

Een deel van de efficiëntie van Taichi is te danken aan de structuur. De chip bestaat uit meerdere componenten, chiplets genoemd. Net als bij de organisatie van de hersenen voert elke chiplet parallel zijn eigen berekeningen uit, waarvan de resultaten vervolgens met de andere worden geïntegreerd om tot een oplossing te komen.

Geconfronteerd met het uitdagende probleem van het scheiden van afbeeldingen in meer dan 1,000 categorieën, was Taichi bijna 92 ​​procent van de tijd succesvol, waarbij hij de huidige chipprestaties evenaarde, maar het energieverbruik meer dan duizend keer terugdrong.

Voor AI is “de trend om met meer geavanceerde taken om te gaan onomkeerbaar”, schreven de auteurs. “Taichi maakt de weg vrij voor grootschalig fotonisch [lichtgebaseerd] computergebruik”, wat leidt tot flexibelere AI met lagere energiekosten.

Chip op de schouder

De huidige computerchips passen niet goed bij AI.

Een deel van het probleem is structureel. Verwerking en geheugen op traditionele chips zijn fysiek gescheiden. Het onderling pendelen van gegevens kost enorme hoeveelheden energie en tijd.

Hoewel efficiënt voor het oplossen van relatief eenvoudige problemen, is de installatie ongelooflijk energievretend als het gaat om complexe AI, zoals de grote taalmodellen die ChatGPT aandrijven.

Het grootste probleem is hoe computerchips worden gebouwd. Elke berekening is gebaseerd op transistors, die aan of uit gaan om de nullen en enen weer te geven die in de berekeningen worden gebruikt. Ingenieurs hebben de transistoren de afgelopen decennia dramatisch verkleind, zodat ze steeds meer chips op chips kunnen proppen. Maar de huidige chiptechnologie nadert een breekpunt waarop we niet kleiner kunnen worden.

Wetenschappers hebben lang geprobeerd de huidige chips te vernieuwen. Eén strategie geïnspireerd door de hersenen is gebaseerd op ‘synapsen’ – het biologische ‘dock’ dat neuronen verbindt – die informatie op dezelfde locatie berekenen en opslaan. Deze op het brein geïnspireerde, of neuromorfe, chips verminderen het energieverbruik en versnellen berekeningen. Maar net als de huidige chips zijn ze afhankelijk van elektriciteit.

Een ander idee is om een ​​heel ander computermechanisme te gebruiken: licht. ‘Photonic computing’ trekt ‘steeds groeiende aandacht’, schreven de auteurs. In plaats van elektriciteit te gebruiken, kan het mogelijk zijn om lichtdeeltjes te kapen om AI met de snelheid van het licht aan te drijven.

Let There Be Light

Vergeleken met op elektriciteit gebaseerde chips gebruikt licht veel minder stroom en kan het tegelijkertijd meerdere berekeningen uitvoeren. Door gebruik te maken van deze eigenschappen hebben wetenschappers optische neurale netwerken gebouwd die fotonen (lichtdeeltjes) gebruiken voor AI-chips, in plaats van elektriciteit.

Deze chips kunnen op twee manieren werken. In één daarvan verspreiden chips lichtsignalen in speciaal ontworpen kanalen die uiteindelijk de stralen combineren om een ​​probleem op te lossen. Deze optische neurale netwerken, genaamd diffractie, bundelen kunstmatige neuronen dicht bij elkaar en minimaliseren de energiekosten. Maar ze kunnen niet gemakkelijk worden veranderd, wat betekent dat ze slechts aan één enkel eenvoudig probleem kunnen werken.

Een andere opstelling is afhankelijk van een andere eigenschap van licht, genaamd interferentie. Net als oceaangolven combineren lichtgolven elkaar en heffen ze elkaar op. Wanneer ze zich in microtunnels op een chip bevinden, kunnen ze botsen om elkaar te versterken of te remmen. Deze interferentiepatronen kunnen worden gebruikt voor berekeningen. Chips op basis van interferentie kunnen eenvoudig opnieuw worden geconfigureerd met behulp van een apparaat dat een interferometer wordt genoemd. Het probleem is dat ze fysiek omvangrijk zijn en tonnen energie verbruiken.

Dan is er het probleem van de nauwkeurigheid. Zelfs in de gebeeldhouwde kanalen die vaak worden gebruikt voor interferentie-experimenten, stuitert en verstrooit licht, waardoor berekeningen onbetrouwbaar worden. Voor een enkel optisch neuraal netwerk zijn de fouten aanvaardbaar. Maar met grotere optische netwerken en meer geavanceerde problemen neemt de ruis exponentieel toe en wordt deze onhoudbaar.

Dit is de reden waarom op licht gebaseerde neurale netwerken niet eenvoudig kunnen worden opgeschaald. Tot nu toe hebben ze alleen basistaken kunnen oplossen, zoals het herkennen van cijfers of klinkers.

“Het vergroten van de schaal van bestaande architecturen zou de prestaties niet proportioneel verbeteren”, schreef het team.

Double Trouble

De nieuwe AI, Taichi, combineerde de twee eigenschappen om optische neurale netwerken richting gebruik in de echte wereld te duwen.

In plaats van één enkel neuraal netwerk te configureren, gebruikte het team een ​​chipletmethode, waarbij verschillende delen van een taak naar meerdere functionele blokken werden gedelegeerd. Elk blok had zijn eigen sterke punten: één blok was bedoeld om diffractie te analyseren, waardoor grote hoeveelheden gegevens in korte tijd konden worden gecomprimeerd. Een ander blok was ingebed met interferometers om voor interferentie te zorgen, waardoor de chip tussen taken gemakkelijk opnieuw kon worden geconfigureerd.

Vergeleken met deep learning heeft Taichi een “oppervlakkige” aanpak gevolgd, waarbij de taak over meerdere chiplets wordt verspreid.

Met standaard deep learning-structuren hebben fouten de neiging zich over lagen en tijd heen op te stapelen. Met deze opzet worden problemen die voortkomen uit sequentiële verwerking in de kiem gesmoord. Wanneer Taichi met een probleem wordt geconfronteerd, verdeelt hij de werklast over meerdere onafhankelijke clusters, waardoor het gemakkelijker wordt om grotere problemen met minimale fouten aan te pakken.

De strategie wierp zijn vruchten af.

Taichi heeft een rekencapaciteit van in totaal 4,256 kunstmatige neuronen, met bijna 14 miljoen parameters die de hersenverbindingen nabootsen die het leren en het geheugen coderen. Bij het sorteren van afbeeldingen in 1,000 categorieën was de fotonische chip bijna 92 ​​procent nauwkeurig, vergelijkbaar met ‘momenteel populaire elektronische neurale netwerken’, schreef het team.

De chip blonk ook uit in andere standaard AI-beeldherkenningstests, zoals het identificeren van handgeschreven karakters uit verschillende alfabetten.

Als laatste test daagde het team de fotonische AI ​​uit om inhoud te begrijpen en opnieuw te creëren in de stijl van verschillende artiesten en muzikanten. Toen de AI werd getraind met het repertoire van Bach, leerde hij uiteindelijk de toonhoogte en de algemene stijl van de muzikant. Op dezelfde manier zijn afbeeldingen van Van Gogh of Edvard Munch, de kunstenaar achter het beroemde schilderij, De Schreeuw-ingevoerd in de AI maakte het mogelijk om afbeeldingen in een vergelijkbare stijl te genereren, hoewel veel ervan leken op een peuterrecreatie.

Optische neurale netwerken hebben nog veel verder te gaan. Maar als ze breed worden gebruikt, kunnen ze een energiezuiniger alternatief zijn voor de huidige AI-systemen. Taichi is meer dan 100 keer energiezuiniger dan eerdere versies. Maar de chip heeft nog steeds lasers nodig voor stroom- en gegevensoverdrachtseenheden, die moeilijk te condenseren zijn.

Vervolgens hoopt het team direct verkrijgbare minilasers en andere componenten te integreren in een enkele, samenhangende fotonische chip. Ondertussen hopen ze dat Taichi “de ontwikkeling van krachtigere optische oplossingen zal versnellen” die uiteindelijk zouden kunnen leiden tot “een nieuw tijdperk” van krachtige en energiezuinige AI.

Krediet van het beeld: spainter_vfx / Shutterstock.com

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/