AI-mallit ovat voimavaroja.

Kun algoritmit kasvavat ja monimutkaistuvat, ne verottavat yhä enemmän nykyisiä tietokonesiruja. Useat yritykset ovat suunnitelleet tekoälylle räätälöityjä siruja vähentämään virrankulutusta. Mutta ne kaikki perustuvat yhteen perussääntöön – ne käyttävät sähköä.

Tässä kuussa Kiinan Tsinghuan yliopiston tiimi vaihtoi reseptiä. Ne rakensi hermoverkkosirun joka käyttää valoa sähkön sijaan tekoälytehtävien suorittamiseen murto-osalla energiakustannuksista NVIDIAn H100, huippuluokan siru, jota käytetään tekoälymallien kouluttamiseen ja ohjaamiseen.

Taichi-niminen siru yhdistää kahden tyyppisen valopohjaisen käsittelyn sisäiseen rakenteeseensa. Edelliseen verrattuna optiset sirut, Taichi on paljon tarkempi suhteellisen yksinkertaisiin tehtäviin, kuten käsin kirjoitettujen numeroiden tai muiden kuvien tunnistamiseen. Toisin kuin edeltäjänsä, siru voi myös luoda sisältöä. Se voi tehdä peruskuvia tyylillä, joka perustuu esimerkiksi hollantilaisen taiteilijan Vincent van Goghiin, tai klassisia musiikkinumeroita Johann Sebastian Bachin innoittamana.

Osa Taichin tehokkuudesta johtuu sen rakenteesta. Siru koostuu useista komponenteista, joita kutsutaan siruiksi. Aivojen organisaation tapaan jokainen siru tekee rinnakkain omia laskelmiaan, joiden tulokset sitten integroidaan muiden kanssa ratkaisun saavuttamiseksi.

Yli 1,000 92 luokan kuvien erottamiseen liittyvän haastavan ongelman edessä Taichi onnistui lähes XNUMX prosentissa ajasta ja vastasi nykyistä sirun suorituskykyä, mutta pienensi energiankulutusta yli tuhatkertaisesti.

Tekoälylle "trendi käsitellä edistyneempiä tehtäviä [on] peruuttamaton", kirjoittajat kirjoittivat. "Taichi tasoittaa tietä laajamittaiselle fotoniselle [valopohjaiselle] tietojenkäsittelylle", mikä johtaa joustavampaan tekoälyyn alhaisemmilla energiakustannuksilla.

Siru olkapäässä

Nykypäivän tietokonesirut eivät sovi yhteen tekoälyn kanssa.

Osa ongelmasta on rakenteellista. Perinteisten sirujen käsittely ja muisti on fyysisesti erotettu toisistaan. Datan siirtäminen niiden välillä vie valtavia määriä energiaa ja aikaa.

Vaikka asennus on tehokas suhteellisen yksinkertaisten ongelmien ratkaisemiseen, se on uskomattoman nälkäinen monimutkaisissa tekoälyissä, kuten ChatGPT:tä tukevissa suurissa kielimalleissa.

Suurin ongelma on, kuinka tietokonepiirit rakennetaan. Jokainen laskelma perustuu transistoreihin, jotka kytkeytyvät päälle tai pois päältä edustamaan laskelmissa käytettyjä nollia ja 0:itä. Insinöörit ovat kutistaneet transistoreja dramaattisesti vuosikymmenten aikana, jotta he voivat ahmia yhä enemmän siruille. Mutta nykyinen siruteknologia on matkalla kohti murtumispistettä, jossa emme voi mennä pienemmäksi.

Tiedemiehet ovat pitkään pyrkineet uudistamaan nykyisiä siruja. Yksi aivojen inspiroima strategia perustuu "synapseihin" - hermosoluja yhdistävään biologiseen "telakkaan", jotka laskevat ja tallentavat tietoa samassa paikassa. Nämä aivojen inspiroimat tai neuromorfiset sirut vähentävät energiankulutusta ja nopeuttavat laskelmia. Mutta kuten nykyiset sirut, ne ovat riippuvaisia ​​sähköstä.

Toinen idea on käyttää kokonaan erilaista laskentamekanismia: valoa. "Fotonic computing" "herättää jatkuvasti kasvavaa huomiota", kirjoittajat kirjoittivat. Sähkön käyttämisen sijaan voi olla mahdollista kaapata kevyitä hiukkasia toimittamaan tekoälyä valon nopeudella.

Tulkoon valo

Sähköpohjaisiin siruihin verrattuna valo kuluttaa paljon vähemmän virtaa ja voi suorittaa useita laskelmia samanaikaisesti. Näitä ominaisuuksia hyödyntäen tutkijat ovat rakentaneet optisia hermoverkkoja, jotka käyttävät fotoneja - valohiukkasia - tekoälysiruihin sähkön sijasta.

Nämä sirut voivat toimia kahdella tavalla. Yhdessä sirut hajottavat valosignaaleja suunniteltuihin kanaviin, jotka lopulta yhdistävät säteet ongelman ratkaisemiseksi. Diffraktioksi kutsutut optiset hermoverkot pakkaavat keinotekoiset neuronit tiiviisti yhteen ja minimoivat energiakustannukset. Mutta niitä ei voi helposti muuttaa, mikä tarkoittaa, että ne voivat käsitellä vain yhtä, yksinkertaista ongelmaa.

Erilainen asetus riippuu toisesta valon ominaisuudesta, jota kutsutaan häiriöksi. Kuten valtameren aallot, valoaallot yhdistyvät ja kumoavat toisensa. Sirun mikrotunneleissa ne voivat törmätä toisiinsa tehostaakseen tai estääkseen toisiaan – näitä häiriökuvioita voidaan käyttää laskelmissa. Häiriöihin perustuvat sirut voidaan helposti konfiguroida uudelleen käyttämällä interferometriksi kutsuttua laitetta. Ongelmana on, että ne ovat fyysisesti painavia ja kuluttavat tonnia energiaa.

Sitten on ongelma tarkkuus. Jopa muotoilluissa kanavissa, joita käytetään usein häiriökokeissa, valo pomppii ja siroaa, mikä tekee laskelmista epäluotettavia. Yhden optisen hermoverkon virheet ovat siedettäviä. Mutta suurempien optisten verkkojen ja kehittyneempien ongelmien myötä kohina kasvaa eksponentiaalisesti ja muuttuu kestämättömäksi.

Tästä syystä valopohjaisia ​​hermoverkkoja ei voida helposti skaalata. Toistaiseksi he ovat pystyneet ratkaisemaan vain perustehtäviä, kuten numeroiden tai vokaalien tunnistamisen.

"Olemassa olevien arkkitehtuurien mittakaavan suurentaminen ei parantaisi suorituskykyä suhteellisesti", tiimi kirjoitti.

Double Trouble

Uusi AI, Taichi, yhdisti nämä kaksi ominaisuutta työntääkseen optisia hermoverkkoja kohti todellista käyttöä.

Yhden hermoverkon määrittämisen sijaan ryhmä käytti sirumenetelmää, joka delegoi tehtävän eri osat useille toiminnallisille lohkoille. Jokaisella lohkolla oli omat vahvuutensa: Yksi perustettiin analysoimaan diffraktiota, joka voi pakata suuria määriä dataa lyhyessä ajassa. Toinen lohko oli upotettu interferometreillä häiriöiden tuottamiseksi, mikä mahdollistaa sirun helpon konfiguroinnin uudelleen tehtävien välillä.

Syväoppimiseen verrattuna Taichi omaksui "matalaisen" lähestymistavan, jolloin tehtävä jakautuu useille siruille.

Tavallisissa syväoppimisrakenteissa virheillä on taipumus kertyä kerroksiin ja aikaan. Tämä asennus korjaa ongelmat, jotka johtuvat peräkkäisestä käsittelystä alkuunsa. Kun Taichi kohtaa ongelman, se jakaa työtaakan useille itsenäisille klustereille, mikä helpottaa suurempien ongelmien ratkaisemista minimaalisilla virheillä.

Strategia kannatti.

Taichin laskentakapasiteetti on yhteensä 4,256 14 keinotekoista neuronia, ja lähes 1,000 miljoonaa parametria matkivat oppimista ja muistia koodaavia aivoyhteyksiä. Kun lajiteltiin kuvia 92 luokkaan, fotonisiru oli lähes XNUMX prosentin tarkka, verrattavissa "tällä hetkellä suosittuihin sähköisiin hermoverkkoihin", tiimi kirjoitti.

Siru menestyi myös muissa tavallisissa AI-kuvantunnistustesteissä, kuten käsin kirjoitettujen merkkien tunnistamisessa eri aakkosista.

Viimeisenä testinä tiimi haastoi fotonisen tekoälyn tarttumaan ja luomaan sisältöä eri artistien ja muusikoiden tyyliin. Bachin ohjelmiston kanssa koulutettuna tekoäly oppi lopulta muusikon sävelkorkeuden ja yleisen tyylin. Samoin kuvia van Goghilta tai Edvard Munchilta – kuuluisan maalauksen takana olevalta taiteilijalta, Huuto– tekoälyyn syötettynä se pystyi luomaan samantyylisiä kuvia, vaikka monet näyttivätkin taaperon harrastukselta.

Optisilla neuroverkoilla on vielä paljon tehtävää. Mutta jos niitä käytetään laajasti, ne voisivat olla energiatehokkaampi vaihtoehto nykyisille tekoälyjärjestelmille. Taichi on yli 100 kertaa energiatehokkaampi kuin aiemmat iteraatiot. Mutta siru vaatii edelleen lasereita teho- ja tiedonsiirtoyksiköihin, joita on vaikea tiivistää.

Seuraavaksi tiimi toivoo integroivansa helposti saatavilla olevia minilasereita ja muita komponentteja yhdeksi yhtenäiseksi fotonisiruksi. Samaan aikaan he toivovat Taichin "nopeuttavan tehokkaampien optisten ratkaisujen kehitystä", mikä voisi lopulta johtaa tehokkaan ja energiatehokkaan tekoälyn "uuteen aikakauteen".

Kuva pistetilanne: spainter_vfx / Shutterstock.com

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/