Modele AI są świnie mocy.

W miarę jak algorytmy rosną i stają się coraz bardziej złożone, coraz bardziej obciążają obecne chipy komputerowe. Wiele firm zaprojektowało chipy dostosowane do sztucznej inteligencji, aby zmniejszyć pobór mocy. Ale wszystkie opierają się na jednej podstawowej zasadzie – korzystają z prądu.

W tym miesiącu zespół z Uniwersytetu Tsinghua w Chinach zmienił przepis. Oni zbudował chip sieci neuronowej który wykorzystuje światło zamiast prądu do wykonywania zadań AI za ułamek kosztów energii NVIDII H100, najnowocześniejszy chip używany do uczenia i uruchamiania modeli AI.

Chip o nazwie Taichi łączy w swojej wewnętrznej strukturze dwa rodzaje przetwarzania opartego na świetle. W porównaniu do poprzedniego chipy optyczne, Taichi jest znacznie dokładniejsze w przypadku stosunkowo prostych zadań, takich jak rozpoznawanie odręcznie zapisanych liczb lub innych obrazów. W przeciwieństwie do swoich poprzedników, chip może również generować treści. Może tworzyć podstawowe obrazy w stylu na przykład holenderskiego artysty Vincenta van Gogha lub klasyczne numery muzyczne inspirowane twórczością Johanna Sebastiana Bacha.

Część wydajności Taichi wynika z jego struktury. Chip składa się z wielu elementów zwanych chipletami. Podobnie jak w przypadku mózgu, każdy chiplet wykonuje równolegle własne obliczenia, których wyniki są następnie integrowane z innymi w celu znalezienia rozwiązania.

W obliczu trudnego problemu rozdzielenia obrazów na ponad 1,000 kategorii firma Taichi odniosła sukces w prawie 92 procentach przypadków, dopasowując się do aktualnej wydajności chipa, ale zmniejszając zużycie energii ponad tysiąckrotnie.

W przypadku sztucznej inteligencji „trend zajmowania się bardziej zaawansowanymi zadaniami [jest] nieodwracalny” – napisali autorzy. „Taichi toruje drogę wielkoskalowym przetwarzaniom fotonicznym [opartym na świetle]”, prowadząc do bardziej elastycznej sztucznej inteligencji przy niższych kosztach energii.

Chip na ramieniu

Dzisiejsze chipy komputerowe nie współpracują dobrze ze sztuczną inteligencją.

Część problemu ma charakter strukturalny. Przetwarzanie i pamięć w tradycyjnych chipach są fizycznie oddzielone. Przesyłanie danych między nimi pochłania ogromne ilości energii i czasu.

Konfiguracja ta jest wprawdzie skuteczna w rozwiązywaniu stosunkowo prostych problemów, ale jest niezwykle energochłonna w przypadku złożonej sztucznej inteligencji, takiej jak duże modele językowe obsługujące ChatGPT.

Głównym problemem jest sposób budowy chipów komputerowych. Każde obliczenie opiera się na tranzystorach, które włączają się i wyłączają, reprezentując zera i jedynki używane w obliczeniach. Przez dziesięciolecia inżynierowie drastycznie zmniejszali tranzystory, aby móc zmieścić ich coraz więcej w chipach. Jednak obecna technologia chipów zmierza w kierunku punktu krytycznego, w którym nie możemy już zejść na mniejsze rozmiary.

Naukowcy od dawna starali się udoskonalić obecne chipy. Jedna ze strategii inspirowana mózgiem opiera się na „synapsach” – biologicznym „doku” łączącym neurony – które obliczają i przechowują informacje w tym samym miejscu. Te inspirowane mózgiem lub neuromorficzne chipy zmniejszają zużycie energii i przyspieszają obliczenia. Ale podobnie jak obecne chipy, opierają się na energii elektrycznej.

Innym pomysłem jest użycie zupełnie innego mechanizmu obliczeniowego: światła. „Obliczenia fotoniczne” „przyciągają coraz większą uwagę” – napisali autorzy. Zamiast korzystać z energii elektrycznej, możliwe będzie porwanie cząstek światła, aby zasilać sztuczną inteligencję z prędkością światła.

Niech stanie się światłość

W porównaniu do chipów zasilanych energią elektryczną, światło zużywa znacznie mniej energii i może jednocześnie wykonywać wiele obliczeń. Wykorzystując te właściwości, naukowcy zbudowali optyczne sieci neuronowe, które zamiast elektryczności wykorzystują fotony – cząstki światła – w chipach AI.

Chipy te mogą działać na dwa sposoby. W jednym chipy rozpraszają sygnały świetlne w specjalnie zaprojektowanych kanałach, które ostatecznie łączą promienie w celu rozwiązania problemu. Te optyczne sieci neuronowe, zwane dyfrakcją, upakują sztuczne neurony blisko siebie i minimalizują koszty energii. Nie można ich jednak łatwo zmienić, co oznacza, że ​​mogą pracować tylko nad jednym, prostym problemem.

Inna konfiguracja zależy od innej właściwości światła zwanej interferencją. Podobnie jak fale oceanu, fale świetlne łączą się i znoszą wzajemnie. Znajdujące się wewnątrz mikrotuneli na chipie mogą zderzać się, wzmacniając lub hamując się nawzajem — te wzorce interferencji można wykorzystać do obliczeń. Chipy oparte na zakłóceniach można łatwo rekonfigurować za pomocą urządzenia zwanego interferometrem. Problem w tym, że są nieporęczne fizycznie i zużywają mnóstwo energii.

Następnie pojawia się problem dokładności. Nawet w rzeźbionych kanałach, często używanych do eksperymentów z zakłóceniami, światło odbija się i rozprasza, co czyni obliczenia niewiarygodnymi. W przypadku pojedynczej optycznej sieci neuronowej błędy są tolerowane. Jednak w przypadku większych sieci optycznych i bardziej wyrafinowanych problemów szum rośnie wykładniczo i staje się nie do utrzymania.

Właśnie dlatego sieci neuronowe wykorzystujące światło nie mogą być łatwo skalowane. Jak dotąd potrafili rozwiązać jedynie podstawowe zadania, takie jak rozpoznawanie liczb czy samogłosek.

„Zwiększenie skali istniejących architektur nie poprawiłoby proporcjonalnie wydajności” – napisał zespół.

Double Trouble

Nowa sztuczna inteligencja, Taichi, połączyła te dwie cechy, aby skierować optyczne sieci neuronowe do zastosowań w świecie rzeczywistym.

Zamiast konfigurować pojedynczą sieć neuronową, zespół zastosował metodę chipletową, w ramach której różne części zadania delegowano do wielu bloków funkcjonalnych. Każdy blok miał swoje mocne strony: jeden został stworzony do analizy dyfrakcji, która umożliwia kompresję dużych ilości danych w krótkim czasie. W innym bloku umieszczono interferometry zapewniające zakłócenia, umożliwiające łatwą rekonfigurację chipa między zadaniami.

W porównaniu z głębokim uczeniem się, Taichi przyjął „płytkie” podejście, w którym zadanie jest rozłożone na wiele chipletów.

W przypadku standardowych struktur głębokiego uczenia się błędy mają tendencję do kumulowania się w warstwach i czasie. Taka konfiguracja eliminuje problemy wynikające z przetwarzania sekwencyjnego w zarodku. W obliczu problemu Taichi rozdziela obciążenie na wiele niezależnych klastrów, co ułatwia rozwiązywanie większych problemów przy minimalnych błędach.

Strategia się opłaciła.

Taichi ma moc obliczeniową wynoszącą łącznie 4,256 sztucznych neuronów, z prawie 14 milionami parametrów naśladujących połączenia mózgowe kodujące uczenie się i pamięć. Podczas sortowania obrazów na 1,000 kategorii chip fotoniczny był dokładny z niemal 92% dokładnością, porównywalną z „obecnie popularnymi elektronicznymi sieciami neuronowymi” – napisał zespół.

Chip wykazał się także doskonałymi wynikami w innych standardowych testach rozpoznawania obrazów AI, takich jak identyfikacja odręcznych znaków z różnych alfabetów.

W ramach ostatniego testu zespół rzucił wyzwanie fotonicznej sztucznej inteligencji, aby uchwyciła i odtworzyła treści w stylu różnych artystów i muzyków. Po przeszkoleniu z repertuarem Bacha sztuczna inteligencja w końcu nauczyła się tonu i ogólnego stylu muzyka. Podobnie wizerunki van Gogha czy Edvarda Muncha – autora słynnego obrazu, Krzyk— wprowadzone do sztucznej inteligencji pozwoliły jej generować obrazy w podobnym stylu, chociaż wiele z nich wyglądało jak rekreacja malucha.

Optyczne sieci neuronowe mają jeszcze wiele do zrobienia. Jeśli jednak zostaną zastosowane na szeroką skalę, mogą stać się bardziej energooszczędną alternatywą dla obecnych systemów sztucznej inteligencji. Taichi jest ponad 100 razy bardziej energooszczędne niż poprzednie wersje. Jednak chip nadal wymaga laserów do zasilania i przesyłania danych, które są trudne do skondensowania.

Następnie zespół ma nadzieję zintegrować łatwo dostępne minilasery i inne komponenty w jeden spójny chip fotoniczny. Tymczasem mają nadzieję, że Taichi „przyspieszy rozwój potężniejszych rozwiązań optycznych”, co może ostatecznie doprowadzić do „nowej ery” potężnej i energooszczędnej sztucznej inteligencji.

Kredytowych Image: spainter_vfx / Shutterstock.com

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/