Na jaren van ontwikkeling kan Meta dit jaar eindelijk zijn eigen AI-versnellers op een zinvolle manier uitrollen.

Het Facebook-imperium bevestigde deze week zijn wens om de implementatie van Nvidia H100 en AMD MI300X GPU's aan te vullen met zijn Meta Training Inference Accelerator (MTIA) chipsfamilie. Concreet zal Meta een voor inferentie geoptimaliseerde processor inzetten, naar verluidt codenaam Artemis, gebaseerd op de eerste generatie onderdelen van de Silicon Valley-gigant geplaagd vorig jaar.

"We zijn enthousiast over de vooruitgang die we hebben geboekt bij onze interne siliciuminspanningen met MTIA en liggen op schema om onze inferentievariant in 2024 in productie te gaan nemen", vertelde een woordvoerder van Meta. Het register op donderdag.

“We zien dat onze intern ontwikkelde versnellers zeer complementair zijn aan in de handel verkrijgbare GPU’s bij het leveren van de optimale mix van prestaties en efficiëntie op meta-specifieke workloads”, vervolgde de vertegenwoordiger. Details? Nee. De woordvoerder vertelde ons: "We kijken ernaar uit om later dit jaar meer updates over onze toekomstige MTIA-plannen te delen."

We gaan ervan uit dat dit betekent dat de op inferentie gerichte chip van de tweede generatie op grote schaal wordt uitgerold, na een versie van de eerste generatie die alleen in het laboratorium is bedoeld voor inferentie, en dat we later misschien te weten komen over onderdelen die voornamelijk bedoeld zijn voor training of training en inferentie.

Meta is een van de beste klanten van Nvidia en AMD geworden naarmate de inzet van AI-workloads is toegenomen, waardoor de behoefte aan en het gebruik van gespecialiseerd silicium is toegenomen om de machine-learning-software zo snel mogelijk te laten werken. De beslissing van de Instagram-gigant om zijn eigen aangepaste processors te ontwikkelen is dus niet zo verrassend.

In feite is het megabedrijf, op het eerste gezicht, relatief laat bij de op maat gemaakte AI-siliciumpartij als het gaat om implementatie in de echte wereld. Amazon en Google gebruiken al enkele jaren componenten van eigen bodem om interne machine-learning-systemen, zoals aanbevelingsmodellen en klant-ML-code, te versnellen. Ondertussen onthulde Microsoft vorig jaar zijn eigen accelerators.

Maar afgezien van het feit dat Meta op grote schaal een MTIA-inferentiechip uitrolt, heeft het sociale netwerk niet bekendgemaakt wat de precieze architectuur is, noch welke workloads het reserveert voor intern silicium en welke het overdraagt ​​aan de GPU's van AMD en Nvidia.

Het is waarschijnlijk dat Meta gevestigde modellen op zijn aangepaste ASIC's zal draaien om GPU-bronnen vrij te maken voor meer dynamische of evoluerende applicaties. We hebben Meta deze route eerder zien bewandelen met aangepaste accelerators die zijn ontworpen om gegevens te ontladen en intensieve videoworkloads te berekenen.

Wat het onderliggende ontwerp betreft, vertellen de industriewatchers van SemiAnalysis ons dat de nieuwe chip nauw gebaseerd is op de architectuur in Meta's eerste generatie onderdelen.

Stapstenen

Na drie jaar ontwikkeling werden begin 2023 de MTIA v1-onderdelen van Meta aangekondigd, die onze vrienden bij Het volgende platform keek van afgelopen voorjaar zijn speciaal ontworpen met deep-learning aanbevelingsmodellen in gedachten.

De chip van de eerste generatie is gebouwd rond een RISC-V CPU-cluster en vervaardigd met behulp van het 7nm-proces van TSMC. Onder de motorkap maakte de component gebruik van een matrix van acht bij acht verwerkingselementen, elk uitgerust met twee RV CPU-kernen, waarvan er één is uitgerust met vectorwiskundige uitbreidingen. Deze kernen worden gevoed door een royale 128 MB on-chip SRAM en maximaal 128 GB LPDDR5-geheugen.

Zoals Meta vorig jaar beweerde, draaide de chip op 800 MHz en bereikte een topsnelheid van 102.4 biljoen bewerkingen per seconde van INT8-prestaties of 51.2 teraFLOPS met halve precisie (FP16). Ter vergelijking: Nvidia's H100 is in staat tot bijna vier petaFLOPS aan schaarse FP8-prestaties. Hoewel lang niet zo krachtig als de GPU's van Nvidia of AMD, had de chip wel één groot voordeel: stroomverbruik. De chip zelf had een thermisch ontwerpvermogen van slechts 25 watt.

Think Semi-analyseDe nieuwste chip van Meta beschikt over verbeterde cores en ruilt LPDDR5 in voor geheugen met hoge bandbreedte, verpakt met behulp van TSMC's chip-on-wafer-on-substrate (CoWoS) -technologie.

Een ander opmerkelijk verschil is dat Meta's tweede generatie chip daadwerkelijk wijdverspreid zal worden ingezet in de datacenterinfrastructuur. Volgens de Facebook-titan werd het onderdeel van de eerste generatie weliswaar gebruikt om productie-advertentiemodellen uit te voeren, maar heeft het het laboratorium nooit verlaten.

Op jacht naar kunstmatige algemene intelligentie

Afgezien van aangepaste onderdelen heeft de Facebook- en Instagram-ouder gedumpt miljarden van dollars aan GPU's in de afgelopen jaren om allerlei taken te versnellen die niet geschikt zijn voor conventionele CPU-platforms. De opkomst van grote taalmodellen, zoals GPT-4 en Meta's eigen Llama 2, heeft echter het landschap veranderd en de inzet van enorme GPU-clusters gestimuleerd.

Op de schaal waarop Meta opereert, hebben deze trends drastische veranderingen in de infrastructuur noodzakelijk gemaakt, inclusief de infrastructuur herontwerp van verschillende datacenters om de immense stroom- en koelingsvereisten te ondersteunen die gepaard gaan met grote AI-implementaties.

En de implementaties van Meta zullen de komende maanden alleen maar groter worden naarmate het bedrijf de focus verschuift van de metaverse naar de ontwikkeling van kunstmatige algemene intelligentie. Vermoedelijk zal het werk aan AI helpen bij het vormen van de metaverse of iets dergelijks.

Volgens CEO Mark Zuckerberg is Meta van plan alleen dit jaar maar liefst 350,000 Nvidia H100's in te zetten.

De biz kondigde ook plannen aan om AMD's nieuwe in te zetten gelanceerd MI300X GPU's in zijn datacenters. Zuckerberg beweerde dat zijn bedrijf het jaar zou eindigen met de equivalente rekenkracht van 600,000 H100's. Het is dus duidelijk dat Meta's MTIA-chips de GPU's niet snel zullen vervangen. ®

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2024/02/02/meta_ai_chips/