Potem ko je februarja dražila svoj pospeševalnik umetne inteligence druge generacije, je Meta pripravljena razkriti ta domači silicij, ki naj bi že poganjal priporočila za oglase v 16 regijah.
Facebookov goliath je oblikoval pospeševalnike po meri za vse vrste delovnih obremenitev, od pretakanja videoposnetkov do strojnega učenja, da bi spodbudil modele priporočanja za svojim oglaševalskim cesarstvom.
O zadnji dodatek družini Meta Training Inference Accelerator (MTIA) trdi, da ima 3-krat višjo zmogljivost in 1.5-kratno prednost pri energijski učinkovitosti v primerjavi s prvo generacijo, kar naši prijatelji iz The Next Platform analizirati lansko leto.
Po besedah Mete je bil čip druge generacije, ki ga bomo zaradi doslednosti imenovali MTIA v2, zasnovan tako, da uravnoteži računanje, pomnilniško zmogljivost in pasovno širino, da bi dosegli najboljšo možno zmogljivost za interno razvrščanje in modele priporočil hiperskalerja. .
Če se poglobimo v zasnovo, ima pospeševalnik 8×8 mrežo procesnih elementov (PE), ki skupaj nudijo 3.5-krat višjo gostoto računsko zmogljivost ali 7-krat višjo zmogljivost z omogočeno redkostjo v primerjavi z MTIA v1.
Metin najnovejši pospeševalnik umetne inteligence zgoraj že poganja modele razvrščanja in priporočanja hiperskalerja – Kliknite za povečavo. Vir: Meta
Poleg uporabe manjšega 5nm procesnega vozlišča TSMC in povečanja takta z 800MHz na 1.35GHz, Meta ugotavlja več arhitekturnih in oblikovalskih izboljšav, ki so prispevale k povečanju zmogljivosti najnovejšega dela. Ti vključujejo podporo za redke izračune, več pomnilnika na čipu in zunaj njega ter nadgrajeno omrežje na čipu (NoC) z dvakratno pasovno širino starega modela. Tukaj je primerjava prve in druge generacije:
| MTIA v1 | MTIA v2 | |
|---|---|---|
| Procesna tehnika | 7nm TSMC | 5nm TSMC |
| Die območje | 373mm2 | 421mm2 |
| PE | 8 × 8 mreža | 8 × 8 mreža |
| Hitrost ure | 800MHz | 1.35GHz |
| INT8 perf | 102 TOPS | 354/708* TOPS |
| FP16/BF16 perf | 51.2 TFLOPS | 177/354* TFLOPS |
| PE mem | 128 KB na PE | 384 KB na PE |
| Mem na čipu | 128MB | 256MB |
| Mem brez čipa | 64GB | 128GB |
| Mem zunaj čipa BW | 176GB / s | 204GB / s |
| Povezovanje | 8x PCIe Gen 4.0 – 16 GB/s | 8x PCIe Gen 5.0 – 32 GB/s |
| TDP | 25W | 90W |
* Redka zmogljivost. Najdete lahko popolno razčlenitev obeh čipov tukaj.
Opozoriti je treba, da MTIA v2 ne bo odpravila potrebe spletnega golijata po grafičnih procesorjih. Meta supremo Mark Zuckerberg je že dejal, da je njegova mega-korporacija bo razporedil 350,000 pospeševalnikov Nvidia H100 in do konca leta bo delovalo enako kot 600,000 pospeševalnikov H100.
Namesto tega MTIA sledi vedno bolj znanemu vzorcu za Meto (in druge) razvoja silicija po meri, prilagojenega specifičnim nalogam. Ideja je, da čeprav komplet morda ni tako prilagodljiv kot CPE in GPE, je lahko ASIC, če je nameščen v velikem obsegu, učinkovitejši.
Čeprav najnovejši čip porabi skoraj štirikrat več energije kot njegov predhodnik, je sposoben proizvesti do 7-krat večjo zmogljivost s plavajočo vejico. Metin najnovejši pospeševalnik v primerjavi z GPE upravlja 7.8 TOPS na vat (TOPS/W), kar je, kot smo razpravljali v naši pokritosti Blackwell premaga Nvidijin H100 SXM s 5.65 TOPS/W in je več kot dvakrat večji od A100 SXM s 3.12 TOPS/W.
Ob tem je jasno, da se je Meta zelo potrudila, da je čip prilagodila svojim notranjim delovnim obremenitvam – namreč sklepanje na priporočene modele. Ti so zasnovani za prikaz prilagojenih predlogov, kot so ljudje, ki jih morda poznate, ali, kar je še pomembneje za Metin poslovni model, kateri oglasi so najverjetneje ustrezni za vas.
Čipi so zasnovani tudi tako, da se po potrebi povečajo in jih je mogoče namestiti v sistem na osnovi stojala, ki vsebuje skupaj 72 pospeševalnikov: vsak sistem združuje tri ohišja, od katerih vsako vsebuje 12 računalniških plošč z dvema čipoma MTIA v2 na ploščo.
Vsako ohišje MTIA v2 vsebuje 12 računalniških plošč, vsaka ima par pospeševalnikov … Kliknite za povečavo. Vir: Meta.
Kar zadeva uvajanje delovnih obremenitev, se Meta močno naslanja na ogrodje PyTorch in prevajalnik Triton. Videli smo, da se ta kombinacija uporablja za izvajanje nalog na različnih grafičnih procesorjih in pospeševalnikih, deloma zato, ker v veliki meri odpravlja potrebo po razvoju kode, optimizirane za specifično strojno opremo.
Meta, je bila glavna zagovornik PyTorcha, ki ga je razvila, preden je vajeti predala fundaciji Linux, saj daje inženirjem prilagodljivost pri razvoju aplikacij AI, ki se lahko izvajajo prek različnih strojnih grafičnih procesorjev Nvidia in AMD. Zato je logično, da želi Meta uporabiti iste tehnologije s svojimi čipi.
Pravzaprav Meta trdi, da je s skupnim razvojem svoje programske in strojne opreme uspela doseči večjo učinkovitost v primerjavi z obstoječimi platformami GPE in pričakuje, da bo s prihodnjimi optimizacijami dosegla še večjo zmogljivost.
MTIA v2 zagotovo ne bo zadnji silicij, ki ga bomo videli pri Meti. Velikan družbenih medijev pravi, da izvaja več programov za načrtovanje čipov, vključno s tistim, ki bo podpiral prihodnje generativne sisteme umetne inteligence. ®
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://go.theregister.com/feed/www.theregister.com/2024/04/10/meta_mtia_chip/
