Dopo aver presentato in anteprima il suo acceleratore AI di seconda generazione a febbraio, Meta è pronta a svelare i segreti di questo silicio nostrano, che si dice stia già alimentando raccomandazioni pubblicitarie in 16 regioni.

Il colosso di Facebook ha progettato acceleratori personalizzati per tutti i tipi di carichi di lavoro, dallo streaming video al machine learning, per guidare i modelli di raccomandazione dietro il suo impero pubblicitario.

I ultima aggiunta alla famiglia Meta Training Inference Accelerator (MTIA) vanta prestazioni 3 volte più elevate e un vantaggio in termini di efficienza energetica 1.5 volte rispetto alla parte di prima generazione, che i nostri amici di The Next Platform analizzato l'anno scorso.

Secondo Meta, il chip di seconda generazione, che chiameremo MTIA v2 per motivi di coerenza, è stato progettato per bilanciare calcolo, capacità di memoria e larghezza di banda per ottenere le migliori prestazioni possibili per il ranking interno e i modelli di raccomandazione dell'hyperscaler. .

Analizzando il design, l'acceleratore presenta una griglia 8×8 di elementi di elaborazione (PE) che insieme offrono prestazioni di calcolo denso 3.5 volte più elevate o prestazioni 7 volte più elevate con la scarsità abilitata rispetto a MTIA v1.

L'ultimo acceleratore AI di Meta, sopra, sta già alimentando i modelli di classificazione e raccomandazione dell'iperscaler – Clicca per ingrandire. Fonte: Meta

Oltre a utilizzare un nodo di processo TSMC più piccolo da 5 nm e ad aumentare la velocità di clock da 800 MHz a 1.35 GHz, Meta nota diversi miglioramenti dell'architettura e del design che hanno contribuito ai miglioramenti delle prestazioni dell'ultimo componente. Questi includono il supporto per il calcolo sparso, più memoria on-die e off-die e un network-on-chip (NoC) aggiornato con il doppio della larghezza di banda del vecchio modello. Ecco come si confrontano la prima e la seconda generazione:

* Prestazioni scarse. Puoi trovare una ripartizione completa di entrambi i chip qui.

Va notato che MTIA v2 non eliminerà la necessità di GPU da parte del colosso del web. Il meta supremo Mark Zuckerberg ha già detto in precedenza la sua mega-corporazione si schiererà 350,000 acceleratori Nvidia H100 e avranno l'equivalente di 600,000 H100 operativi entro la fine dell'anno.

Invece, MTIA segue un modello sempre più familiare per Meta (e altri) di sviluppo di silicio personalizzato su misura per compiti specifici. L'idea è che, sebbene il kit possa non essere flessibile come CPU e GPU, un ASIC se distribuito su larga scala può essere più efficiente.

Sebbene l'ultimo chip consumi quasi quattro volte la potenza del suo predecessore, è in grado di produrre fino a 7 volte le prestazioni in virgola mobile. Confrontato con una GPU, l'ultimo acceleratore di Meta gestisce 7.8 TOPS per watt (TOPS/W), che come abbiamo discusso nella nostra copertura Blackwell, batte l'H100 SXM di Nvidia a 5.65 TOPS/W ed è più del doppio di quello dell'A100 SXM a 3.12 TOPS/W.

Detto questo, è chiaro che Meta ha fatto di tutto per adattare il chip ai suoi carichi di lavoro interni, ovvero facendo inferenze sui modelli di raccomandazione. Questi sono progettati per fornire suggerimenti personalizzati come le persone che potresti conoscere o, cosa ancora più importante per il modello di business di Meta, quali annunci sono più probabilmente rilevanti per te.

I chip sono inoltre progettati per essere scalabili secondo necessità e possono essere distribuiti in un sistema basato su rack contenente 72 acceleratori in totale: ogni sistema combina tre chassis contenenti ciascuno 12 schede di elaborazione con due chip MTIA v2 per scheda.

Ogni chassis MTIA v2 contiene 12 schede di elaborazione, ciascuna dotata di una coppia di acceleratori... Fare clic per ingrandire. Fonte: Meta.

In termini di distribuzione dei carichi di lavoro, Meta si appoggia fortemente al framework PyTorch e al compilatore Triton. Abbiamo visto questa combinazione utilizzata per eseguire attività su varie GPU e acceleratori, in parte perché elimina in gran parte la necessità di sviluppare codice ottimizzato per hardware specifico.

Meta, è stato un importante proponente di PyTorch, che ha sviluppato prima di cedere le redini alla Linux Foundation, in quanto offre agli ingegneri la flessibilità di sviluppare applicazioni AI che possono essere eseguite su una varietà di hardware GPU di Nvidia e AMD. Quindi è logico che Meta voglia utilizzare le stesse tecnologie con i propri chip.

Infatti, Meta afferma che co-sviluppando insieme software e hardware è stata in grado di ottenere una maggiore efficienza rispetto alle piattaforme GPU esistenti e prevede di ottenere prestazioni ancora maggiori attraverso ottimizzazioni future.

MTIA v2 non sarà certamente l'ultimo silicio che vedremo da Meta. Il colosso dei social media afferma di avere in corso diversi programmi di progettazione di chip, incluso uno che supporterà i futuri sistemi di intelligenza artificiale generativa. ®

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://go.theregister.com/feed/www.theregister.com/2024/04/10/meta_mtia_chip/