POSTECHin ja Songsilin yliopiston tutkijat julkaisivat uuden teknisen asiakirjan nimeltä "Bandwidth-Effective DRAM Cache for GPUs with Storage-Class Memory".
Abstrakti
"Ehdotamme GPU:iden muistikapasiteetin rajoitusten poistamista suuren kapasiteetin tallennusluokan muistilla (SCM) ja DRAM-välimuistilla. Lisäämällä muistikapasiteettia merkittävästi SCM:n avulla GPU voi kaapata suuremman osan muistista kuin HBM työkuormilla, jotka ylittävät muistin, mikä saavuttaa suuria nopeuksia. DRAM-välimuisti on kuitenkin suunniteltava huolellisesti, jotta se ottaa huomioon SCM:n latenssi- ja BW-rajoitukset samalla kun minimoidaan kustannukset ja otetaan huomioon GPU:n ominaisuudet. Koska valtava määrä GPU-säikeitä voi murskata DRAM-välimuistin, ehdotamme ensin SCM-tietoista DRAM-välimuistin ohituskäytäntöä GPU:ille, joka ottaa huomioon SCM:llä varustettujen GPU:iden muistin käytön moniulotteiset ominaisuudet ohittaakseen DRAM-muistin datan heikon suorituskyvyn apuohjelmalla. Lisäksi DRAM-välimuistin mittausten vähentämiseksi ja tehokkaan DRAM BW:n lisäämiseksi minimaalisin kustannuksin ehdotamme Configurable Tag Cache (CTC), joka käyttää uudelleen osan L2-välimuistista DRAM-välimuistitunnisteiden välimuistiin. Käyttäjät voivat säätää CTC:ssä käytettävää L2-kapasiteettia mukautuvuuden vuoksi. Lisäksi minimoidaksemme DRAM-välimuistin etsintäliikenteen CTC:n puuttumisesta, AMIL (Aggregated Metadata-In-Last-column) DRAM-välimuistiorganisaatiomme sijoittaa kaikki DRAM-välimuistitunnisteet yhteen sarakkeeseen rivin sisällä. AMIL säilyttää myös täyden ECC-suojauksen, toisin kuin aiemman DRAM-välimuistin Tag-And-Data (TAD) -organisaatio. Lisäksi ehdotamme SCM:n kuristusta tehon rajoittamiseksi ja SCM:n SLC/MLC-tilojen hyödyntämistä mukautuakseen työkuorman muistin jalanjäljen mukaan. Tekniikkaamme voidaan käyttää erilaisissa DRAM- ja SCM-laitteissa, mutta keskitymme heterogeeniseen muistipinoon (HMS) -organisaatioon, joka pinoaa SCM-muistit DRAM-muistien päälle korkean suorituskyvyn saavuttamiseksi. Verrattuna HBM:ään, HMS parantaa suorituskykyä jopa 12.5x (kokonaisuudessaan 2.9x) ja vähentää energiaa jopa 89.3 % (48.1 %). Aiempiin töihin verrattuna vähennämme DRAM-välimuistin ja SCM-kirjoitusliikennettä 91-93 % ja 57-75 %.
Etsi tekninen paperia tänne. Julkaistu maaliskuussa 2024.
Hong, Jeongmin, Sungjun Cho, Geonwoo Park, Wonhyuk Yang, Young-Ho Gong ja Gwangsun Kim. "Kaistanleveystehokas DRAM-välimuisti GPU:ille, joissa on tallennusluokan muisti." arXiv preprint arXiv: 2403.09358 (2024).
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://semiengineering.com/dram-cache-for-gpus-with-scm-and-high-bandwidth/
