RISC-V chip biz SiFive säger att dess processorer används för att hantera AI-arbetsbelastningar till viss del i Googles datacenter.

Enligt SiFive är processorn i fråga dess Intelligence X280, en flerkärnig RISC-V-design med vektortillägg, optimerad för AI/ML-applikationer i datacentret. När de kombineras med matrismultiplikationsenheterna (MXU) lyfts från Googles Tensor Processing Units (TPU: er), detta påstås ge större flexibilitet för programmering av maskininlärningsarbetsbelastningar.

I huvudsak innehåller X280:s allmänna RV64-kärnor i processorns körkod som hanterar enheten och matar in beräkningar av maskininlärning i Googles MXU efter behov för att slutföra jobb. X280 innehåller också en egen vektormatematikenhet som kan hantera operationer som acceleratorenheterna inte kan.

SiFive och Google var lite ovilliga, kanske av kommersiella skäl, om exakt hur detta är förpackat och används, även om det låter för oss som om Google har placerat sina anpassade accelerationsenheter i ett multikärnigt X280-system-på-chip, som ansluter Google-designade MXU-block direkt till RISC-V-kärnkomplexet. Dessa chips används i Googles datacenter, i "AI compute hosts" enligt SiFive, för att påskynda maskininlärningsarbetet.

Vi föreställer oss att om dessa används i produktionen så sköter dessa chips uppgifter inom tjänster. Vi noterar att du inte kan hyra den här hårdvaran direkt på Google Cloud, som erbjuder AI-optimerade virtuella maskiner som drivs av traditionell x86, Arm, TPU och GPU-teknik.

Detaljerna avslöjades vid AI Hardware Summit i Silicon Valley tidigare denna månad, i ett föredrag av SiFives medgrundare och chefsarkitekt Krste Asanović och Google TPU Architect Cliff Young, och i en SiFive blogginlägg denna vecka.

Enligt SiFive märkte man att efter introduktionen av X280 började vissa kunder använda den som en följeslagare vid sidan av en accelerator, för att hantera alla hushålls- och allmänna bearbetningsuppgifter som acceleratorn inte var designad för att utföra.

Många fann att en fullfjädrad mjukvarustapel behövdes för att hantera acceleratorn, säger chip biz, och kunderna insåg att de kunde lösa detta med ett X280-kärnkomplex bredvid sin stora accelerator, RISC-V CPU-kärnorna hanterade allt underhåll och operationskod, utföra matematiska operationer som den stora acceleratorn inte kan, och tillhandahålla olika andra funktioner. I huvudsak kan X280 fungera som en slags hanteringsnod för acceleratorn.

För att dra nytta av detta arbetade SiFive med kunder som Google för att utveckla vad de kallar Vector Coprocessor Interface eXtension (VCIX), som tillåter kunder att tätt länka en accelerator direkt till vektorregisterfilen på X280, vilket ger ökad prestanda och större data bandbredd.

Enligt Asanović är fördelen att kunder kan ta med sin egen samprocessor i RISC-V-ekosystemet och köra en komplett mjukvarustack och programmeringsmiljö, med möjligheten att starta Linux med fullt virtuellt minne och cachekoherent stöd, på ett chip som innehåller en blandning av generella CPU-kärnor och accelerationsenheter.

Ur Googles synvinkel ville man fokusera på att förbättra sin familj av TPU-teknologier, och inte slösa tid på att skapa sin egen applikationsprocessor från början, och så att para ihop dessa accelerationsfunktioner med en färdig processor för allmänt bruk verkade vara det rätta sättet. att gå, enligt Young.

VCIX limmar i huvudsak MXU:erna på RISC-V-kärnorna med låg latens, och hoppar över behovet av att spendera många cykler i väntan på att överföra data mellan CPU och accelerationsenhet via minne, cache eller PCIe. Istället, får vi veta, är det bara tiotals cykler genom vektorregisteråtkomst. Det tyder också på att allt – RISC-V CPU-komplexet och de anpassade acceleratorerna – alla är på samma tärning, förpackade som ett system-på-chip.

Applikationskoden körs på de allmänna RISC-V-kärnorna, och allt arbete som kan accelereras av MXU:n förs över via VCIX. Enligt Young finns det andra fördelar med detta tillvägagångssätt samt effektivitet. Programmeringsmodellen är förenklad, vilket resulterar i ett enda program med skalära, vektor- och co-processorinstruktioner sammanflätade, och tillåter en enda mjukvaruverktygskedja där utvecklare kan koda i C/C++ eller assembler efter önskemål.

"Med SiFive VCIX-baserade kärnor för allmänt bruk "hybridiserade" med Google MXU kan du bygga en maskin som låter dig "ta din kaka och äta den också", dra full nytta av all prestanda hos MXU och programmerbarheten hos en allmän CPU såväl som vektorprestandan hos X280-processorn,” sa Young.

Möjligheten att göra ett anpassat chip som detta kommer sannolikt att förbli domänen för hyperscalers som Google, eller de med nischkrav och djupa fickor, men det visar vad som kan uppnås tack vare flexibiliteten hos den öppna ekosystemet RISC-V-modellen .

Denna flexibilitet och öppenhet verkar vara tillräckligt för att locka Google – en långvarig supporter av RISC-V, med RV-kärnor som används i några av dess andra produkter – att använda uppkomlingens arkitektur i motsats till att skohorna sina anpassade samprocessorer till x86-chips eller Arm -licensierad design. ®

PS: Kom ihåg när Google var kapacitetsförbättring med att använda POWER CPU-arkitekturen i sina datacenter?