lodo Apejọ Imọ-ẹrọ GPU ti Nvidia ti pari ni ọsẹ to kọja, n mu ọrọ ti awọn eerun Blackwell ti ile-iṣẹ ati awọn iyalẹnu ballyhooed pupọ ti AI, pẹlu gbogbo ohun elo GPU ti o wuyi ti o tumọ si.

Iru buzz ni ayika ile-iṣẹ naa pe idiyele ọja rẹ n ṣe flirting pẹlu awọn giga igbasilẹ, da lori imọran pe ọpọlọpọ awọn igbiyanju ẹda ni a le ṣe ni iyara ti ko ba dara julọ pẹlu adaṣe ṣiṣẹ nipasẹ awọn awoṣe ikẹkọ ẹrọ.

Iyẹn tun n ṣe idanwo ni ọja naa.

George Santayana lẹẹkan kowe: “Àwọn tí kò lè rántí ohun tí ó ti kọjá ni a dá lẹ́bi láti tún un ṣe.” O ti wa ni a gbolohun igba tun. Sibẹsibẹ iranti ti awọn nkan ti o kọja ko ti ṣeto awọn awoṣe AI gaan yato si. Wọn le ranti ohun ti o ti kọja ṣugbọn wọn tun jẹbi lati tun ṣe lori ibeere, ni awọn igba ti ko tọ.

Paapaa nitorinaa, ọpọlọpọ bura nipasẹ AI Olodumare, paapaa awọn ti n ta ohun elo AI tabi awọn iṣẹ awọsanma. Nvidia, laarin awọn miiran, n tẹtẹ nla lori rẹ. Nitorina Awọn Forukọsilẹ ṣe abẹwo kukuru si apejọ GPU lati wo kini gbogbo ariwo jẹ nipa. Dajudaju kii ṣe nipa awọn ọpa lẹmọọn ti o ṣiṣẹ ni gbongan ifihan ni Ọjọbọ, eyiti ọpọlọpọ eyiti o pari ọrẹ gbangba akọkọ wọn ti ko pari ni awọn apoti ilẹ iṣafihan.

Jina diẹ lowosi je kan ibaraẹnisọrọ Awọn Forukọsilẹ ni pẹlu Kari Briski, igbakeji ti iṣakoso ọja fun AI ati awọn ohun elo idagbasoke sọfitiwia HPC ni Nvidia. O ṣe olori iṣakoso ọja sọfitiwia fun awọn awoṣe ipilẹ ile-iṣẹ, awọn ile-ikawe, SDKs, ati ni bayi awọn iṣẹ microservices ti o ṣe pẹlu ikẹkọ ati itọkasi, bii ikede tuntun Oun microservices ati awọn dara mulẹ nemo imuṣiṣẹ ilana.

Awọn Forukọsilẹ: Bawo ni awọn ile-iṣẹ yoo jẹ awọn iṣẹ microservices wọnyi - ni awọsanma, lori agbegbe?

Briski: Iyẹn gangan ni ẹwa ti idi ti a fi kọ awọn NIMs. O jẹ ohun ti o dun lati sọ “awọn NIMs.” Ṣugbọn a bẹrẹ irin-ajo yii ni igba pipẹ sẹhin. A ti n ṣiṣẹ ni itọkasi lati igba ti Mo bẹrẹ – Mo ro pe o jẹ TensorRT 1.0 nigbati Mo bẹrẹ 2016.

Ni awọn ọdun sẹyin a ti n dagba akopọ ifọkansi wa, ni imọ diẹ sii nipa gbogbo iru iṣẹ ṣiṣe ti o yatọ, bẹrẹ pẹlu iran kọnputa ati awọn eto alatilẹyin ti o jinlẹ ati ọrọ, idamọ ọrọ aifọwọyi ati iṣelọpọ ọrọ ati ni bayi awọn awoṣe ede nla. O ti jẹ akopọ ti o dojukọ idagbasoke gaan. Ati ni bayi pe awọn ile-iṣẹ [ti rii] OpenAI ati ChatGPT, wọn loye iwulo lati ni awọn awoṣe ede nla wọnyi ti n ṣiṣẹ lẹgbẹẹ data ile-iṣẹ wọn tabi ni awọn ohun elo ile-iṣẹ wọn.

Olupese iṣẹ awọsanma apapọ, fun awọn iṣẹ iṣakoso wọn, wọn ti ni awọn ọgọọgọrun ti awọn onimọ-ẹrọ ti n ṣiṣẹ lori itọkasi, awọn ilana imudara. Awọn ile-iṣẹ ko le ṣe iyẹn. Wọn nilo lati gba akoko-si-iye lẹsẹkẹsẹ. Iyẹn ni idi ti a fi ṣe akopọ ohun gbogbo ti a ti kọ ni awọn ọdun pẹlu TensorRT, awọn awoṣe ede nla, Server Inference Triton wa, API boṣewa, ati awọn sọwedowo ilera. [Ero naa ni lati ni anfani] lati ṣafikun gbogbo iyẹn ki o le gba lati odo si aaye ipari awoṣe ede nla ni labẹ iṣẹju marun.

[Pẹlu iyi si on-prem dipo datacenter awọsanma], ọpọlọpọ awọn alabara wa jẹ awọsanma arabara. Wọn ti fẹ iṣiro. Nitorinaa dipo fifiranṣẹ data naa lọ si iṣẹ iṣakoso, wọn le ṣiṣẹ microservice nitosi data wọn ati pe wọn le ṣiṣẹ nibikibi ti wọn fẹ.

Awọn Forukọsilẹ: Kini akopọ sọfitiwia Nvidia fun AI dabi ni awọn ofin ti awọn ede siseto? Ṣe o tun jẹ CUDA, Python, C, ati C++? Ṣe o n wa ibomiiran fun iyara nla ati ṣiṣe?

Briski: A n ṣawari nigbagbogbo nibikibi ti awọn olupilẹṣẹ nlo. Iyẹn nigbagbogbo jẹ bọtini wa. Nitorinaa lati igba ti Mo ti bẹrẹ ni Nvidia, Mo ti ṣiṣẹ lori awọn ile-ikawe isiro isare. Ni akọkọ, o ni lati ṣe eto ni CUDA lati ni afiwera. Ati lẹhinna a ni awọn API C. Ati pe a ni Python API. Nitorina o jẹ nipa gbigbe pẹpẹ nibikibi ti awọn olupilẹṣẹ ba wa. Ni bayi, awọn olupilẹṣẹ kan fẹ lati lu opin opin API ti o rọrun gaan, bii pẹlu aṣẹ curl tabi pipaṣẹ Python tabi nkan ti o jọra. Nitorinaa o ni lati rọrun pupọ, nitori iyẹn ni iru ibiti a ti n pade awọn olupilẹṣẹ loni.

Awọn Forukọsilẹ: O han gedegbe CUDA ṣe ipa nla ni ṣiṣe iṣiro GPU munadoko. Kini Nvidia n ṣe lati ṣe ilosiwaju CUDA?

Briski: CUDA ni ipile fun gbogbo wa GPUs. O jẹ CUDA-ṣiṣẹ, CUDA-Eto GPU. Ni ọdun diẹ sẹyin, a pe ni CUDA-X, nitori pe o ni awọn ede-ašẹ kan pato. Nitorina ti o ba ni aworan iwosan [ohun elo], o ni kuCIM. Ti o ba ni idanimọ ọrọ aladaaṣe, o ni CUDA accelerated tan ina decoder ni opin rẹ. Ati nitorinaa gbogbo awọn nkan pataki wọnyi wa fun gbogbo iru ẹru iṣẹ ti o ti ni iyara nipasẹ CUDA. A ti kọ gbogbo awọn ile-ikawe amọja wọnyi ni awọn ọdun bii kuDF ati kuML, ati cu-eyi-ati-yẹn. Gbogbo awọn ile-ikawe CUDA wọnyi jẹ ipilẹ ti ohun ti a kọ ni awọn ọdun ati ni bayi a jẹ iru ile lori oke yẹn.

Awọn Forukọsilẹ: Bawo ni Nvidia ṣe n wo awọn idiyele idiyele ni awọn ofin ti ọna ti o ṣe apẹrẹ sọfitiwia ati ohun elo rẹ? Pẹlu nkankan bi Nvidia AI Idawọlẹ, o jẹ $ 4,500 fun GPU ni gbogbo ọdun, eyiti o jẹ akude.

Briski: Ni akọkọ, fun awọn ile-iṣẹ kekere, a nigbagbogbo ni awọn ibẹrẹ eto. A n ṣiṣẹ nigbagbogbo pẹlu awọn alabara – idanwo ọjọ 90 ọfẹ, ṣe o niyelori gaan fun ọ? Ṣe o tọsi gaan bi? Lẹhinna, fun idinku awọn idiyele rẹ nigbati o ra sinu iyẹn, a n mu sọfitiwia wa nigbagbogbo. Nitorinaa ti o ba n ra $ 4,500 fun Sipiyu fun ọdun kan fun iwe-aṣẹ, ati pe o nṣiṣẹ lori A100 kan, ati pe o ṣiṣẹ lori H100 ni ọla, idiyele kanna ni - idiyele rẹ ti lọ silẹ [ni ibatan si igbejade rẹ]. Nitorinaa a n kọ awọn iṣapeye wọnyẹn nigbagbogbo ati idiyele lapapọ ti nini ati iṣẹ pada sinu sọfitiwia naa.

Nigbati a ba n ronu nipa ikẹkọ mejeeji ati itọkasi, ikẹkọ gba diẹ diẹ sii, ṣugbọn a ni awọn atunto adaṣe wọnyi lati ni anfani lati sọ, “Data melo ni o ni? Elo isiro ni o nilo? Igba melo ni o fẹ ki o gba?” Nitorinaa o le ni ifẹsẹtẹ kekere ti iṣiro, ṣugbọn o kan le gba to gun lati kọ awoṣe rẹ… Ṣe iwọ yoo fẹ lati kọ ni ọsẹ kan? Tabi ṣe o fẹ lati ṣe ikẹkọ ni ọjọ kan? Ati nitorinaa o le ṣe awọn pipaṣẹ iṣowo yẹn.

Awọn Forukọsilẹ: Ni awọn ofin ti awọn iṣoro lọwọlọwọ, ṣe ohunkohun kan pato ti o fẹ lati yanju tabi jẹ ipenija imọ-ẹrọ kan ti o fẹ lati bori?

Briski: Ni bayi, o jẹ idari-iṣẹlẹ Awọn RAG [eyiti o jẹ ọna ti alekun awọn awoṣe AI pẹlu data ti o gba lati orisun ita]. Pupọ ti awọn ile-iṣẹ n ronu nipa itọsi kilasika lati ṣe agbekalẹ idahun kan. Ṣugbọn looto, ohun ti a fẹ ṣe ni [pq] gbogbo awọn ọna ṣiṣe imupadabọ-pada sipo wọnyi lapapọ. Nitori ti o ba ronu nipa rẹ, ati iṣẹ kan ti o le fẹ lati ṣe: “Oh, Mo ni lati sọrọ si ẹgbẹ data data. Ati pe ẹgbẹ data data ni lati lọ sọrọ si ẹgbẹ Tableau. Wọn ni lati sọ mi di dasibodu kan, ”ati pe gbogbo nkan wọnyi ni lati ṣẹlẹ ṣaaju ki o to le pari iṣẹ-ṣiṣe naa. Ati nitorinaa o jẹ iru ti RAG ti o dari iṣẹlẹ naa. Emi yoo ko sọ RAGs sọrọ si RAGs, sugbon o jẹ pataki ti o – òjíṣẹ lọ si pa ati ki o ṣe kan pupo ti ise ati ki o pada. Ati pe a wa lori idi eyi. Nitorinaa Mo ro pe iyẹn ni iru nkan ti inu mi dun gaan nipa wiwo ni 2024.

Awọn Forukọsilẹ: Njẹ Nvidia dogfooding AI tirẹ? Njẹ o ti rii AI wulo ni inu?

BriskiNi otitọ, a lọ kuro ati ni ọdun to kọja, niwon 2023 jẹ ọdun ti iṣawari, awọn ẹgbẹ 150 wa laarin Nvidia ti Mo rii - o le jẹ diẹ sii - ati pe a n gbiyanju lati sọ, bawo ni o ṣe nlo awọn irinṣẹ wa, iru wo ni ti awọn ọran lilo ati pe a bẹrẹ lati darapo gbogbo awọn ẹkọ, iru lati bii ẹgbẹrun awọn ododo ododo, ati pe a dapọ gbogbo awọn ẹkọ wọn sinu awọn iṣe ti o dara julọ sinu repo kan. Iyẹn gangan ohun ti a tu silẹ bi ohun ti a pe Generative AI Apeere lori GitHub, nitori a kan fẹ lati ni gbogbo awọn iṣe ti o dara julọ ni aye kan.

Iyẹn ni iru ohun ti a ṣe ni igbekale. Ṣugbọn gẹgẹbi apẹẹrẹ ti o fojuhan, Mo ro pe a kọ iwe nla nla yii ti a pe ChipNeMo, ati pe o jẹ gbogbo nipa EDA wa, ẹgbẹ apẹrẹ VLSI, ati bii wọn ṣe mu awoṣe ipilẹ ati pe wọn ṣe ikẹkọ lori data ohun-ini wa. A ni awọn ede ifaminsi tiwa fun VLSI. Nitorinaa wọn jẹ awọn atukọ ifaminsi [awọn awoṣe iran koodu orisun ṣiṣi] lati ni anfani lati ṣe ipilẹṣẹ ede ti ohun-ini wa ati lati ṣe iranlọwọ iṣelọpọ ti awọn ẹlẹrọ tuntun ti nbọ ti ko mọ ni pipe koodu kikọ apẹrẹ VLSI apẹrẹ chirún wa.

Ati awọn ti o ti resonated pẹlu gbogbo onibara. Nitorina ti o ba sọrọ si SAP, wọn ni BOP [Backorder Processing], ti o dabi SQL ti ara ẹni si aaye data wọn. Ati pe Mo sọrọ si awọn alabara mẹta miiran ti o ni awọn ede ti ara ẹni ti o yatọ - paapaa SQL ni bii awọn ọgọọgọrun awọn ede-ede. Nitorinaa ni anfani lati ṣe iran koodu kii ṣe ọran lilo ti o le yanju lẹsẹkẹsẹ nipasẹ RAG. Bẹẹni, RAG ṣe iranlọwọ lati gba iwe pada ati diẹ ninu awọn snippets koodu, ṣugbọn ayafi ti o ba ti ni ikẹkọ lati ṣe ipilẹṣẹ awọn ami ni ede yẹn, ko le ṣe koodu nikan.

Awọn Forukọsilẹ: Nigbati o ba wo awọn awoṣe ede ti o tobi ati ọna ti wọn ṣe ni ẹwọn pẹlu awọn ohun elo, ṣe o n ronu nipa idaduro ti o le ṣafihan ati bi o ṣe le ṣe pẹlu eyi? Njẹ awọn akoko wa nigbati fifi koodu lile kan igi ipinnu dabi pe yoo jẹ oye diẹ sii?

Briski: O tọ, nigba ti o ba beere ibeere kan pato, tabi tọ, o le wa, paapaa fun ibeere kan, awọn awoṣe marun tabi meje le wa tẹlẹ ti o ti bẹrẹ ki o le gba atunṣe kiakia ati awọn oluṣọ ati olugbapada ati tun-ni ipo. ati lẹhinna monomono. Ti o ni idi ti NIM jẹ pataki, nitori a ti iṣapeye fun lairi.

Ti o ni tun idi ti a nse o yatọ si awọn ẹya ti ipile si dede nitori ti o le ni ohun SLM, a kekere ede awoṣe ti o ni irú ti o dara fun a pato ti ṣeto ti awọn iṣẹ-ṣiṣe, ati ki o si ti o fẹ awọn ti o tobi awoṣe fun diẹ ẹ sii deede ni opin. Ṣugbọn lẹhinna pipọ pe gbogbo rẹ lati baamu ni window airi rẹ jẹ iṣoro ti a ti n yanju ni awọn ọdun fun ọpọlọpọ iwọn hyperscale tabi awọn iṣẹ iṣakoso. Wọn ni awọn ferese airi wọnyi ati ọpọlọpọ awọn akoko nigba ti o ba beere ibeere kan tabi ṣe wiwa, wọn n lọ gangan ati ṣe agbe jade ibeere naa ni ọpọlọpọ igba. Nitorinaa wọn ti ni ọpọlọpọ awọn ipo ere-ije ti “kini window airi mi fun apakan kekere kọọkan ti idahun lapapọ?” Nitorina bẹẹni, a ma n wo iyẹn nigbagbogbo.

Si aaye rẹ nipa koodu lile, Mo kan ba alabara kan sọrọ nipa iyẹn loni. A ti kọja koodu lile… O le lo oluṣakoso ijiroro kan ki o ni bi-lẹẹ naa-miiran. [Ṣugbọn] iṣakoso awọn ẹgbẹẹgbẹrun awọn ofin jẹ looto, ko ṣee ṣe gaan. Ati pe iyẹn ni idi ti a fi fẹran awọn nkan bii awọn ibi-iṣọ, nitori awọn ọna opopona jẹ aṣoju iru rirọpo si oluṣakoso ijiroro kilasika. Dipo sisọ, “Maṣe sọrọ nipa baseball, maṣe sọrọ nipa softball, maṣe sọrọ nipa bọọlu,” ati ṣe atokọ wọn jade o le sọ pe, “Maṣe sọrọ nipa awọn ere idaraya.” Ati lẹhinna LLM mọ kini ere idaraya jẹ. Awọn ifowopamọ akoko, ati ni anfani lati ṣakoso koodu naa nigbamii, dara julọ. ®

• SEO Agbara akoonu & PR Pinpin. Gba Imudara Loni.
• PlatoData.Network inaro Generative Ai. Fi agbara fun ara Rẹ. Wọle si Nibi.
• PlatoAiStream. Web3 oye. Imo Amugbadun. Wọle si Nibi.
• PlatoESG. Erogba, CleanTech, Agbara, Ayika, Oorun, Isakoso Egbin. Wọle si Nibi.
• PlatoHealth. Imọ-ẹrọ Imọ-ẹrọ ati Awọn Idanwo Ile-iwosan. Wọle si Nibi.
• Orisun: https://go.theregister.com/feed/www.theregister.com/2024/03/26/nvdiai_kari_briski_interview/