प्रायोजित पिछले दो दशकों में, उद्यमों ने डेटासेंटर प्रबंधन को एक ललित कला के रूप में प्राप्त कर लिया है। मानकीकरण और स्वचालन का मतलब है कि दोनों कच्चे माल और बिजली की खपत के मामले में दक्षता में सुधार। वर्चुअलाइजेशन और कंटेनरीकरण जैसी तकनीकों का मतलब है कि उपयोगकर्ता और डेवलपर्स स्वयं-सेवा परिनियोजन को सक्षम करने के बिंदु तक संसाधनों का अधिक कुशल उपयोग कर सकते हैं।

हालांकि, सामान्य उद्देश्य x86 आर्किटेक्चर जो ईंधन को आधुनिक डाटासेंटर कहते हैं, केवल एआई वर्कलोड चलाने के लिए उपयुक्त नहीं हैं। एआई के संचालन में तेजी लाने के लिए जीआई तकनीक का पुनरुत्पादन करके एआई शोधकर्ताओं ने इसे गोल कर दिया और पिछले एक दशक से मशीन लर्निंग में ब्रेकनेक इनोवेशन को बढ़ावा दिया है।

हालाँकि, यह उन उद्यमों के लिए एक समस्या प्रस्तुत करता है जो AI वर्कलोड चलाना चाहते हैं। आमतौर पर, CPU होस्ट प्लस एक्सेलेरेटर दृष्टिकोण का अर्थ है एक एकल बॉक्स खरीदना जो GPU और x86- आधारित होस्ट कंप्यूट को एकीकृत करता है। यह एंटरप्राइज इंफ्रास्ट्रक्चर टीमों के लिए खतरे की घंटी बजना शुरू कर सकता है। यद्यपि ऐसी प्रणालियां सैद्धांतिक रूप से प्लग एंड प्ले हो सकती हैं, वे बहुत सारे रैक स्थान ले सकते हैं और मुख्यधारा के विवाद के लिए विभिन्न शक्ति और शीतलन आवश्यकताओं को लागू कर सकते हैं। वे भी अनम्य हो सकते हैं, GPU त्वरक की गणना के अनुपात के साथ, लचीलेपन को सीमित करते हुए, विभिन्न मेजबान गणना आवश्यकताओं के साथ कई वर्कलोड को जोड़कर लचीलेपन को सीमित किया जा सकता है।

चूंकि शोधकर्ता और डेटा वैज्ञानिक कभी बड़े मॉडल और डेटासेट के साथ काम करते हैं - अब हम सुरक्षित रूप से ट्रिलियन प्लस पैरामीटर रेंज में हैं - एआई हॉर्सपावर को स्केल करके गति बनाए रखना एक और नई प्रणाली खरीदने का प्रश्न बन जाता है। फिर एक और। और दुसरी। लेकिन यह मेजबान गणना और एआई त्वरण के बीच किसी भी असंतुलन को संबोधित करने के लिए बहुत कम है।

और आपके बाकी ट्यूट डेटासेंटर? ठीक है, आप वास्तव में इसका लाभ नहीं उठा सकते हैं जब सभी एआई वर्कक्लाउड एक साइलो में हो रहे हैं। यह अनुभवी CIO और बुनियादी ढांचे के प्रबंधकों को उनकी आंखों के सामने फंसे संसाधन के साइलो में अत्यधिक विशिष्ट, AI- केंद्रित किट के आकार को लेकर काफी परेशान करता है।

अनबॉक्सिंग AI

इसलिए, जबकि ग्राफकोर में एसवीपी सिस्टम ओला टॉरुडबकेन, एआई, या मशीन इंटेलिजेंस कहते हैं, अनिवार्य रूप से (पारंपरिक) गणना, नेटवर्किंग और भंडारण के साथ डेटासेंटर का चौथा स्तंभ बन जाएगा, उनका यह भी कहना है कि यह काले रंग के रूप में नहीं होना चाहिए। बॉक्स सिस्टम।

बल्कि, ब्रिटेन स्थित एआई सिस्टम निर्माता का तर्क है, एआई फायरपावर को मेजबान गणना से अलग करना होगा और इसे ऐसे रूप में पैक किया जाना चाहिए जो न केवल आसानी से फिट हो, बल्कि आधुनिक डेटासेंटर का भी पूरा फायदा उठाता है।

यह वह जगह है जहाँ IPU-POD सिस्टम परिवार आता है। IPU-POD IPU-M2000 पर आधारित सिस्टम कॉन्फ़िगरेशन का एक परिवार है, एक 1U ब्लेड जो AI कंप्यूट का 1 पेटाफ्लॉप बचाता है। प्रत्येक मशीन में चार GC200, Mk2 कोलोसस इंटेलिजेंस प्रोसेसिंग यूनिट, या IPU शामिल हैं, जिनमें से प्रत्येक में 1472 स्वतंत्र कोर या टाइलें हैं, जिनमें से प्रत्येक छह समवर्ती थ्रेड चला सकती हैं, और जो एक ही सिलिकॉन पर 900MB इन-प्रोसेसर मेमोरी साझा करती हैं।

एक सीआईओ/सीटीओ के लिए शुरुआती बिंदु जो अपने डेटासेंटर को एआई कंप्यूट संसाधनों से लैस करना चाहते हैं जो उनके डेटासेंटर के संचालन के लिए बेहतर अनुकूल हैं IPU-POD16 और IPU-POD64।

IPU-POD64 सोलह IPU-M2000s, डेटा और प्रबंधन स्विच और 1 या 4 होस्ट सर्वरों की पसंद से बना है जो कि अलग-अलग हैं। यह 16 पेटीएमओपीएस एफपी 16.16 की गणना करता है और सर्वर आवंटन के आधार पर, लगभग 20RU रैक स्थान रखता है, जो एक या एक से अधिक रैक में फैला होता है। IPU-POD16 उन लोगों के लिए एक अधिक परिचयात्मक उत्पाद है जो प्रौद्योगिकी के साथ अपनी नवाचार यात्रा का पता लगाने और शुरू करना चाहते हैं। IPU-POD16 दो फ्लेवर में आता है, डायरेक्ट अटैच जो एक प्री-कंफिगर प्लग-एंड-प्ले सिस्टम है, और एक विकल्प जो स्विच का उपयोग करता है। दोनों वेरिएंट एक ही होस्ट सर्वर को काम पर रखते हैं और कंप्यूट पेशी के 4 पेटाफ्लॉप FP16.16 वितरित करते हैं।

स्केलआउट प्रत्येक IPU-M2000 में ग्राफ़कोर के डिज़ाइन किए गए इन-हाउस गेटवे चिप के साथ बेक-इन है। यह डिवाइस आसन्न IPU-POD रैक के लिए प्रत्येक दिशा में बाद में 100Gbps संचार का समर्थन करता है। IPU-Fabric इंटरकनेक्ट के एक भाग के रूप में ये कनेक्शन सीधे या स्विच के माध्यम से अतिरिक्त लचीलेपन और फ़ेलओवर शमन के लिए हो सकते हैं। स्केल आउट का आधार ग्राफकोर का आईपीयू फैब्रिक है, जिसकी कुल बैंडविड्थ 2.8 टीबीपीएस है। सोलह M2000s को एक IPU-POD64 बनाने वाले रैक के भीतर बढ़ाया जाता है। इंटर-रैक संचार के लिए, IPU फैब्रिक को स्विच किए गए 3D टोरस टोपोलॉजी में कॉन्फ़िगर किया जा सकता है ताकि हजारों IPUs और 1024 IPU-M2000s तक का समर्थन किया जा सके, जिससे एक व्यापक समानांतर सिस्टम बनाया जा सके, जो कंप्यूट के 16 एक्साफ्लॉप्स प्रदान करता है।

यह अलग-थलग दृष्टिकोण दोनों हाइपरस्केलेरर्स और उद्यमों की इच्छा में खेलता है ताकि सर्वर SKU की संख्या को कम से कम किया जा सके जो उन्हें समर्थन करने की आवश्यकता है। Tørudbakken कहते हैं, ग्राफकोर सिस्टम प्रभावी रूप से "नेटवर्क संलग्न" हैं। ग्राहक केवल ग्राफकोर के चिनार सॉफ्टवेयर को स्थापित करते हैं - जो उद्योग मानक मशीन लर्निंग फ्रेमवर्क का समर्थन करता है - आईपीयू-आधारित प्रणाली के लिए मेजबान गणना प्रदान करने के लिए अपने पसंदीदा सर्वरों पर। विचारणीय रूप से, एआई कार्यभार के अनुसार सर्वर की क्षमता बढ़ाकर या घटाकर डायल की जा सकती है। इसलिए, जबकि एनएलपी प्रकार के वर्कलोड को आमतौर पर मेजबान गणना और आईओ के कम अनुपात की आवश्यकता होती है, कंप्यूटर विज़न वर्कलोड आमतौर पर मेजबान पर अधिक भार डालते हैं।

टॉरुडबक्कन कहते हैं, लचीलापन के मामले में भी असहमति के फायदे हैं। "यदि आपके पास विफलता है - और, सर्वर, वे असफल होते हैं, ठीक है - आप नेटवर्किंग स्टैक द्वारा प्रदान किए गए मानक विफलता प्रोटोकॉल का लाभ उठा सकते हैं। इसलिए, यदि कोई सर्वर या वर्चुअल मशीन विफल हो जाती है, तो आप उसे किसी स्टैंडबाय सर्वर या स्टैंडबाय वर्चुअल मशीन में माइग्रेट कर सकते हैं।

IPU फैब्रिक को संचार और बड़े पैमाने पर संकलित समर्थन के लिए डिज़ाइन किया गया है। जब डेटा वैज्ञानिक पोपलर का उपयोग करके अपने कोड को संकलित करते हैं, तो उनके मॉडल को आईपीयू-पीओडी सिस्टम में एक सन्निहित आईपीयू संसाधन के रूप में मैप किया जाता है, अनिवार्य रूप से जैसे कि यह एक विशाल आईपीयू था, प्रोसेसर पर अलग-अलग कोर तक, समर्थन करने के लिए इष्टतम कॉम पैटर्न बनाते हैं। मशीन लर्निंग मॉडल हाथ में, चाहे एक आईपीयू पर हो या 1000s तक स्केलिंग। परिणाम, ग्राफकोर कहते हैं, नियतात्मक और घबराहट मुक्त संचार है, भले ही सिस्टम को बड़े पैमाने पर बढ़ाया गया हो।

लेकिन Tørudbakken के अनुसार, उपयोगकर्ता "वास्तव में हार्डवेयर या सिस्टम के बारे में बहुत परवाह नहीं करता है - वे मूल रूप से एक बहुत ही स्केलेबल प्लेटफ़ॉर्म चाहते हैं कि वे अपने कोड को चला सकें।"

यह कोड कितनी तेजी से चलता है, ग्राफकोर के सबसे हालिया बेंचमार्क ने दिखाया कि डीजीएक्स ए 100 जीपीयू-आधारित सिस्टम की तुलना में आईपीयू-पीओडी सिस्टम का उपयोग करके बीईआरटी-लार्ज पर प्रशिक्षण समय आधा से अधिक हो सकता है, जिसमें अनुमान के लिए तीन गुना अधिक थ्रूपुट होता है। न्यूनतम विलंबता। मार्कोव चेन मोंटे कार्लो वर्कलोड पर, IPU-M2000 ने A48 GPU के लिए 100 घंटे की तुलना में तीन घंटे से कम समय में एक प्रशिक्षण कार्य चलाया।

अधिक आधुनिक मॉडलों के साथ सुधार और भी स्पष्ट हैं। IPU-M2000 ने E कुशलNet-B4 पर प्रशिक्षण थ्रूपुट में एक दस गुना वृद्धि की, और एक IPU अनुकूलित कॉन्फ़िगरेशन के साथ एक 18x दिया। अनुमान के आधार पर, IPU-M2000 ने GPU सिस्टम की तुलना में थ्रूपुट में 60x वृद्धि और विलंबता में 16 गुना कमी दी। इससे कोई संदेह नहीं होगा कि कृपया डेटा वैज्ञानिकों पर ध्यान दें, लेकिन उनके बुनियादी ढांचे के सहयोगियों के पास बहुत अधिक कानूनी चिंताएं हो सकती हैं, जैसे सवालों के साथ शुरू करना "क्या सिस्टम बेहतर तरीके से चल रहा है और क्या यह विफल होने की संभावना है?" IPU-POD सिस्टम पूरी तरह से एक प्रबंधन सॉफ्टवेयर सूट द्वारा समर्थित हैं जो सिस्टम प्रबंधन और अवलोकन की अनुमति देता है।

उद्योग-मानक, ओपन सोर्स एंटरप्राइज़ टूल जैसे कि OpenBMC, RedFish DTMF, प्रोमेथियस और ग्राफाना से तैयार, वे अच्छी तरह से प्रलेखित, प्रबंधन प्रणाली एकीकरण के लिए खुले एपीआई के साथ प्रदान किए जाते हैं "मान लीजिए कि एक बिजली की आपूर्ति विफल होने वाली है, तो आप प्राप्त करना चाहते हैं टॉरडबककेन कहते हैं कि इस बारे में जल्द ही एक चेतावनी। "तो, आप इसे बदलने के लिए एक सहायक कार्यकर्ता को भेज सकते हैं या यदि आपके पास डीआईएमएम है जो विफल होने वाला है, तो एक ही बात है।"

और इन्फ्रास्ट्रक्चर टीमों को भी बहुत चिंता होगी कि वे अपने एआई गियर में अपने निवेश से सबसे अधिक लाभ प्राप्त कर रहे हैं, जिसका अर्थ है कि यह संभव के रूप में कई कार्यभार, नौकरियों और टीमों का समर्थन करता है।

एआई किसी के लिए?

हालाँकि IPU-POD आर्किटेक्चर को हज़ारों IPU के दसियों हिस्से तक बढ़ाया जा सकता है, लेकिन डेटा वैज्ञानिकों के लिए अपने मॉडल को चलाने के लिए एक लुभावने कैनवस का निर्माण करना, जैसा कि Tørudbakken कहते हैं, वास्तविकता यह है कि ऐसे कुछ मामले होंगे जहां एक एकल उपयोगकर्ता सभी को उठा रहा है एआई गणना क्षमता: "आमतौर पर आपके पास कई उपयोगकर्ता होंगे और आपके पास कई किरायेदार होंगे जो सिस्टम का उपयोग करते हैं।" इसका मतलब है कि मजबूत संसाधन प्रबंधन की आवश्यकता है। ग्राफकोर के सॉफ्टवेयर स्टैक से 'वर्चुअल IPUs' के निर्माण की अनुमति मिलती है और "यह हमें मूल रूप से पॉड को कई वर्चुअल पॉड्स में उत्कीर्ण करने की अनुमति देता है, जो पूरी तरह से पृथक हैं। एक वर्चुअल पॉड में एक IPU या सिस्टम आसन्न पॉड में किसी अन्य IPU से बात नहीं कर सकता है। "

यह उद्योग मानक ऑर्केस्ट्रेशन टूल जैसे SLURM और Kubernetes के समर्थन के साथ संबद्ध है, ताकि वर्चुअल मशीन या होस्ट पर चलने वाले कंटेनर IPU सिस्टम में VPODs के साथ संबद्ध हो सकें। जैसा कि तोरुद्दबक्केन कहते हैं, चाहे वह हाइपरस्केल स्तर या एकल रैक पर बात कर रहा हो, जबकि डेटा वैज्ञानिक एक मॉडल को चलाने के लिए अधिक से अधिक शक्ति होने पर केंद्रित है, उनके प्रबंधक या कंपनी कुछ आश्वासन चाहते हैं कि "यह संसाधन मेरा और केवल मेरा है "

यह इस उम्मीद में खेलता है कि कई संगठनों को आईपीयू का अपना पहला अनुभव हाइपरस्केलेकर्स या ग्राफकोर की नंगे धातु क्लाउड सेवाओं, ग्राफक्लाउड के माध्यम से हो सकता है, जो जनवरी में लॉन्च किया गया था। हालांकि, टॉरुडबकेन को उम्मीद है कि कई लोग अंततः मशीन इंटेलिजेंस को ऑन-प्रिमाइसेस लाना चाहेंगे, ठीक गोपनीयता, गोपनीयता और विलंबता के कारणों के लिए। ऐसा करने में, उन्होंने स्वामित्व की कुल लागत के आसपास कुछ बहुत ही पारंपरिक समीकरणों के माध्यम से काम किया होगा। एक ओपेक्स प्रश्न, वे कहते हैं, "आप वास्तव में कितनी शक्ति का उपभोग करते हैं, चलाने के लिए, मान लीजिए, एक BERT नौकरी? एक साल के लिए? जब आप दोनों को बॉक्स स्तर पर देखते हैं, लेकिन सिस्टम स्तर पर भी देखते हैं, तो समाधान बहुत आकर्षक होता है।"

कैपेक्स के दृष्टिकोण से, समीकरण और भी सीधा है। “एकमात्र नया घटक जो उन्हें लगता है कि उन्हें वास्तव में जोड़ने की आवश्यकता है वह IPU-M2000- आधारित IPU-POD प्रणाली है। बाकी - नेटवर्किंग, और भंडारण - यह कुछ ऐसा है जो बहुत से लोगों के पास पहले से है। "

और यह यकीनन के रूप में के रूप में आप अपने datacenter में मशीन खुफिया लाने के दौरान किया जा सकता है के रूप में निर्विवाद है।

ग्राफकोर द्वारा प्रायोजित

Coinsmart। यूरोपा में बेस्टे बिटकॉइन-बोरसे
स्रोत: https://go.theregister.com/feed/www.theregister.com/2021/05/13/does_ai_disrupt_running_a_datacenter/