المدعومة من السهل قضاء الكثير من الوقت في التفكير في الحوسبة والتوصيل البيني في أي نوع من عبء عمل الحوسبة عالي الأداء - ومن الصعب عدم قضاء الكثير من الوقت في التفكير في التخزين الذي يدعم عبء العمل هذا. من المهم بشكل خاص التفكير في نوع وحجم البيانات التي ستغذي هذه التطبيقات لأن هذا ، أكثر من أي عامل آخر ، سيحدد نجاح أو فشل عبء العمل هذا في تلبية احتياجات المنظمة.

من الشائع هذه الأيام امتلاك عقلية "السحابة أولاً" عندما يتعلق الأمر بالبنية التحتية لتكنولوجيا المعلومات ، ولكن ما تحتاجه المؤسسات حقًا هو موقف "البيانات أولاً" ثم إدراك أن السحابة هي مجرد نموذج نشر مع مخطط تسعير و - ربما - مجموعة موارد أعمق مما اعتادت عليه العديد من المنظمات. لكن تلك البرك العميقة لها تكلفة. من الرخيص إلى حد ما نقل البيانات إلى السحب أو إنشائها هناك والاحتفاظ بها هناك ؛ ومع ذلك ، قد يكون نقل البيانات من السحابة أمرًا مكلفًا للغاية بحيث يمكن استخدامها في مكان آخر.

تميل الفئات الجديدة من تطبيقات HPC ، مثل التدريب على التعلم الآلي وتحليلات البيانات التي تعمل على نطاق واسع ، إلى التغذية أو إنشاء مجموعات بيانات كبيرة ، لذلك من المهم أن يكون لديك هذا الموقف من البيانات أولاً أثناء تصميم النظام. الشيء الوحيد الذي لا تريد القيام به هو معرفة مكان ما بين إثبات المفهوم والإنتاج أن لديك مساحة تخزين خاطئة - أو الأسوأ من ذلك ، اكتشف أن مساحة التخزين الخاصة بك لا يمكنها مواكبة البيانات مع بدء عبء العمل الجديد الإنتاج وهو نجاح باهر.

يقول Brian Henderson ، مدير تسويق منتجات تخزين البيانات غير المهيكلة في Dell Technologies ، "عندما تتم إضافة أجهزة التخزين كحل سريع بدون استراتيجية مدروسة جيدًا حول المتطلبات الحالية والمستقبلية ، غالبًا ما تظهر المشكلات". "تشتري المؤسسات بعض الخوادم ، وتعلق بعض التخزين ، وتطلق المشروع ، لترى كيف ستسير الأمور. غالبًا ما يؤدي هذا النوع من النهج إلى مشاكل الحجم ومشاكل الأداء ومشاكل مشاركة البيانات. ما تحتاجه هذه المؤسسات هو حل تخزين ملفات قابل للتوسيع مرن يمكّنها من احتواء جميع بياناتها المتباينة وربطها جميعًا حتى يتمكن أصحاب المصلحة والتطبيقات من الوصول إليها ومشاركتها بسرعة وسهولة ".

لذلك ، من المهم مراعاة بعض متطلبات تخزين البيانات الرئيسية قبل وضع مكونات الحوسبة والشبكات في حجر في أمر الشراء.

أول شيء يجب مراعاته هو النطاق ، ويجب أن تفترض النطاق من البداية ثم العثور على نظام يمكن أن يبدأ صغيرًا ولكنه ينمو بشكل كبير بما يكفي لاحتواء البيانات وخدمة أنظمة وأنواع بيانات متباينة.

على الرغم من أنه من الممكن الاعتماد على وحدة التخزين الداخلية أو مجموعة من وحدات التخزين المرتبطة بالأنظمة أو المجموعات ، إلا أن أحمال عمل HPC و AI يتم تسريعها في كثير من الأحيان بواسطة وحدات معالجة الرسومات من NVIDIA. من الأفضل افتراض أن الحوسبة والتخزين والشبكات يجب أن تتوسع مع نمو أعباء العمل ومجموعات البيانات وتكاثرها. هناك العديد من عوامل النمو المختلفة التي يجب مراعاتها ، ويمكن أن يؤدي نسيان أي منها إلى حدوث مشكلات في السعة والأداء في المستقبل.

وهناك عنصر أكثر دقة لمشكلة مقياس التخزين يجب مراعاته. يتم أرشفة البيانات لأنظمة HPC و AI. تأخذ تطبيقات HPC كميات صغيرة من الظروف الأولية وتخلق محاكاة ضخمة وتصورًا يكشف شيئًا ما عن العالم الحقيقي ، بينما تأخذ أنظمة الذكاء الاصطناعي كميات هائلة من المعلومات - عادةً ما تكون مزيجًا من البيانات المهيكلة وغير المهيكلة - وتختصرها في نموذج يمكن أن يكون تستخدم لتحليل العالم الحقيقي أو الرد عليه. يجب الحفاظ على مجموعات البيانات الأولية هذه ونماذجها لأسباب تجارية بالإضافة إلى حوكمة البيانات والامتثال التنظيمي.

لا يمكنك التخلص من هذه البيانات حتى لو كنت ترغب في ذلك

يقول توماس هينسون ، مدير تطوير الأعمال العالمي للذكاء الاصطناعي والتحليلات لفريق حلول البيانات غير المهيكلة في Dell Technologies: "لا يمكنك التخلص من هذه البيانات حتى لو كنت ترغب في ذلك". "بغض النظر عن الصناعة الرأسية - السيارات ، والرعاية الصحية ، والنقل ، والخدمات المالية - فقد تجد خللاً في الخوارزميات والتقاضي يمثل مشكلة. سيتعين عليك إظهار البيانات التي تم إدخالها في الخوارزميات التي أنتجت النتيجة المعيبة أو إثبات أنها لم تفعل ذلك. إلى حد ما ، فإن قيمة تلك الخوارزمية هي البيانات التي تم إدخالها فيها. وهذا مجرد مثال صغير ".

لذلك بالنسبة لأنظمة CPU-GPU الهجينة ، من الأفضل افتراض أن التخزين المحلي على الأجهزة لن يكون كافيًا ، وأن التخزين الخارجي القادر على الاحتفاظ بالكثير من البيانات غير المنظمة سيكون مطلوبًا. لأسباب اقتصادية ، نظرًا لأن الذكاء الاصطناعي وبعض مشاريع HPC لا تزال في مرحلة إثبات مراحل المفهوم ، سيكون من المفيد البدء على نطاق صغير والقدرة على توسيع نطاق السعة والأداء بسرعة وعلى نواقل مستقلة ، إذا لزم الأمر.

تناسب صفيفات PowerScale all-flash التي تشغل نظام ملفات OneFS من Dell Technologies ملف تعريف التخزين هذا. يأتي النظام الأساسي بتكوين ثلاثي العقد يحتوي على ما يصل إلى 11 تيرابايت من التخزين الخام وسعر متواضع أقل من ستة أرقام ، وقد تم اختباره في المعامل حتى 250 عقدة في مجموعة تخزين مشتركة يمكنها استيعاب ما يصل إلى 96 بيتابايت البيانات. ولدى Dell Technologies عملاء يقومون بتشغيل صفيفات PowerScale على نطاق أعلى بكثير من هذا ، بالمناسبة ، لكنهم غالبًا ما يفرزون مجموعات منفصلة لتقليل منطقة الانفجار المحتملة للانقطاع. وهو أمر نادر للغاية.

يمكن نشر PowerScale محليًا أو يمكن توسيعه إلى عدد من السحابة العامة مع خيارات سحابة متعددة أو سحابة أصلية متكاملة حيث يمكن للعملاء الاستفادة من خدمات الحوسبة الإضافية أو الخدمات السحابية الأصلية الأخرى.

الأداء هو الجزء الآخر من الحجم الذي تحتاج الشركات إلى مراعاته ، وهذا مهم بشكل خاص عندما يتم تسريع الأنظمة بواسطة وحدات معالجة الرسومات. منذ الأيام الأولى لحساب GPU ، عملت NVIDIA على إخراج وحدة المعالجة المركزية وذاكرتها من الطريق ومنعها من أن تصبح عنق الزجاجة الذي يمنع وحدات معالجة الرسومات من مشاركة البيانات (GPUDirect) أثناء تشغيل عمليات المحاكاة الخاصة بهم أو بناء نماذجهم أو الذي يمنع وحدات معالجة الرسومات من الوصول إلى وحدات التخزين بسرعة البرق (تخزين GPUDirect).

إذا كان التخزين الخارجي ضرورة لمثل هذه الأنظمة المسرَّعة من خلال وحدة معالجة الرسومات - فلا توجد طريقة للخوادم التي تحتوي على أربع أو ثماني وحدات معالجة رسومات ستحتوي على مساحة تخزين كافية لاستيعاب مجموعات البيانات التي تعالجها معظم تطبيقات HPC و AI - فيبدو من الواضح أنه مهما كان هذا التخزين يجب أن يتحدث تخزين GPUDirect وتحدث بسرعة.

كان حامل السجل السابق هو Pavilion Data ، الذي اختبر صفيف تخزين 2.2 PB و كان قادرًا على قراءة البيانات في نظام DGX-A100 استنادًا إلى وحدات معالجة الرسومات "Ampere" A100 الجديدة بسرعة 191 جيجابايت / ثانية في وضع الملف. في المختبر ، تضع Dell Technologies اللمسات الأخيرة على اختبارات قياس GPUDirect Storage التي تعمل على صفيفات PowerScale وتقول إنها يمكن أن تدفع بالأداء إلى أعلى بكثير ، على الأقل إلى 252 جيجابايت / ثانية. ونظرًا لأن PowerScale يمكنه التحجيم إلى 252 عقدة في مساحة اسم واحدة ، فإنه لا يتوقف عند هذا الحد ويمكن أن يتعدى ذلك كثيرًا إذا لزم الأمر.

يقول هندرسون: "النقطة المهمة هي أننا نعرف كيفية تحسين بيئات حوسبة GPU هذه". وإليك بيان أكثر عمومية حول أداء أنظمة تسريع GPU التي تشغل أحمال عمل AI وكيفية أداء تخزين PowerScale:

اتساع نطاق الدعم لأنواع مختلفة من الأنظمة هو شيء آخر يجب مراعاته أثناء تصميم نظام هجين CPU-GPU. يجب مشاركة طبيعة التخزين المشترك ، ومن المهم أن تكون قادرًا على استخدام البيانات الموجودة على التخزين المشترك للتطبيقات الأخرى. تم دمج صفيفات PowerScale مع أكثر من 250 تطبيقًا وتم اعتمادها على أنها مدعومة في العديد من أنواع الأنظمة. هذا هو أحد الأسباب التي تجعل مساحة تخزين Isilon و PowerScale لديها أكثر من 15,000 عميل حول العالم.

الحوسبة عالية الأداء هي أكثر من مجرد الأداء ، لا سيما في بيئة المؤسسة حيث تكون الموارد محدودة والتحكم في الأنظمة والبيانات أمر بالغ الأهمية. لذا فإن الشيء التالي الذي يجب مراعاته عند تصميم التخزين لأنظمة تسريع GPU هو إدارة التخزين.

مزخرف

على هذه الجبهة ، تقدم Dell Technologies عددًا من الأدوات للحفلة. الأول هو البصيرة، التي تقوم بمراقبة التخزين وإعداد التقارير بشكل محدد ومفصل للغاية لـ PowerScale وسابقتها ، صفيف تخزين Isilon.

أداة أخرى تسمى كلاود آي كيو، التي تستخدم تقنيات التعلم الآلي والتحليلات التنبؤية التي تراقب وتساعد على إدارة مجموعة كاملة من منتجات البنية التحتية لتقنيات Dell ، بما في ذلك PowerStore و PowerMax و PowerScale و PowerVault و Unity XT و XtremIO و SC Series ، بالإضافة إلى خوادم PowerEdge والخوادم المتقاربة والمتقاربة للغاية منصات مثل VxBlock و VxRail و PowerFlex.

وأخيرا ، هناك داتا كيو، وهو برنامج لمراقبة التخزين وإدارة مجموعة البيانات للبيانات غير المهيكلة والذي يوفر عرضًا موحدًا لمجموعات البيانات غير المهيكلة عبر صفيفات PowerScale و PowerMax و PowerStore بالإضافة إلى التخزين السحابي من السحابات العامة الكبيرة. لا يعرض لك DataIQ مجموعات البيانات غير المهيكلة فحسب ، بل يتتبع أيضًا كيفية استخدامها وينقلها إلى التخزين الأكثر ملاءمة ، على سبيل المثال ، أنظمة الملفات المحلية أو تخزين الكائنات المستند إلى مجموعة النظراء.

الاعتبار الأخير هو الموثوقية وحماية البيانات ، والتي تسير جنبًا إلى جنب في أي منصة تخزين على مستوى المؤسسة. تتمتع مصفوفات PowerScale بتراثها في Isilon ونظام ملفات OneFS الخاص بها ، والذي كان موجودًا منذ فترة طويلة ، والذي تم الوثوق به في المؤسسات والحكومة والمؤسسات الأكاديمية HPC لمدة عقدين من الزمن. تم تصميم OneFS وأجهزة PowerScale الأساسية الخاصة به لتقديم ما يصل إلى 99.9999 بالمائة من التوافر ، في حين أن معظم خدمات التخزين السحابية التي تتعامل مع البيانات غير المهيكلة محظوظة لوجود اتفاقيات خدمة توفر بنسبة 99.9 بالمائة. الأول لديه 31 ثانية من التعطل في السنة ، في حين أن الأخير غير متصل ثماني ساعات و 46 دقيقة.

علاوة على ذلك ، تم تصميم PowerScale لتوفير أداء جيد والحفاظ على الوصول إلى البيانات حتى إذا كانت بعض العقد في مجموعة التخزين معطلة للصيانة أو إصلاح نفسها بعد فشل المكون. (لا يمكن تجنب فشل المكونات لجميع معدات تكنولوجيا المعلومات ، بعد كل شيء.)

ولكن هناك نوع آخر من المرونة يزداد أهمية هذه الأيام: التعافي من هجمات برامج الفدية.

"لدينا حماية متكاملة من برمجيات الفدية API لـ باورسكيل سيكتشف السلوك المشبوه على نظام ملفات OneFS وينبه المسؤولين بشأنه "، كما يقول هندرسون. "ويقوم الكثير من عملائنا بتنفيذ إعداد مجموعة منفصلة ماديًا ومحدودة للهواء للاحتفاظ بنسخة منفصلة من جميع بياناتهم. في حالة وقوع هجوم إلكتروني ، فأنت تقوم فقط بإغلاق تخزين الإنتاج ولديك بياناتك ، ولا تحاول الاستعادة من النسخ الاحتياطية أو المحفوظات ، الأمر الذي قد يستغرق أيامًا أو أسابيع - خاصةً إذا كنت تقوم بالاستعادة من الأرشيفات السحابية. بمجرد أن تتحدث عن بيتابايت من البيانات ، فقد يستغرق ذلك شهورًا.

"يمكننا الاستعادة بسرعة ، بسرعات النسخ المتماثل للتخزين ، وهي سريعة جدًا جدًا. ولديك خيارات لاستضافة حل دفاع برامج الفدية في بيئات متعددة السحابة حيث يمكنك استرداد بياناتك من حدث إلكتروني يستفيد من سحابة عامة ".

برعاية Dell.

أفلاطون. Web3 مُعاد تصوره. تضخيم ذكاء البيانات.
انقر هنا للوصول.

المصدر: https://go.theregister.com/feed/www.theregister.com/2021/10/12/data_first_dell/