Gesponsorde Het is gemakkelijk om veel tijd te besteden aan het nadenken over de compute en interconnect in elke vorm van high-performance computing-workload - en moeilijk om niet net zo veel tijd te besteden aan het nadenken over de opslag die die workload ondersteunt. Het is met name belangrijk om na te denken over het type en de hoeveelheid gegevens die in deze toepassingen worden ingevoerd, omdat dit, meer dan enige andere factor, bepalend is voor het succes of falen van die werklast bij het voldoen aan de behoeften van de organisatie.

Het is tegenwoordig in zwang om een ​​"cloud first"-mentaliteit te hebben als het gaat om IT-infrastructuur, maar wat organisaties echt nodig hebben, is een "data first" -houding en dan beseffen dat cloud slechts een implementatiemodel is met een prijsschema en - misschien – een diepere pool van middelen dan veel organisaties gewend zijn. Maar die diepe poelen hebben een prijs. Het is redelijk goedkoop om gegevens naar de cloud te verplaatsen of daar te genereren en daar te houden; het kan echter exorbitant duur zijn om gegevens uit een cloud te verplaatsen, zodat deze elders kunnen worden gebruikt.

De nieuwe klassen van HPC-applicaties, zoals machine learning-training en data-analyse die op grote schaal worden uitgevoerd, hebben de neiging om grote datasets te voeden of te creëren, dus het is belangrijk om deze data-first-houding te hebben terwijl het systeem wordt ontworpen. Het enige dat u niet wilt doen, is ergens tussen proof of concept en productie ontdekken dat u de verkeerde opslag hebt - of erger nog, erachter komen dat uw opslag de gegevens niet bij kan houden als een nieuwe werklast binnenkomt productie en is een wild succes.

"Als opslaghardware wordt toegevoegd als een snelle oplossing zonder een goed doordachte strategie rond huidige en toekomstige vereisten, zullen er vaak problemen ontstaan", zegt Brian Henderson, directeur ongestructureerde productmarketing voor gegevensopslag bij Dell Technologies. “Organisaties kopen wat servers, koppelen wat opslagruimte, lanceren het project en kijken hoe het gaat. Dit type benadering leidt vaak tot schaalproblemen, prestatieproblemen, problemen met het delen van gegevens. Wat deze organisaties nodig hebben, is een flexibele scale-out oplossing voor bestandsopslag waarmee ze al hun ongelijksoortige gegevens kunnen bevatten en verbinden, zodat belanghebbenden en applicaties deze allemaal snel en gemakkelijk kunnen openen en delen.”

Het is dus belangrijk om enkele belangrijke vereisten voor gegevensopslag in overweging te nemen voordat de compute- en netwerkcomponenten in een inkooporder worden vastgelegd.

Het eerste dat u moet overwegen, is schaal, en u moet vanaf het begin van schaal uitgaan en vervolgens een systeem vinden dat klein kan beginnen maar groot genoeg kan worden om de gegevens te bevatten en ongelijksoortige systemen en gegevenstypen te bedienen.

Hoewel het waarschijnlijk mogelijk is om te vertrouwen op interne opslag of een mengelmoes van opslag die is gekoppeld aan systemen of clusters, worden HPC- en AI-workloads vaker wel dan niet versneld door GPU's van NVIDIA. Het is het beste om aan te nemen dat rekenkracht, opslag en netwerken moeten worden geschaald naarmate workloads en datasets groeien en toenemen. Er zijn veel verschillende groeivectoren om te overwegen en als u ze vergeet, kan dit op den duur leiden tot capaciteits- en prestatieproblemen.

En er is een nog subtieler element aan dit probleem met de opslagschaal dat moet worden overwogen. Gegevens worden gearchiveerd voor zowel HPC- als AI-systemen. HPC-toepassingen nemen kleine hoeveelheden beginvoorwaarden en creëren een enorme simulatie en visualisatie die iets over de echte wereld onthult, terwijl AI-systemen enorme hoeveelheden informatie - meestal een mix van gestructureerde en ongestructureerde gegevens - en deze distilleren tot een model dat kan worden gebruikt om de echte wereld te analyseren of erop te reageren. Deze initiële datasets en hun modellen moeten worden bewaard om zakelijke redenen, maar ook om gegevensbeheer en naleving van de regelgeving.

Je kunt deze gegevens niet weggooien, ook al zou je dat willen

"Je kunt deze gegevens niet weggooien, zelfs niet als je dat zou willen", zegt Thomas Henson, global business development manager voor AI en analyse voor het Unstructured Data Solutions-team bij Dell Technologies. “Het maakt niet uit wat de verticale industrie is - auto's, gezondheidszorg, transport, financiële diensten - je kunt een defect in de algoritmen vinden en rechtszaken zijn een probleem. U moet de gegevens tonen die zijn ingevoerd in algoritmen die het defecte resultaat hebben opgeleverd of bewijzen dat dit niet het geval was. Tot op zekere hoogte is de waarde van dat algoritme de gegevens die erin zijn ingevoerd. En dat is nog maar een klein voorbeeld.”

Dus voor hybride CPU-GPU-systemen is het waarschijnlijk het beste om aan te nemen dat lokale opslag op de machines niet zal volstaan ​​en dat externe opslag nodig is die veel ongestructureerde gegevens kan bevatten. Om economische redenen, aangezien AI en sommige HPC-projecten zich nog in de proof-of-conceptfase bevinden, is het handig om klein te beginnen en de capaciteit en prestaties snel en op onafhankelijke vectoren te kunnen schalen, indien nodig.

De PowerScale all-flash arrays met het OneFS-bestandssysteem van Dell Technologies passen in dit opslagprofiel. Het basissysteem wordt geleverd in een configuratie met drie knooppunten met tot 11 TB aan onbewerkte opslag en een bescheiden prijs van minder dan zes cijfers, en is in de laboratoria getest tot 250 knooppunten in een gedeeld opslagcluster dat tot 96 PB kan bevatten Van de gegevens. En Dell Technologies heeft klanten die PowerScale-arrays op een veel grotere schaal gebruiken, maar ze brengen vaak afzonderlijke clusters voort om het potentiële explosiegebied van een storing te verkleinen. Wat uiterst zeldzaam is.

PowerScale kan on-premises worden ingezet of kan worden uitgebreid naar een aantal openbare clouds met multi-cloud of native cloud-geïntegreerde opties waar klanten kunnen profiteren van aanvullende compute- of andere native cloudservices.

Prestaties zijn het andere deel van de schaal waarmee bedrijven rekening moeten houden, en dit is vooral belangrijk wanneer de systemen worden versneld door GPU's. Sinds de begindagen van GPU-computing heeft NVIDIA gewerkt om de CPU en het geheugen uit de weg te ruimen en te voorkomen dat het de bottleneck wordt die GPU's ervan weerhoudt gegevens te delen (GPUDirect) terwijl ze hun simulaties uitvoeren of hun modellen bouwen of dat voorkomt dat GPU's razendsnel toegang krijgen tot opslag (GPUDirect Storage).

Als externe opslag een noodzaak is voor dergelijke GPU-versnelde systemen - het is onmogelijk dat servers met vier of acht GPU's voldoende opslagruimte hebben om de datasets op te slaan die de meeste HPC- en AI-applicaties verwerken - dan lijkt het duidelijk dat wat die opslag ook is, moet spreken GPUDirect-opslag en spreek het snel.

De vorige recordhouder was Pavilion Data, dat een opslagarray van 2.2 PB testte en kon gegevens inlezen in een DGX-A100-systeem op basis van de nieuwe "Ampere" A100 GPU's met 191 GB/sec in bestandsmodus. In het lab legt Dell Technologies de laatste hand aan zijn GPUDirect Storage-benchmarktests die worden uitgevoerd op PowerScale-arrays en zegt dat het de prestaties aanzienlijk kan verhogen, ten minste tot 252 GB/sec. En aangezien PowerScale kan schalen naar 252 nodes in een enkele naamruimte, stopt het daar niet en kan het indien nodig veel verder schalen.

"Het punt is dat we weten hoe we moeten optimaliseren voor deze GPU-computeromgevingen", zegt Henderson. En hier is een meer algemene verklaring over de prestaties van GPU-versnelde systemen met AI-workloads en hoe PowerScale-opslag presteert:

De brede ondersteuning voor verschillende soorten systemen is een ander ding om te overwegen bij het ontwerpen van een hybride CPU-GPU-systeem. De aard van gedeelde opslag is om te worden gedeeld en het is belangrijk om de gegevens op de gedeelde opslag voor andere toepassingen te kunnen gebruiken. De PowerScale-arrays zijn geïntegreerd met meer dan 250 applicaties en zijn gecertificeerd als ondersteund op vele soorten systemen. Dit is een van de redenen dat Isilon- en PowerScale-opslag wereldwijd meer dan 15,000 klanten heeft.

High-performance computing gaat over meer dan alleen prestaties, vooral in een bedrijfsomgeving waar de middelen beperkt zijn en controle over systemen en gegevens absoluut essentieel is. Dus het volgende dat moet worden overwogen bij het ontwerpen van de opslag voor GPU-versnelde systemen, is opslagbeheer.

Uitgerust

Op dit front brengt Dell Technologies een aantal tools naar de partij. De eerste is InzichtIQ, die zeer specifieke en gedetailleerde opslagmonitoring en -rapportage uitvoert voor PowerScale en zijn voorganger, de Isilon-opslagarray.

Een ander hulpmiddel heet CloudIQ, die gebruikmaakt van machine learning en voorspellende analysetechnieken die de volledige reeks infrastructuurproducten van Dell Technologies bewaken en helpen beheren, waaronder PowerStore, PowerMax, PowerScale, PowerVault, Unity XT, XtremIO en SC-serie, evenals PowerEdge-servers en geconvergeerde en hypergeconvergeerde platforms zoals VxBlock, VxRail en PowerFlex.

En tot slot is er DataIQ, software voor opslagbewaking en datasetbeheer voor ongestructureerde gegevens die een uniform beeld biedt van ongestructureerde datasets in PowerScale-, PowerMax- en PowerStore-arrays, evenals cloudopslag vanuit de grote openbare clouds. DataIQ toont u niet alleen de ongestructureerde datasets, maar houdt ook bij hoe ze worden gebruikt en verplaatst ze naar de meest geschikte opslag, bijvoorbeeld on-premises bestandssystemen of cloudgebaseerde objectopslag.

De laatste overweging is betrouwbaarheid en gegevensbescherming, die hand in hand gaan in elk opslagplatform op bedrijfsniveau. De PowerScale-arrays hebben hun erfgoed in Isilon en zijn OneFS-bestandssysteem, dat al heel lang bestaat en dat al twee decennia wordt vertrouwd in ondernemingen, de overheid en academische HPC-instellingen. OneFS en de onderliggende PowerScale-hardware zijn ontworpen om tot 99.9999 procent beschikbaarheid te leveren, terwijl de meeste cloudopslagservices die ongestructureerde gegevens verwerken het geluk hebben serviceovereenkomsten te hebben voor 99.9 procent beschikbaarheid. De eerste heeft 31 seconden downtime per jaar, terwijl de laatste acht uur en 46 minuten offline is.

Bovendien is PowerScale ontworpen om goede prestaties te leveren en toegang tot gegevens te behouden, zelfs als sommige knooppunten in het opslagcluster niet beschikbaar zijn voor onderhoud of reparatie na een storing van een onderdeel. (Componentstoringen zijn immers onvermijdelijk voor alle IT-apparatuur.)

Maar er is een ander soort veerkracht dat tegenwoordig steeds belangrijker wordt: herstel van ransomware-aanvallen.

“We hebben API-geïntegreerde ransomwarebescherming voor PowerScale dat verdacht gedrag op het OneFS-bestandssysteem detecteert en beheerders hierover waarschuwt”, zegt Henderson. “En veel van onze klanten implementeren een fysiek gescheiden, air-gapped clusterconfiguratie om een ​​afzonderlijke kopie van al hun gegevens te behouden. In het geval van een cyberaanval, sluit je gewoon de productieopslag af en heb je je gegevens, en je probeert niet te herstellen van back-ups of archieven, wat dagen of weken kan duren, vooral als je herstelt vanuit cloudarchieven. Als je het over petabytes aan gegevens hebt, kan dat maanden duren.

“We kunnen snel herstellen, met opslagreplicatiesnelheden, wat heel, heel snel is. En je hebt opties om je ransomware defender-oplossing te hosten in multi-cloudomgevingen waar je je gegevens kunt herstellen van een cybergebeurtenis door gebruik te maken van een openbare cloud.”

Gesponsord door Dell.

PlatoAi. Web3 opnieuw uitgevonden. Gegevensintelligentie versterkt.
Klik hier om toegang te krijgen.

Bron: https://go.theregister.com/feed/www.theregister.com/2021/10/12/data_first_dell/