Zephyrnet logo

Aseta tiedot etusijalle, kun otat käyttöön laajennettua tiedostovarastoa nopeutetuille järjestelmille

Treffi:

Sponsored On helppo viettää paljon aikaa laskemiseen ja yhteenliittämiseen kaikenlaisella korkean suorituskyvyn laskentatyökuormalla - ja on vaikea olla viettämättä yhtä paljon aikaa ajatellen tätä työkuormaa tukevaa tallennustilaa. On erityisen tärkeää miettiä, millaista ja minkä tyyppistä dataa näihin sovelluksiin syötetään, koska tämä, enemmän kuin mikään muu tekijä, määrittää tämän työmäärän onnistumisen tai epäonnistumisen organisaation tarpeiden täyttämisessä.

Nykyään on muodissa ”pilvi ensin” -ajattelutapa IT -infrastruktuurin suhteen, mutta organisaatiot todella tarvitsevat ”data first” -asennon ja ymmärtävät sitten, että pilvi on vain käyttöönottomalli, jolla on hinnoittelujärjestelmä ja - ehkä - resurssien syvempi yhdistäminen kuin monet organisaatiot ovat tottuneet. Mutta syvät altaat maksavat. On melko halpaa siirtää tietoja pilviin tai luoda niitä siellä ja pitää ne siellä; tietojen siirtäminen pilvestä voi kuitenkin olla kohtuuttoman kallista, jotta sitä voidaan käyttää muualla.

HPC -sovellusten uudet luokat, kuten koneoppimiskoulutus ja laajassa mittakaavassa suoritettava data -analytiikka, pyrkivät yleensä syöttämään tai luomaan suuria tietojoukkoja, joten on tärkeää, että tämä tieto on ensimmäinen asenne järjestelmän suunnittelun aikana. Ainoa asia, jota et halua tehdä, on selvittää jossain konseptitodistuksen ja tuotannon välissä, että sinulla on väärä tallennustila - tai mikä vielä pahempaa, huomaa, että tallennustilasi ei pysy tiedoissa, kun uusi työmäärä tulee tuotantoa ja on hurja menestys.

"Kun tallennuslaitteisto lisätään pikaratkaisuna ilman hyvin harkittua strategiaa nykyisten ja tulevien vaatimusten ympärille, ongelmia tulee usein esiin", sanoo Brian Henderson, Dell Technologiesin strukturoimattoman tietojen tallennustuotteiden markkinoinnin johtaja. ”Organisaatiot ostavat palvelimia, liittävät tallennustilaa, käynnistävät projektin ja katsovat, miten se menee. Tällainen lähestymistapa johtaa usein mittakaavaongelmiin, suorituskykyongelmiin ja tietojen jakamiseen. Nämä organisaatiot tarvitsevat joustavan skaalautuvan tiedostojen tallennusratkaisun, jonka avulla ne voivat sisällyttää kaikki eri tiedot ja yhdistää ne niin, että sidosryhmät ja sovellukset voivat käyttää niitä nopeasti ja helposti. ”

Joten on tärkeää ottaa huomioon joitakin tärkeimpiä tietojen tallennusvaatimuksia ennen kuin laskenta- ja verkko -osat ovat kiveen hankintatilauksessa.

Ensimmäinen asia, joka on otettava huomioon, on mittakaava, ja sinun pitäisi olettaa mittakaava alusta alkaen ja löytää sitten järjestelmä, joka voi alkaa pienestä mutta kasvaa tarpeeksi suureksi sisältämään tiedot ja palvelemaan erilaisia ​​järjestelmiä ja tietotyyppejä.

Vaikka on luultavasti mahdollista luottaa sisäiseen tallennustilaan tai järjestelmiin tai klustereihin liitettyyn tallennustilaan, NVIDIA: n grafiikkasuorittimet nopeuttavat usein HPC- ja tekoälykuormia. On parasta olettaa, että laskenta, tallennus ja verkostoituminen joutuvat skaalautumaan, kun työmäärät ja tietojoukot kasvavat ja lisääntyvät. On otettava huomioon monia erilaisia ​​kasvuvektoreita, ja niiden unohtaminen voi johtaa kapasiteettiin ja suorituskykyongelmiin tiellä.

Ja tässä tallennusasteikossa on vielä hienovaraisempi elementti, joka on otettava huomioon. Tiedot arkistoidaan sekä HPC- että tekoälyjärjestelmille. HPC -sovellukset käyttävät pieniä määriä alkuolosuhteita ja luovat massiivisen simulaation ja visualisoinnin, joka paljastaa jotain todellisesta maailmasta, kun taas tekoälyjärjestelmät ottavat valtavia määriä tietoa - yleensä yhdistelmän strukturoituja ja strukturoimattomia tietoja - ja tislaavat sen malliksi, joka voidaan käytetään analysoimaan todellista maailmaa tai reagoimaan siihen. Nämä alkuperäiset tietojoukot ja niiden mallit on säilytettävä liiketoiminnallisista syistä sekä tietojen hallinnasta ja lainsäädännön noudattamisesta.

Et voi heittää näitä tietoja pois, vaikka haluat

"Et voi heittää näitä tietoja pois vaikka haluat", sanoo Thomas Henson, joka on tekoälyn ja analytiikan globaalin liiketoiminnan kehityspäällikkö Dell Technologiesin Unstructured Data Solutions -tiimissä. ”Riippumatta siitä, mikä vertikaalinen teollisuus - auto-, terveydenhuolto-, kuljetus- ja rahoituspalvelut - saatat löytää virheen algoritmeissa ja oikeudenkäynnit ovat ongelma. Sinun on näytettävä tiedot, jotka syötettiin viallisen tuloksen tuottaneisiin algoritmeihin, tai todistettava, että näin ei tapahtunut. Tietyssä määrin kyseisen algoritmin arvo on siihen syötetty data. Ja tämä on vain yksi pieni esimerkki. ”

Joten CPU-GPU-hybridijärjestelmissä on luultavasti parasta olettaa, että koneiden paikallinen tallennustila ei riitä ja että tarvitaan ulkoista tallennustilaa, joka pystyy säilyttämään paljon jäsentämättömiä tietoja. Taloudellisista syistä, koska tekoäly ja jotkin HPC -hankkeet ovat vielä osoitus konseptivaiheista, on hyödyllistä aloittaa pienestä ja pystyä skaalaamaan kapasiteettia ja suorituskykyä tarvittaessa nopeasti ja riippumattomilla vektoreilla.

Dell Technologiesin OneFS-tiedostojärjestelmää käyttävät PowerScale-salamalaitteet sopivat tähän tallennusprofiiliin. Perusjärjestelmässä on kolmen solmun kokoonpano, jossa on jopa 11 teratavua raakamuistia ja kohtuullinen hinta alle kuusi numeroa, ja se on testattu laboratorioissa jopa 250 solmuun jaetussa tallennusryhmässä, johon mahtuu jopa 96 PB tiedoista. Dell Technologiesilla on muuten asiakkaita, jotka käyttävät PowerScale -matriiseja paljon suuremmassa mittakaavassa kuin tämä, mutta ne synnyttävät usein erillisiä klustereita katkaistakseen mahdollisen häiriötilanteen. Mikä on erittäin harvinaista.

PowerScale voidaan ottaa käyttöön paikallisesti tai laajentaa useisiin julkisiin pilviin monipilvi- tai natiivipilviin integroiduilla vaihtoehdoilla, joissa asiakkaat voivat hyödyntää lisälaskenta- tai muita natiivipilvipalveluja.

Suorituskyky on toinen mittakaavan osa, joka yritysten on otettava huomioon, ja tämä on erityisen tärkeää silloin, kun grafiikkasuorittimet nopeuttavat järjestelmiä. GPU -laskennan alkuajoista lähtien NVIDIA on pyrkinyt saamaan suorittimen ja sen muistin pois tieltä ja estämään sen muodostumisen pullonkaulaksi, joka estää GPU: ta jakamasta tietoja (GPUDirect) simulaatioita suoritettaessa tai malleja rakennettaessa. estää GPU: ta pääsemästä tallennustilaan salamannopeasti (GPUDirect Storage).

Jos ulkoinen tallennustila on välttämätön tällaisille GPU -kiihdytysjärjestelmille - neljällä tai kahdeksalla grafiikkasuorittimella varustetuilla palvelimilla ei ole riittävästi tallennustilaa useimpien HPC- ja tekoälysovellusten käsittelemien tietojoukkojen säilyttämiseen - näyttää selvältä, että tallennustilan on puhuttava mitä tahansa GPUDirect Storage ja puhu se nopeasti.

Edellinen ennätyksen haltija oli Pavilion Data, joka testasi 2.2 PB -muistijärjestelmää ja pystyi lukemaan tietoja DGX-A100-järjestelmään perustuen uusiin Ampere-A100-grafiikkasuorittimiin nopeudella 191 GB/s tiedostotilassa. Laboratoriossa Dell Technologies viimeistelee PowerScale -matriiseilla suoritettavat GPUDirect Storage -testitestinsä ja sanoo, että se voi nostaa suorituskykyä huomattavasti korkeammalle, ainakin 252 Gt/s. Ja koska PowerScale voi skaalata 252 solmuun yhdessä nimitilassa, se ei pysähdy tähän ja voi skaalautua paljon pidemmälle.

"Asia on, että tiedämme, kuinka optimoida nämä GPU -laskentaympäristöt", Henderson sanoo. Tässä on yleisempi lausunto tekoälykuormia käyttävien GPU-kiihdytettyjen järjestelmien suorituskyvystä ja PowerScale-tallennuksen suorituskyvystä:

Erilaisten järjestelmien tuen laajuus on toinen asia, joka on otettava huomioon suunniteltaessa hybridi-CPU-GPU-järjestelmää. Jaetun tallennustilan luonne on jaettava, ja on tärkeää, että jaetun tallennustilan tietoja voidaan käyttää muihin sovelluksiin. PowerScale -taulukot on integroitu yli 250 sovellukseen, ja ne on sertifioitu tukemaan monenlaisia ​​järjestelmiä. Tämä on yksi syy siihen, että Isilonin ja PowerScalen tallennustilalla on yli 15,000 XNUMX asiakasta ympäri maailmaa.

Suorituskykyinen tietojenkäsittely on enemmän kuin suorituskykyä etenkin yritysympäristössä, jossa resurssit ovat rajalliset ja järjestelmien ja datan hallinta on ehdottoman tärkeää. Joten seuraava asia, joka on otettava huomioon GPU-kiihdytettyjen järjestelmien tallennuksen suunnittelussa, on tallennuksen hallinta.

Sekaisin

Tältä osin Dell Technologies tuo juhliin useita työkaluja. Ensimmäinen on InsightIQ, joka suorittaa hyvin tarkkaa ja yksityiskohtaista tallennustilan seurantaa ja raportointia PowerScalelle ja sen edeltäjälle, Isilon -tallennusjärjestelmälle.

Toinen työkalu on nimeltään CloudIQ, joka käyttää koneoppimista ja ennakoivia analyysitekniikoita, jotka seuraavat ja auttavat hallitsemaan kaikkia Dell Technologies -infrastruktuurituotteita, mukaan lukien PowerStore, PowerMax, PowerScale, PowerVault, Unity XT, XtremIO ja SC -sarja sekä PowerEdge -palvelimet ja yhdistetyt ja hyperkonvergoidut alustoille, kuten VxBlock, VxRail ja PowerFlex.

Ja lopuksi on DataIQ, strukturoimattoman datan tallennuksen seuranta- ja tietojoukkojen hallintaohjelmisto, joka tarjoaa yhtenäisen näkymän strukturoimattomista tietojoukoista PowerScale-, PowerMax- ja PowerStore -matriiseissa sekä pilvitallennuksesta suurista julkisista pilvistä. DataIQ ei vain näytä strukturoimattomia tietojoukkoja, vaan myös seuraa niiden käyttöä ja siirtää ne sopivimpaan tallennustilaan, esimerkiksi paikallisiin tiedostojärjestelmiin tai pilvipohjaiseen objektivarastoon.

Viimeinen huomio on luotettavuus ja tietosuoja, jotka kulkevat käsi kädessä kaikilla yritystason tallennusalustoilla. PowerScale -matriisien perintö on Isilonissa ja sen OneFS -tiedostojärjestelmässä, joka on ollut olemassa jo pitkään ja joka on luotettu yritysten, viranomaisten ja akateemisten HPC -instituutioiden pariin vuosikymmeneen. OneFS ja sen taustalla oleva PowerScale -laitteisto on suunniteltu tarjoamaan jopa 99.9999 prosentin käytettävyys, kun taas useimmat strukturoimattomia tietoja käsittelevät pilvitallennuspalvelut ovat onnekkaita, kun heillä on palvelusopimukset 99.9 prosentin saatavuudesta. Edellisellä on 31 sekuntia seisokkeja vuodessa, kun taas jälkimmäinen on offline -tilassa kahdeksan tuntia ja 46 minuuttia.

Lisäksi PowerScale on suunniteltu tarjoamaan hyvää suorituskykyä ja ylläpitämään tietoja, vaikka jotkin tallennusklusterin solmut olisivat poissa huoltoa tai korjausta varten komponenttihäiriön jälkeen. (Komponenttiviat ovat väistämättömiä kaikille IT -laitteille.)

Mutta on myös toinen sietokyky, josta on tulossa yhä tärkeämpää näinä päivinä: toipuminen ransomware -hyökkäyksistä.

"Meillä on API-integroitu lunnasohjelmasuojaus PowerScale joka havaitsee epäilyttävän toiminnan OneFS -tiedostojärjestelmässä ja varoittaa siitä järjestelmänvalvojia ”, Henderson sanoo. "Ja monet asiakkaamme toteuttavat fyysisesti erillisen, ilmavälillä olevan klusterin asennuksen säilyttääkseen erillisen kopion kaikista tiedoistaan. Kyberhyökkäyksen sattuessa suljet vain tuotantotallennustilan ja sinulla on tietosi, etkä yritä palauttaa varmuuskopioista tai arkistoista, mikä voi viedä päiviä tai viikkoja - varsinkin jos palautat pilvi -arkistoista. Kun puhut petatavuista tiedoista, se voi kestää kuukausia.

”Voimme palauttaa nopeasti, tallennustilan replikointinopeudella, mikä on erittäin, erittäin nopeaa. Sinulla on myös vaihtoehtoja isännöidä ransomware-puolustusratkaisua monipilviympäristöissä, joissa voit palauttaa tietosi tietoverkkotapahtumasta, joka hyödyntää julkista pilveä. ”

Sponsorina Dell.

PlatoAi. Web3 kuvasi uudelleen. Data Intelligence Amplified.
Napsauta tätä päästäksesi.

Lähde: https://go.theregister.com/feed/www.theregister.com/2021/10/12/data_first_dell/

spot_img

Uusin älykkyys

spot_img