Als u vastzit met het dumpen van gegevens in magazijnen en meren, bent u hoogstwaarschijnlijk niet voorbereid op wat komen gaat. We glijden af naar Web 3.0, een tijdperk van decentralisatie waarin lokaal eigendom wordt vertrouwd. Dit tijdperk is gegevens wijzigen zoals we die kennen. Het begint zijn waarde te bewijzen met producten in industriële gebruikssituaties.
Data Mesh, de nieuwste toevoeging aan de stack, bespaart datateams het gedoe van het produceren van kwalitatieve data voor alle bedrijfstypes. Meest recent, JP Morgan bouwde een 'Mesh' op AWS en sloot zijn schaalbaarheidsfortuin op een gedecentraliseerde architectuur. Elke dag worden er meer casestudy's toegevoegd die een duidelijke hint geven - data-analyse staat op het punt om opnieuw te veranderen!
Gegevensbeheer vóór de 'Mesh'
Vroeger gebruikten organisaties een centraal datawarehouse om hun data-analyse aan te sturen. Zelfs vandaag de dag zijn er nog een groot aantal van hen die datameren gebruiken om drijf voorspellende analyses aan. De enorme snelheid van datagroei belemmert echter de schaalbaarheid van applicaties. Het cloudtijdperk loste dat probleem tot op zekere hoogte op. Zelfs daar groeit het aantal gebruikers sneller dan de ondernemingsbereidheid om ze allemaal te bedienen. Temidden van dit alles zijn dataprofessionals, zoals wetenschappers, ingenieurs en analisten, bezig met het kwalitatief omzetten van ruwe data in bruikbare feed.
In een gecentraliseerd ecosysteem is iedereen afhankelijk van iedereen, wat leidt tot onzekerheden en een onderbroken stroom van nauwkeurige gegevens. Met Mesh hebben datateams de mogelijkheid om vol gas te gaan en omarm het ethos van Web 3.0 – decentralisatie.
Dit geldt ook voor het feit dat decentraal databeheer niet nieuw is. Het werd meer dan tien jaar geleden geaccepteerd toen de industrie zich bewust werd van de potentiële urgentie van big data waarvan we vandaag getuige zijn. De Hadoop-bibliotheek maakte gedistribueerde verwerking mogelijk over alle punten van gegevensopslag. Even effectief is de virtualisatie van data die datasilo's integreert met behulp van een logische laag.
Deze zijn echter mogelijk niet allemaal effectief in het snel veranderende datalandschap.
Tegenwoordig worstelt Hadoop met complexiteit, terwijl virtualisatie ineffectieve query's parallel laat lopen over verschillende gegevensbronnen. traditioneel data opslagplaats of zelfs de recente data lakes-modellen van de stof kunnen niet worden opgeschaald naar het niveau dat ze zouden moeten hebben.
De Data Mesh wordt opgelost deze knelpunten door de architectuur vanaf de grond te vernieuwen. In totaal contrast met de gecentraliseerde meren of magazijnen, streeft mesh naar een zelfvoorzienend en zelfbediend data-as-a-product dat eigendom is van meerdere knooppunten van het netwerk.
Dankzij de mesh-architectuur kunnen de makers van de data-asset deze in het landschap bezitten. De nieuwe eigenaren zouden verantwoordelijk zijn voor kwaliteit, nauwkeurigheid en relevantie. Niet te missen, de centrale beheerder zou nog steeds de rechten hebben om het regerende beleid voor het netwerk te schrijven; als het beste van twee werelden!
De voordelen van datamesh
Met een missie om schaalbaarheid en wendbaarheid te garanderen, levert de mesh sneller bruikbare waarde uit de onbewerkte datasets. Door de data-infrastructuur als een service aan te bieden, mesh decentraliseert de operaties en vermindert de IT-achterstanden. Met een dergelijke onafhankelijkheid kunnen de domeinteams zich alleen concentreren op de datasets die relevant zijn voor hun domein.
De eigenaren die aan de nodes zitten en hun relevante domeinen beheren, krijgen ook de taak om strategieën te bedenken, pijplijnen te creëren en te onderhouden. Dit zorgt voor 100% datacontrole met de domeinen. In tegenstelling tot de traditionele praktijk waarbij een gemeenschappelijk team dit voor het hele landschap zou doen, verbetert de mesh-oplossing de kennis op domeinniveau en produceert het flexibelere bedrijfsprocessen.
Datafabrics kunnen, indien strategisch gebruikt, helpen om het gedecentraliseerde mesh-patroon effectiever te implementeren.
Overweeg K2view; het creëert een op entiteiten gebaseerde datastructuur voor het bouwen van een gedecentraliseerd netwerk van bedrijfsdomeinen. Het creëert een integratielaag om gegevensbronnen te verbinden en een beeld te geven van operationele en analytische workloads. Hier zijn de domeinen die door knooppunten worden beheerd, lokaal eigendom van de dataservices. Dit zorgt voor een succesvolle implementatie van het beleid in overeenstemming met de governancerichtlijnen zoals bepaald door de centrale beheerder. Ongeacht het inkomende volume, schaalt hun mesh-architectuur dynamisch op en neer, waardoor on-demand flexibiliteit wordt gegarandeerd. Het biedt naadloze toegankelijkheid tot een breed scala aan soorten gegevensbronnen, technologieën en formaten. Bovendien integreert het transactie- en stamgegevens in rust.
Niet te missen, de mesh-architectuur werkt in overeenstemming met verschillende omgevingen zoals de cloud, on-premise en hybride omgevingen zonder de transactie-integriteit aan te tasten.
Zoals reeds besproken, maakt het toenemende aantal gegevensbronnen het lastig voor de meren en magazijnen om grootschalige integraties uitvoeren. Met Mesh's eigendom en beheer op domeinniveau vanuit het centrum, levert de resulterende architectuur kwalitatieve en bruikbare gegevens. Het gaas is zeer veilig. Het versleutelt gegevens, controleert consequent de gebruikersgegevens om autorisatie te garanderen en voldoet daarmee aan de privacyregelgeving in het hele datalandschap.
Conclusie
Data Mesh krijgt een sterker fundament. Het migreren van bestaande 'warehousing' naar totaal nieuwe omgevingen is echter een uitdaging. Voor datateams brengt dit enorme taken met zich mee om gedistribueerd data-eigendom te implementeren. Gezien de risico's van het intact blijven van primitieve praktijken is dat op zich al eng. Het is een pittige weg maar de moeite waard.
De post Hoe lost de 'Mesh' knelpunten van gegevensbeheer op? verscheen eerst op SmartData Collectief.
