Zephyrnet-logotyp

Förstå Data Mesh Principer – DATAVERSITET

Datum:

principer för datanätprinciper för datanät

ThoughtWorks konsult Zhamak Dehghani definierar datanät som ett "decentraliserat sociotekniskt tillvägagångssätt för att dela, komma åt och hantera analytisk data i komplexa och storskaliga miljöer - inom eller mellan organisationer." Den här typen av Dataarkitektur fortsätter att skapa intresse bland företag, och dataproffs kommer att behöva bekanta sig med datanätarkitekturer, som de med datasjöar or lager (WMS). För detta ändamål hjälpte Dehghani deltagarna på DATAVERSITYs Data Architecture Online (DAO) att förstå principer och komponenter för datanät djupare.

Redan, 41.5% av företag planerar att investera i datanät under 2023, och denna andel kommer sannolikt att växa under de närmaste åren. Datamesh lovar fördelar för datadrivna företag genom att öka samarbetet och smidigheten mellan teamen samtidigt som de skalar till levererade produkter och tjänster. 

Följaktligen kommer datanätet att förbli attraktivt för företag eller avdelningar med inbyggda korspollinerade team och avancerad teknologi. Om en dataproffs inte redan har stött på en datanätinstallation kommer de sannolikt att göra det när en organisations affärs- och tekniska funktioner är mer integrerade. 

Innan Data Mesh

Dehghani förklarade att traditionell dataarkitektur fokuserar på att flytta data till och från datasjöar eller lager till affärsverksamhet, förutom tekniken för att göra det. Denna teknik tar formen av datapipelines, en serie sammankopplade processer som transporterar data från ett system till ett annat.

För att hantera denna centraliserade arkitektur behöver en organisation många ingenjörer som arbetar tillsammans för att hantera en komplex väv av datapipelines. Dessutom måste ingenjörer extrahera, transformera och ladda (ETL) längs dessa kontakter för att göra data användbar för affärsverksamhet. Se figuren nedan:

Image Credit: Zhamak Dehghani

Följaktligen, "Datakonsumenter upplever en lång ledtid från dataskapande till dess värde som en tillgång", sa Dehghani. Dessutom förlorar datakonsumenter en viss kontext av denna data när de tar emot den och förlorar förtroendet för dess användbarhet.

Efter Data Mesh

Enligt Dehghani utnyttjar datanätsarkitekturen en datadriven strategi där företaget har blandade tekniska, affärs- och utvecklingsteam. Dessa tvärfunktionella grupper organiseras i distinkta enheter som representerar affärsresultat som samverkar med varandra. 

Se diagrammet nedan över ett exempelföretag, Daff Inc., som kopplar samman artister och publik:

Image Credit: Zhamak Dehghani

Varje domän fokuserar på ett fåtal datalösningar som är tillgängliga för andra genom en självbetjäningsinfrastruktur. Ett tväroperativt utvecklingsteam av DataOps stödjer datarörelse över alla domäner genom automatisering, vilket ger resten av organisationen och domänmedlemmarna möjlighet att konsumera denna data.

Hon säger:

"Vi ser en peer-to-peer-strategi för djupgående analytisk delning som skalas ut och tillbaka efter behov. Alla i organisationen har ansvar för sin data. När organisationen växer med nya användningsfall och integrerar nya kontaktpunkter, läggs en ny domän till med ett nytt team som är ansvarigt för denna data."

Vad har förändrats mellan traditionell arkitektur och datanätarkitektur?

När ett företag blir mer samarbetsvilligt ökar dess komplexitet med ett mer betydande antal användningsfall och datakällor. Samtidigt gör företaget framsteg i att anpassa sig och få värde från sin data. 

Med tiden växer organisationen ur behovet av centralisering och når en brytpunkt – där framsteg i datas värdeplatåer. 

Se grafen nedan:

Image Credit: Zhamak Dehghani

Dehghani noterar:

"Vid brytpunkten, där ett företag vänder sig till datanät, accepterar det komplexiteten och olika rörliga delar. Den erkänner att team har olika kadenser, strukturer, incitament och resultat. Dataarkitekturen måste fokusera på att hantera delad data för Machine Learning ML, AI och analytiska användningsfall. Eftersom decentraliserad och transaktionsdata redan har skett, under det senaste decenniet, med mikrotjänster och operationer via API: er, utökar datanätet naturligtvis dessa datadelningstransformationer genom organisationen.” 

Data Mesh principer och arkitektur

När en organisation anammar en datanätarkitektur, flyttar den dess dataanvändning och resultat från byråkrati till affärsaktiviteter. Enligt Dehghani förklarar fyra datanätprinciper denna utveckling: domändrivet dataägande, data som produkt, självbetjäningsinfrastruktur och federerad beräkningsstyrning.  

Var och en har ett beroende av den andra, som bilden nedan visar:

Image Credit: Zhamak Dehghani

Dehghani utvecklade varje koncept och visade deras ömsesidiga beroende när hon fortsatte med sitt föredrag. 

Domändrivet dataägande 

Tänk på domändrivet dataägande som en fortsättning på att ge företaget kontroll över sin data. Dehghani sa,

"Domändrivet ägande resulterar i att upptäcka befintliga affärsområden och team. Du frågar hur vår organisation är uppbyggd och hur vi kan kartlägga dataägande till det. Sedan får du reda på hur du kopplar analytisk data till de domäner som är bäst positionerade för att tillhandahålla den och de API:er som krävs. Slutligen definierar domäner servicenivågarantier för API:er som konsumenter, som datavetare och analytiker, behöver.”

Dehghani förklarade att en domän måste externisera sin data med de andra domänerna genom ett delat gränssnitt för att använda organisationsdata. Varje domän blir en dataproduktägare som mäter dess KPI:er, feedback och mål under utvecklingen.

Domäner får feedback från de andra teamen som använder deras produkter, vilket ökar engagemanget, belönar datadelning och förhindrar datasilos. Dessutom belönar organisationer dessa domäner baserat på deras produktframgång, vilket skapar en positiv feedbackloop där domäner vill möjliggöra självbetjäning, vilket ger andra domäner möjlighet att tillhandahålla bra datatjänster.

Data som en produkt

Dehghani förklarade data som en produkt som en autonom tjänst för olika användare, åtkomlig genom föredragna verktyg. Som sådan fokuserar data som produkt på datas semantik snarare än syntaxen.

Som en interoperabel enhet organiserar dataprodukten sig runt en domän och har metadata försedd med data för att vara pålitlig. "Genom att hålla samma semantiska data i olika lägen att komma åt kan en mängd olika dataanvändare använda data med de verktyg de vill ha", sa Dehghani.

Jämför den verkligheten till en centraliserad arkitektur där data flyttas från en teknikstack till en annan genom en pipeline. I så fall kräver användning av ett program att syntaxen matchas. Så, till exempel, om en tjänst gör parkettbearbetning, måste andra team använda parkett för att komma åt den.

Data-som-en-produkt-principen förkroppsligar den "minsta enheten av arkitektur som kapslar in alla strukturella element som behövs för att dela denna data", noterade Dehghani. Koden kommer med data som en logisk enhet, en mikrotjänst och ett arkitekturkvantum. Denna flexibilitet minskar ägandekostnaderna.

Federated Computational Governance

Domänorienterat ägande och data som produkt leder till federerad beräkning Data Governance, de formaliserade metoderna bland domäner som ökar datavärdet. Varje domän är ansvarig för att ha en säker och pålitlig produkt.

Följaktligen har domäner en stark motivation att arbeta med andra för att "utreda tvärfunktionella frågor kring styrning kring datatillgänglighet, skalbarhet, tillgänglighet, etc., och hur man upprätthåller dem", sa Dehghani.

Eftersom data som produkt minskar domänens ägandekostnader, investeras den i produktintegration med de andra grupperna. Efter att ha kommit överens om policyer kring konsekvens och tillförlitlighet för tvärfunktionalitet och datadistribution, behåller varje domän makten att implementera dem.

Varje teams ansvar gentemot sina produkter och andra domäner motiverar det att upprätthålla policyer för datastyrning för att uppfylla sina serviceavtal gentemot andra. Med denna standardisering blir beslut om datastyrning inbäddade som beräkningsprinciper och automatiserade genom självbetjäningsinfrastrukturen.

Självbetjäningsinfrastruktur som plattform

Självbetjäningsinfrastrukturen som plattform stöder de tre datanätprinciperna ovan: domändrivet dataägande, data som produkt och federerad beräkningsstyrning. Betrakta detta gränssnitt som ett operativsystem där konsumenter kan komma åt varje domäns API:er. Dess infrastruktur "kodifierar och automatiserar förvaltningsbekymmer" över alla domäner.

Enligt Dehghani bildar ett sådant system en flerplansdataplattform, en samling relaterade tvärfunktionella funktioner, inklusive datapolicymotorer, lagring och datoranvändning. Dehghani tänker på självbetjäningsinfrastrukturen som en plattform som möjliggör autonomi för flera domäner och som stöds av DataOps.

Med en sådan dataarkitektur minskar varje domäns kostnader för att underhålla och äga data på grund av den delade datakompatibiliteten. Samtidigt möjliggör plattformsteamet polyglotplattformsstöd så att varje domän har makten att tillämpa sin unika metod för att experimentera och bygga datatjänster.

Slutsats: Utvidga en samarbetskultur

Datamesh drar nytta av en organisations befintliga samarbetskultur som är datadriven och en mogen digital verksamhet. Den organisationen har redan "tvärfunktionella utvecklingsteam och DataOps-praxis, de kraftigt automatiserade tillvägagångssätten för data", sa Dehghani.

Den tekniska och operativa komplexiteten och flaskhalsarna innebär dock att en dataarkitektur måste utvecklas till ett datanät när en organisation når en brytpunkt och datavärdeplatåer. De fyra kärnprinciperna för datanät, som beskrivits ovan, förenar datatjänster över domäner samtidigt som de bevarar autonomin och unika möjligheter för var och en.

Vill du lära dig mer om DATAVERSITYs kommande evenemang? Kolla in vårt nuvarande sortiment av konferenser online och ansikte mot ansikte här..

Här är videon av Dataarkitektur online presentation:

Bilden används under licens från Shutterstock.com

plats_img

Senaste intelligens

plats_img