De wereldwijde organisaties van vandaag hebben gegevens die zowel on-premises als in veel cloudomgevingen worden geïmplementeerd. In een dergelijk scenario is de grootste uitdaging het vinden van één enkele oplossing voor gegevensbeheer waarmee bedrijven toegang kunnen krijgen tot gegevens en deze met elkaar kunnen verbinden over verschillende bronnen, en om een ​​uniforme, virtuele omgeving voor gegevensverwerking te bieden. 

“Het opkomende ontwerpconcept genaamd 'data fabric' kan een krachtig antwoord zijn op de eeuwige uitdagingen in Data Governance, zoals dure, goedkope data-integratiecycli, het frequente onderhoud van eerste integraties, toenemende eisen aan real- tijd, gebeurtenisgestuurde gegevensuitwisseling en nog veel meer”, aldus Marc Beijer, Distinguished VP-analist bij Gartner.

Volgens Gartner staat datafabric bovenaan een lijst van "strategische technologietrends van 2022."

Data Fabric, een éénpunts architectuur voor gegevensverwerking, verbindt alle gegevensbronnen en -gebruiken van een organisatie. EEN data fabric-architectuur is ontworpen om u te helpen uw gegevens effectiever en efficiënter te beheren. Stelt u zich een wereld voor waarin de gegevens van uw bedrijf verbonden, toegankelijk en beschikbaar zijn waar en wanneer u ze nodig hebt, ongeacht waar de bron zich bevindt. 

De datafabric-architectuur is een combinatie van architecturen en technologieën die zijn ontworpen om de complexiteit van het beheer van verschillende soorten gegevens te vereenvoudigen, verspreid over diverse databasebeheersystemen, ingezet op verschillende platforms. De datafabric-architectuur omvat kennisgrafieken, data-integratie, AI en metadata-mogelijkheden om continue toegang, consolidatie en delen van data in een organisatie mogelijk te maken zonder voorafgaande verwerking, en om deze op te slaan in een gecentraliseerde, gestructureerde repository. Data Fabric-architectuur maakt holistisch gebruik van heterogene databronnen mogelijk zonder dataredundantie. 

Het uiteindelijke doel van een datafabric is om standalone te verwijderen gegevenssilo's door alle data met elkaar te verbinden en uniforme gedistribueerde toegang te bieden. 

Hoe werkt een Data Fabric-architectuur?

Data Fabric, met zijn automatische integratiemogelijkheid, biedt een "plug-and-play"-omgeving voor elk type front-end (gebruikersinterface), waardoor inzichten naar een bedrijfsapplicatie kunnen stromen. De "kennis grafieken” technologie helpt bij het leveren van inzichten door relaties tussen gegevensbronnen te analyseren. Kennisgrafiekanalyses en -systemen zetten alle soorten gegevens naadloos om naar een consistent formaat, zodat ze zonder knelpunten kunnen worden verwerkt. 

De datafabric automatiseert het data-integratieproces door data en metadata te detecteren. Dit zorgt voor een uniforme gegevenslaag vanaf het niveau van de gegevensbron via analyse, het genereren van inzichten, orkestratie en toepassingen. Datafabrics kunnen ook bidirectionele integratie met bijna elk onderdeel van een technische stapel mogelijk maken, waardoor een geweven architectuur ontstaat. 

Hier zijn drie voorbeelden van implementatie van datafabricarchitectuur:

• K2DView-gegevensstructuur schaalt op om honderden miljoenen veilige micro-DB's tegelijk te verwerken, on-premises, in de cloud en via een gedistribueerde hybride architectuur. Deze omgeving is specifiek geschikt voor hybride cloudimplementaties waarbij organisaties gegevenstoegang, beveiliging, controles en zichtbaarheid moeten beheren met behulp van verschillende gegevensbeheerframeworks. Uw organisatie kan implementeren noodzakelijke beleid inzake veiligheid en risico management, volgens verschillende nalevingsvereisten, op een wereldwijde basis. 
• Talend's datafabric levert de brede mogelijkheden die de datagedreven organisaties van vandaag nodig hebben in een enkel raamwerk met native architectuur, waardoor ze zich snel kunnen aanpassen aan veranderingen en tegelijkertijd data-integriteit inbouwen. 
• De Teradata-queryraster werkt samen met Teradata Vantage en Starburst Enterprise Presto om analyseomgevingen te moderniseren en inzichten te versnellen. Teradata QueryGrid, het snelle, gelijktijdige datafabricsysteem, levert het soort schaal, flexibiliteit, integratie, full-stackbeheer en diepgaand beheer dat ondernemingen van hun gegevens verlangen.

Wat zijn de voordelen van een Data Fabric-architectuur?

Kortom, een datafabric-architectuur helpt u om uw organisatiegegevens effectiever en efficiënter te beheren. 

Datafabric helpt bij het stroomlijnen en consolideren Gegevensbeheerprocessen tussen alle databronnen (databases, big data-stores, IoT-sensoren, sociale feeds, mobiele apps) en data-invoerpunten. U, de gebruiker, geniet van ononderbroken IT-services over meerdere IT-infrastructuurbronnen, op basis van veranderende zakelijke vereisten. Gebruikers kunnen ook toegang krijgen tot gegevens en deze bedienen met de tools die ze verkiezen, in een meerdere wolken, hybride cloud of on-premise omgeving. U, de nieuw gemachtigde klant, kunt gegevens consolideren en openen in de virtuele wereld, ongeacht of gegevens zich in de cloud, in de hybride cloud of op multi-cloudplatforms bevinden.

Dankzij datavirtualisatie worden data uit verschillende bronnen direct toegankelijk en getransformeerd, wat flexibele selfservice en realtime inzichten mogelijk maakt. Het platform wordt aangedreven door metadata; data wordt als slimme, herbruikbare dataproducten beschikbaar gesteld en direct vanuit de bron aan gebruikers aangeboden. Deze gedistribueerd dataplatform biedt organisaties een end-to-end beeld van hun data-universum en garandeert een enkele, gezaghebbende bron van waarheid. Als een no-code of low-code oplossing, stelt dit gedistribueerde dataplatform zakelijke gebruikers in staat om op granulaire niveaus met de data te communiceren, zonder de aanwezigheid van IT-ondersteuning.

Datakwaliteit wordt voortdurend verbeterd door kunstmatige intelligentie en algoritmen voor machine learning, die gebruikmaken van live metadata voor integratie en beheer van bedrijfsgegevens. De huidige data-analysepraktijken hebben betrekking op kleinere, bredere gegevens, in plaats van big data in silo's of datameren, en datafabric is het antwoord voor dit type data-analyse. Een datafabricarchitectuur ondersteunt zowel kernpraktijken die op de eindgebruiker zijn gericht, zoals beslissingsondersteuning en BI-analyse, als gespecialiseerde praktijken zoals datawetenschap, AI-engineering of ML. 

Idealiter heeft een datafabric naar verwachting twee integratiemodules: een “DIY”-module voor IT-professionals en een “out-of-the-box”-module voor zakelijke gebruikers. 

Waarom is een datafabricarchitectuur zo belangrijk?

Een datafabric helpt u uw organisatiegegevens effectiever en efficiënter te beheren. Het doet dit door alle gegevensbronnen en toepassingen van uw bedrijf met elkaar te verbinden, ongeacht waar de gegevens zich bevinden. Met een datafabric-architectuur kunt u uw gegevens centraal beheren. Een gecentraliseerde gegevensarchitectuur is belangrijk omdat u hiermee duplicatie kunt voorkomen en eenvoudig nieuwe gegevens kunt vastleggen en analyseren. 

Een gecentraliseerde data-architectuur is: bijzonder nuttig naarmate uw organisatie opschaalt, meer gegevens verzamelt en overstapt naar nieuwe technologieën. Het is van cruciaal belang bij het implementeren van AI, blockchain en machine learning. Een datafabric is ook belangrijk omdat het u helpt uw ​​gegevens veiliger te beheren. Hiermee kunt u beveiligingsmaatregelen in de data-architectuur opnemen in plaats van ze aan het einde aan te pakken. 

Wat zijn de belangrijkste componenten van dit type architectuur?

Een datafabric bestaat uit verschillende belangrijke componenten. Deze omvatten een gecentraliseerde datahub, gestandaardiseerde dataschema's en een gemeenschappelijke taal. Samen helpen deze elementen u om uw gegevens te beheren en beter beschikbaar en toegankelijk te maken voor iedereen in uw organisatie:

• De gecentraliseerde datahub is een cruciaal onderdeel van de datafabric. Het is de plek waar alle gegevens van uw bedrijf op één locatie toegankelijk zijn. De datahub bewaart en beheert gestructureerde en ongestructureerde data. Hiermee kunt u ook gegevens verwerken en analyses uitvoeren vanaf één locatie. 
• Gestandaardiseerde gegevensschema's zijn regels die bepalen hoe gegevens worden gestructureerd, opgeslagen en beheerd. Door gestandaardiseerde gegevensschema's in uw hele organisatie te hebben, kunt u duplicatie voorkomen. Het maakt het ook gemakkelijker om nieuwe gegevens te verzamelen en te analyseren. 
• De gemeenschappelijke taal is essentieel om uw gegevens toegankelijker te maken. Met de taal kunt u effectiever over uw gegevens communiceren. Hiermee kunt u vragen stellen over uw gegevens, zoals "Hoe zien onze klantgegevens eruit?" of "Waar zijn onze klantgegevensbronnen?" 

Wat zijn de belangrijkste technologieën en gebruiksscenario's van een datafabricarchitectuur?

Datavirtualisatie is de kerntechnologie die in het hart van een datafabric zit en de naadloze transformatie van data en de orkestratie van bedrijfsprocessen over meerdere databronnen mogelijk maakt. Datavirtualisatie technologie maakt het mogelijk om een ​​gecentraliseerde gegevensopslag te creëren voor alle bedrijfsgegevens en gegevensservices, ongeacht waar deze zijn opgeslagen. Een datavirtualisatieplatform stelt organisaties in staat zich te concentreren op data discovery en applicatie-ontwikkeling, terwijl ze de noodzaak om zich te concentreren op databronbeheer negeren. Het is een ideale oplossing voor organisaties die meerdere gegevensbronnen hebben, waaronder gegevens die zich in verschillende regio's bevinden, en die gegevens moeten gebruiken om verschillende bedrijfstakken te ondersteunen, zoals marketing, verkoop of financiën. 

Een datacatalogus is een gecentraliseerde metadatatechnologie die informatie verschaft over data, zoals de structuur, locatie en schema. De data catalogus stelt gebruikers ook in staat om gegevens uit de gegevensvirtualisatielaag te ontdekken en op te vragen. Beschouw de gegevenscatalogus als een woordenboek van al uw gegevens, waar u kunt opzoeken wat de gegevens betekenen, waar ze zich bevinden en welke hulpmiddelen u kunt gebruiken om er toegang toe te krijgen. De gegevenscatalogus is ook een hulpmiddel waarmee u gegevensservices kunt ontdekken, schrijven en beheren. Omdat de datacatalogus nauw is gekoppeld aan de datavirtualisatielaag, heeft de catalogus toegang tot data uit alle onderliggende databronnen. Naast een gecentraliseerde opslag van metadata, biedt een datacatalogus gebruiksvriendelijke tools voor het ontdekken van gegevens en stelt u in staat om herbruikbare dataservices te creëren. 

Gegevensdiensten zijn vooraf gebouwde workflows die gegevens over meerdere gegevensbronnen orkestreren. Dataservices bieden een technologische kernservice voor een datafabric-architectuur, omdat ze je in staat stellen om eenvoudig datagestuurde applicaties te bouwen die zijn gebaseerd op realtime data. Een dataservice is echter geen enkele technologie, maar meestal een combinatie van workflow-orkestratie, kunstmatige intelligentie, machine learning en blockchain-technologieën. Met dataservices kunnen applicaties gebouwd worden die gebaseerd zijn op realtime data. U kunt bijvoorbeeld dataservices gebruiken om klanten realtime aanbevelingen te doen op basis van hun aankoopgeschiedenis. 

Afbeelding gebruikt onder licentie van Shutterstock.com