Kent u de kosten van slechte datakwaliteit? Hieronder onderzoek ik het belang van de waarneembaarheid van gegevens, hoe dit de risico's van slechte gegevens kan beperken en manieren om de ROI ervan te meten. Door de impact van slechte data te begrijpen en effectieve strategieën te implementeren, kunnen organisaties de voordelen van hun datakwaliteitsinitiatieven maximaliseren. 

Gegevens zijn een integraal onderdeel geworden van de moderne besluitvorming en daarom is de gegevenskwaliteit van het grootste belang om ervoor te zorgen dat zakelijke belanghebbenden nauwkeurige conclusies trekken. 

Maar dit is het addertje onder het gras dat elke moderne dataleider je zal vertellen: het beheren van datakwaliteit is moeilijk. Het kost tijd en moeite. Bovendien is de ROI (return on investment) vaak lastig te meten. 

Hoe slecht zijn slechte gegevens?

Slechte gegevens kunnen tot aanzienlijke financiële verliezen leiden. Gartner schat dat een slechte datakwaliteit organisaties jaarlijks gemiddeld € 5,- kost $ 12.9 miljoen. In 2022 Unity-software rapporteerde een verlies van $110 miljoen aan omzet en $4.2 miljard aan marktkapitalisatie. “De gevolgen van het verwerken van slechte gegevens van een grote klant”, aldus het bedrijf. Op dezelfde manier worden slechte gegevens veroorzaakt Equifax, een beursgenoteerd kredietinformatiebureau, om kredietverstrekkers onnauwkeurige kredietscores door te sturen miljoenen van klanten. Meer recentelijk veroorzaakte een data-incident een enorme verstoring van het Britse en Ierse luchtverkeer. Naar verluidt zijn meer dan 2,000 vluchten geannuleerd, waardoor honderdduizenden reizigers zijn gestrand. Het totale financiële verlies voor luchtvaartmaatschappijen wordt geschat op 126.5 miljoen dollar.

De gevolgen van slechte gegevens 

Data vormen de kern van elk modern bedrijf. De belangrijkste verantwoordelijkheid van het datateam is het bouwen en onderhouden van dataproducten die zowel intern als extern aan klanten worden aangeboden, terwijl de organisatie tegelijkertijd kan opschalen en haar doelstellingen kan verwezenlijken. 

Als het erom gaat ervoor te zorgen dat de data-initiatieven van de organisatie klaar zijn voor succes, kunnen enkele basisverwachtingen van een datateam als volgt worden samengevat:

• Uptime: Gegevens zijn een dienst en daarom is het van cruciaal belang dat deze beschikbaar zijn wanneer dat nodig is.
• Veiligheid: Naleving van regelgeving (zoals AVG of HIPAA). Het team is verantwoordelijk voor de implementatie van maatregelen en praktijken om gevoelige informatie te beschermen en de privacy van gegevens te handhaven.
• Betrouwbaarheid: Van zowel de data als het dataplatform. Een deel hiervan heeft te maken met uptime, maar ook met datakwaliteit en nauwkeurigheid in de traditionele zin van het woord. 
• Schaal: Het dataplatform moet schaalbaarheid mogelijk maken om tegemoet te komen aan de groeiende datavolumes, het aantal gebruiksscenario's en de behoeften van het bedrijf.
• Innovatie: Data moeten innovatie stimuleren, en dit is een gebied waarop het belangrijk is dat het datateam het goede voorbeeld geeft door innovatie binnen en buiten de datapraktijk te brengen. 

Het bereiken van gegevenskwaliteit door middel van waarneembaarheid van gegevens

Waarneembaarheid van gegevens is een oplossing om de gezondheid van gegevens gedurende de gehele levenscyclus proactief te bewaken en te behouden. Door technieken voor loggen, traceren en monitoren te implementeren, krijgen organisaties inzicht in datastromen, kunnen ze snel problemen met de datakwaliteit identificeren en oplossen, en verstoringen van analysedashboards voorkomen. Datageletterdheid, waarbij gegevens worden verzameld, geïnterpreteerd en gecommuniceerd, is essentieel voor besluitvormers om gegevens effectief te vertalen naar bedrijfswaarde. Het cultiveren van een datagedreven cultuur en het investeren in de juiste tools zijn cruciale stappen in de richting van het bereiken van datakwaliteit door middel van dataobservatie. 

Kwantificering van de ROI van de waarneembaarheid van gegevens

Het meten van de ROI van de waarneembaarheid van gegevens helpt bedrijfsleiders de waarde en voordelen te begrijpen die gepaard gaan met investeren in deze praktijk. Verschillende kwantificeerbare meetgegevens kunnen als uitgangspunt dienen voor het evalueren van de kosten van slechte gegevens, waaronder het aantal incidenten per jaar, de tijd tot detectie en de tijd tot oplossing.

De impact van problemen met de gegevenskwaliteit kan variëren afhankelijk van de omvang en complexiteit van de bedrijfsvoering. Om de schade in te schatten en sterke argumenten op te bouwen voor een oplossing voor dataobservatie, stellen we vijf belangrijke maatstaven voor die dataprofessionals eenvoudig kunnen implementeren en monitoren en die kunnen worden gebruikt om een ​​case intern te ondersteunen:

1. Aantal en frequentie van incidenten: Terwijl sommige bedrijven dagelijks te maken krijgen met data-incidenten, kunnen andere dagen – zo niet weken – zonder data-incidenten. De kritiekheid van de incidenten kan variëren van iets ‘kleins’, zoals verouderde gegevens die zijn gekoppeld aan een dashboard dat al eeuwen niet meer is gebruikt, tot een probleem met de duplicatie van gegevens waardoor de server overbelast raakt en uiteindelijk uitvalt (waargebeurd verhaal, Netflix2016). We merken dat dit vaak verband houdt met: de omvang en complexiteit van het dataplatform, de sector van het bedrijf (sommige industrieën zijn inherent volwassener op het gebied van data dan andere), het type data-architectuur (gecentraliseerd, gedecentraliseerd, hybride), enz. Het documenteren van de incidenten zal leiden tot Om een ​​beter idee te krijgen van waar u de volgende keer op moet letten, zijn herhaalde incidenten vaak een goede indicatie dat iets daaronder meer aandacht behoeft.  
2. Classificatie van incidenten: Niet alle data-incidenten zijn even ernstig; sommige kunnen klein zijn en gemakkelijk te verzachten, terwijl andere ernstige gevolgen kunnen hebben. Het documenteren van de kriticiteit van de incidenten is belangrijk om een ​​goede escalatie en prioritering te garanderen. Dit is waar data-afkomst van groot belang kan zijn, omdat het de beoordeling van de downstream-impact van het incident mogelijk maakt om de kriticiteit beter te begrijpen. Een incident dat verband houdt met het favoriete dashboard van de CEO, een productiedatabase of een belangrijk dataproduct, is waarschijnlijk van groot belang. 
3. Gemiddelde tijd tot detectie (MTTD): Als het gaat om het opbouwen van vertrouwen in de data en het datateam, is de nachtmerrie van elke dataprofessional dat zakelijke belanghebbenden de eersten zijn die problemen met de datakwaliteit opmerken. Het kan de geloofwaardigheid van het team en het vermogen van het bedrijf om echt datagedreven te worden, ernstig schaden. Terwijl u de incidenten begint te documenteren en hun kritiekheid classificeert, is het belangrijk om ook bij te houden hoe ze zijn gedetecteerd en de tijd die het datateam nodig had om ze te erkennen. Deze maatstaf kan een goede indicator zijn voor de robuustheid van uw incidentbeheer, maar als u deze verlaagt, verkleint u ook het risico dat het incident meer schade kan veroorzaken. 
4. Gemiddelde tijd tot oplossing (MTTR): Wat gebeurt er nadat een incident is gemeld? MTTR is de gemiddelde tijd die verstrijkt tussen het moment waarop u zich bewust wordt van een data-incident en het oplossen ervan. De oplossingstijd wordt sterk beïnvloed door de kriticiteit van het incident en de complexiteit van het dataplatform. Daarom beschouwen we voor dit raamwerk het gemiddelde.
5. Gemiddelde tijd tot productie (MTTP) is de gemiddelde tijd die nodig is om nieuwe dataproducten te verzenden, of, met andere woorden, de gemiddelde time-to-market voor dataproducten. Dit kan de tijd zijn die een analist besteedt aan het ‘opschonen’ van de gegevens voor een datawetenschapsmodel. Sterker nog, volgens Forbesis datavoorbereiding goed voor ongeveer 80% van het werk van datawetenschappers. In een wereld waarin we data als een product willen behandelen, kan het verbeteren van de datakwaliteit een directe impact hebben op het verkorten van de time-to-market. 

Naast de bovenstaande kwantificeerbare maatstaven zijn andere, die minder gemakkelijk kwantificeerbaar zijn, maar net zo belangrijk, het overwegen waard als we kijken naar de kosten van slechte gegevens.

• Erosie van vertrouwen: In de gegevens en het datateam. Dit is naar mijn mening het gevaarlijkste gevolg van slechte data, die kunnen resulteren in grotere problemen zoals omzet in het datateam of verlies van vertrouwen in het vermogen van het bedrijf om datagedreven te worden en gelijke tred te houden met het zich ontwikkelende digitale landschap. En als het vertrouwen eenmaal is geschonden, is het heel moeilijk om het terug te winnen. In een eerdere ervaring werkte ik met dataconsumenten die liever geen data gebruiken en liever vertrouwen op ‘ervaring’ en ‘onderbuikgevoel’ in een zeer volatiele aandelenhandelsomgeving dan deze te gebruiken in de wetenschap dat de kans groot is dat deze onnauwkeurig is. . 

• Verlies van productiviteit: Met slechte gegevens worden teams gedwongen om te vechten en fouten te corrigeren zodra deze zich voordoen. Dit voortdurende brandbestrijding is niet alleen uitputtend, maar ook contraproductief. Waardevolle tijd die zou kunnen worden besteed aan strategische planning en groei-initiatieven wordt verspild aan het oplossen van problemen, waardoor middelen worden afgeleid van meer kritische taken.

• Regelgevings- en reputatierisico: Fouten in de financiële rapportage of het verkeerd omgaan met persoonlijke gegevens kunnen leiden tot dure boetes en juridische strijd. Het omgaan met nalevingsproblemen legt een aanzienlijke druk op de productiviteit, om nog maar te zwijgen van de financiële last die deze met zich meebrengen.

• Slechte bedrijfsprestaties: Naast het verlies aan productiviteit binnen het datateam, kunnen slechte data de algehele bedrijfsprestaties belemmeren, omdat het bedrijf worstelt met de digitale paraatheid en geloofwaardigheid tegenover zijn klanten, en kwetsbaar wordt voor externe bedreigingen. 

Problemen met de gegevenskwaliteit kunnen verschillende problemen tot gevolg hebben, waaronder verlies van vertrouwen in gegevens, verminderde teamproductiviteit en -moraal, niet-naleving van regelgeving en verminderde kwaliteit van de besluitvorming. Gegevens in silo’s binnen afdelingen of bedrijfseenheden maken het een uitdaging om een ​​holistisch beeld te krijgen van het datalandschap van de organisatie. Dit kan leiden tot ineffectieve besluitvorming, de datacultuur belemmeren en de naleving van regelgeving als AVG en HIPAA in gevaar brengen. Bovendien kunnen datateams gefrustreerd raken als ze buitensporig veel tijd besteden aan het oplossen van dataproblemen, wat een negatieve invloed heeft op hun werktevredenheid en mogelijk kan leiden tot personeelsverloop. 

De 1x10x100-regel

De 1x10x100-regel, een algemeen erkend principe in incidentbeheer, benadrukt de stijgende kosten die gepaard gaan met slechte gegevenskwaliteit. Volgens deze regel bedragen de kosten voor het aanpakken van een probleem met de gegevenskwaliteit op het punt van binnenkomst ongeveer 1x de oorspronkelijke kosten. Als het probleem onopgemerkt blijft en zich binnen het systeem verspreidt, stijgen de kosten tot ongeveer tien keer, wat correctie- en herstelinspanningen met zich meebrengt. Als de slechte datakwaliteit echter de eindgebruikers- of besluitvormingsfase bereikt, kunnen de kosten omhoogschieten tot maar liefst 10 keer de initiële kosten als gevolg van aanzienlijke zakelijke gevolgen, waaronder operationele verstoringen, gemiste kansen en ontevredenheid van klanten. Deze regel onderstreept de exponentiële impact van slechte datakwaliteit, waardoor het voor organisaties van cruciaal belang is om te investeren in de waarneembaarheid van data, waardoor problemen, als ze zich voordoen, dichter bij de hoofdoorzaak blijven dan stroomafwaarts.

Conclusie

Problemen met de gegevenskwaliteit hebben grote gevolgen voor bedrijven, wat leidt tot verspilling van middelen en gemiste kansen. Investeren in de waarneembaarheid van gegevens is essentieel om de risico's die gepaard gaan met slechte gegevens te voorkomen en te beperken. Door gebruik te maken van kwantificeerbare meetgegevens en rekening te houden met niet-kwantificeerbare factoren kunnen organisaties de ROI van de waarneembaarheid van gegevens meten en de waarde ervan aan besluitvormers demonstreren. Het waarborgen van datavertrouwen, het bevorderen van effectieve domeinbesluitvorming, het naleven van regelgeving en het koesteren van een tevreden datateam zijn allemaal cruciale aspecten van het maximaliseren van de voordelen van datakwaliteitsinitiatieven. Het omarmen van de waarneembaarheid van data is een strategische investering die de nauwkeurigheid, betrouwbaarheid en het gebruik van data in de huidige datagestuurde wereld waarborgt. 

Organisaties die een rijke observatiepraktijk opbouwen, hebben meer inzicht in hun verweven omgevingen, wat zich vertaalt in minder storingen, een snellere oplossing van problemen, een groter vertrouwen in de betrouwbaarheid van hun apps – en uiteindelijk meer omzet en tevredenre klanten.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.dataversity.net/putting-a-number-on-bad-data/