Quasi un anno fa, IBM ha riscontrato un problema di convalida dei dati durante uno dei nostri flussi di dati relativi a fusioni e acquisizioni urgenti. Abbiamo affrontato diverse sfide mentre lavoravamo per risolvere il problema, tra cui la risoluzione dei problemi, l'identificazione del problema, la correzione del flusso di dati, l'apporto di modifiche alle pipeline di dati a valle e l'esecuzione di un'esecuzione ad hoc di un flusso di lavoro automatizzato.

Miglioramento della risoluzione dei dati e monitoraggio dell'efficienza con Databand

Una volta risolto il problema immediato, un’analisi retrospettiva ha rivelato che un’adeguata convalida dei dati e un monitoraggio intelligente avrebbero potuto alleviare il problema e accelerare i tempi di risoluzione. Invece di sviluppare una soluzione personalizzata esclusivamente per il problema immediato, IBM ha cercato una soluzione di convalida dei dati ampiamente applicabile in grado di gestire non solo questo scenario ma anche potenziali problemi trascurati.  

È stato allora che ho scoperto uno dei nostri prodotti recentemente acquisiti, IBM® Databand® per l'osservabilità dei dati. A differenza degli strumenti di monitoraggio tradizionali con monitoraggio basato su regole o centinaia di script di monitoraggio sviluppati su misura, Databand offre un monitoraggio ad autoapprendimento. Osserva il comportamento dei dati passati e identifica le deviazioni che superano determinate soglie. Questa funzionalità di apprendimento automatico consente agli utenti di monitorare i dati con una configurazione minima delle regole e un rilevamento di anomalie, anche se hanno una conoscenza limitata dei dati o dei relativi modelli comportamentali.

Ottimizzazione dell'osservabilità del flusso di dati con il monitoraggio ad autoapprendimento di Databand

Databand considera il comportamento storico del flusso di dati e segnala attività sospette avvisando l'utente. IBM ha integrato Databand nel nostro flusso di dati, che comprendeva oltre 100 pipeline. Forniva aggiornamenti di stato facilmente osservabili per tutte le esecuzioni e le pipeline e, cosa ancora più importante, evidenziava gli errori. Ciò ci ha permesso di concentrarci e accelerare la riparazione degli incidenti relativi al flusso di dati.

Databand per l'osservabilità dei dati utilizza l'autoapprendimento per monitorare quanto segue:  

• Modifiche allo schema: Quando viene rilevata una modifica dello schema, Databand la contrassegna su una dashboard e invia un avviso. Chiunque lavori con i dati si è probabilmente imbattuto in scenari in cui un'origine dati subisce modifiche allo schema, come l'aggiunta o la rimozione di colonne. Questi cambiamenti influiscono sui flussi di lavoro, che a loro volta influiscono sull’elaborazione della pipeline di dati a valle, provocando un effetto a catena. Databand può analizzare la cronologia degli schemi e avvisarci tempestivamente di eventuali anomalie, prevenendo potenziali interruzioni.
• Impatto del contratto sul livello di servizio (SLA): Databand mostra la derivazione dei dati e identifica le pipeline di dati downstream interessate da un errore della pipeline di dati. Se è stato definito uno SLA per la consegna dei dati, gli avvisi aiutano a riconoscere e mantenere la conformità allo SLA.
• Anomalie di prestazioni e runtime: Databand monitora la durata delle esecuzioni della pipeline di dati e impara a rilevare le anomalie, segnalandole quando necessario. Non è necessario che gli utenti siano a conoscenza della durata della pipeline; Databand apprende dai suoi dati storici.
• Status: Databand monitora lo stato delle esecuzioni, incluso se sono fallite, annullate o riuscite.
• Convalida dei dati: Databand osserva gli intervalli di valori dei dati nel tempo e invia un avviso quando rileva anomalie. Ciò include statistiche tipiche come media, deviazione standard, minimo, massimo e quartili.

Avvisi di Transformative Databand per pipeline di dati migliorate

Gli utenti possono impostare avvisi utilizzando l'interfaccia utente Databand, che è semplice e presenta un dashboard intuitivo che monitora e supporta i flussi di lavoro. Fornisce una visibilità approfondita attraverso grafici aciclici diretti, utili quando si ha a che fare con molte pipeline di dati. Questo sistema all-in-one consente ai team di supporto di concentrarsi sulle aree che richiedono attenzione, consentendo loro di accelerare i risultati finali.

Le fusioni e acquisizioni di IBM Enterprise Data ci hanno permesso di migliorare le nostre pipeline di dati con Databand e non abbiamo guardato indietro. Siamo entusiasti di offrirti questo software trasformativo che aiuta a identificare tempestivamente gli incidenti relativi ai dati, a risolverli più rapidamente e a fornire dati più affidabili alle aziende.

Fornisci dati affidabili con osservabilità continua dei dati

Leggi il rapporto Gartner