거의 1년 전, IBM은 시간에 민감한 인수합병 데이터 흐름 중 하나에서 데이터 검증 문제에 직면했습니다. 문제 해결, 문제 식별, 데이터 흐름 수정, 다운스트림 데이터 파이프라인 변경, 자동화된 워크플로의 임시 실행 수행 등 문제를 해결하기 위해 작업하는 동안 몇 가지 문제에 직면했습니다.

Databand를 통한 데이터 해상도 향상 및 모니터링 효율성 향상

즉각적인 문제가 해결된 후 회고적 분석을 통해 적절한 데이터 검증과 지능형 모니터링을 통해 문제가 완화되고 해결 시간이 단축되었을 수 있다는 사실이 밝혀졌습니다. IBM은 즉각적인 문제만을 위한 맞춤형 솔루션을 개발하는 대신 이 시나리오뿐만 아니라 간과될 수 있는 잠재적인 문제도 처리할 수 있는 광범위하게 적용 가능한 데이터 검증 솔루션을 모색했습니다.  

바로 그때 저는 최근 인수한 제품 중 하나인 데이터 관찰성을 위한 IBM® Databand®를 발견했습니다. 규칙 기반 모니터링이나 수백 개의 맞춤형 개발 모니터링 스크립트를 사용하는 기존 모니터링 도구와 달리 Databand는 자가 학습 모니터링을 제공합니다. 과거 데이터 동작을 관찰하고 특정 임계값을 초과하는 편차를 식별합니다. 이 기계 학습 기능을 통해 사용자는 데이터 또는 해당 동작 패턴에 대한 지식이 제한적인 경우에도 최소한의 규칙 구성 및 이상 탐지만으로 데이터를 모니터링할 수 있습니다.

Databand의 자체 학습 모니터링을 통해 데이터 흐름 관찰 가능성 최적화

Databand는 데이터 흐름의 과거 동작을 고려하고 의심스러운 활동에 플래그를 지정하는 동시에 사용자에게 경고합니다. IBM은 Databand를 100개 이상의 파이프라인으로 구성된 데이터 흐름에 통합했습니다. 모든 실행 및 파이프라인에 대해 쉽게 관찰할 수 있는 상태 업데이트를 제공했으며, 더 중요한 것은 강조된 오류를 제공했습니다. 이를 통해 우리는 데이터 흐름 사고의 해결에 집중하고 가속화할 수 있었습니다.

데이터 관측성을 위한 데이터밴드는 자가 학습을 사용하여 다음을 모니터링합니다.  

• 스키마 변경: 스키마 변경이 감지되면 Databand는 이를 대시보드에 표시하고 경고를 보냅니다. 데이터 작업을 하는 사람이라면 누구나 열 추가 또는 제거와 같은 데이터 소스의 스키마 변경이 일어나는 시나리오를 접했을 것입니다. 이러한 변경 사항은 워크플로에 영향을 미치고, 이는 다시 다운스트림 데이터 파이프라인 처리에 영향을 미쳐 파급 효과를 가져옵니다. Databand는 스키마 기록을 분석하고 이상 징후가 있으면 즉시 경고하여 잠재적인 중단을 방지할 수 있습니다.
• 서비스 수준 계약(SLA) 영향: Databand는 데이터 계보를 표시하고 데이터 파이프라인 오류의 영향을 받는 다운스트림 데이터 파이프라인을 식별합니다. 데이터 전달에 대해 정의된 SLA가 있는 경우 경고는 SLA 준수를 인식하고 유지하는 데 도움이 됩니다.
• 성능 및 런타임 이상: Databand는 데이터 파이프라인 실행 기간을 모니터링하고 이상 징후를 감지하는 방법을 학습하여 필요할 때 플래그를 지정합니다. 사용자는 파이프라인의 기간을 알 필요가 없습니다. Databand는 과거 데이터를 통해 학습합니다.
• 상태 : Databand는 실패, 취소 또는 성공 여부를 포함하여 실행 상태를 모니터링합니다.
• 데이터 유효성 검사: Databand는 시간 경과에 따른 데이터 값 범위를 관찰하고 이상 징후가 감지되면 경고를 보냅니다. 여기에는 평균, 표준 편차, 최소값, 최대값 및 사분위수와 같은 일반적인 통계가 포함됩니다.

향상된 데이터 파이프라인을 위한 혁신적인 Databand 알림

사용자는 복잡하지 않고 워크플로우를 모니터링하고 지원하는 직관적인 대시보드를 갖춘 Databand 사용자 인터페이스를 사용하여 경고를 설정할 수 있습니다. 방향성 비순환 그래프를 통해 심층적인 가시성을 제공하며, 이는 많은 데이터 파이프라인을 처리할 때 유용합니다. 이 올인원 시스템을 통해 지원 팀은 주의가 필요한 영역에 집중하여 결과물을 가속화할 수 있습니다.

IBM Enterprise Data의 인수 및 합병을 통해 우리는 Databand를 통해 데이터 파이프라인을 강화할 수 있었으며 지금까지 뒤돌아보지 않았습니다. 데이터 사고를 조기에 식별하고 더 빠르게 해결하며 기업에 더욱 신뢰할 수 있는 데이터를 제공하는 데 도움이 되는 이 혁신적인 소프트웨어를 제공하게 되어 기쁘게 생각합니다.

지속적인 데이터 관찰성을 통해 신뢰할 수 있는 데이터 제공

Gartner 보고서 읽기