Gần một năm trước, IBM đã gặp phải sự cố xác thực dữ liệu trong một trong những luồng dữ liệu mua bán và sáp nhập có tính nhạy cảm về thời gian của chúng tôi. Chúng tôi đã phải đối mặt với một số thách thức khi nỗ lực giải quyết vấn đề, bao gồm khắc phục sự cố, xác định sự cố, khắc phục luồng dữ liệu, thực hiện các thay đổi đối với đường dẫn dữ liệu xuôi dòng và thực hiện một quy trình làm việc tự động đặc biệt.

Tăng cường độ phân giải dữ liệu và hiệu quả giám sát với Databand

Sau khi vấn đề trước mắt được giải quyết, một phân tích hồi cứu cho thấy rằng việc xác thực dữ liệu phù hợp và giám sát thông minh có thể giúp giảm bớt khó khăn và đẩy nhanh thời gian giải quyết. Thay vì phát triển một giải pháp tùy chỉnh chỉ dành cho mối quan tâm trước mắt, IBM đã tìm kiếm một giải pháp xác thực dữ liệu có thể áp dụng rộng rãi, có khả năng xử lý không chỉ tình huống này mà còn cả các vấn đề tiềm ẩn bị bỏ qua.  

Đó là khi tôi phát hiện ra một trong những sản phẩm được mua gần đây của chúng tôi, IBM® Databand® để quan sát dữ liệu. Không giống như các công cụ giám sát truyền thống với tính năng giám sát dựa trên quy tắc hoặc hàng trăm tập lệnh giám sát được phát triển tùy chỉnh, Databand cung cấp tính năng giám sát tự học. Nó quan sát hành vi dữ liệu trong quá khứ và xác định những sai lệch vượt quá ngưỡng nhất định. Khả năng học máy này cho phép người dùng giám sát dữ liệu với cấu hình quy tắc tối thiểu và phát hiện bất thường, ngay cả khi họ có kiến ​​thức hạn chế về dữ liệu hoặc các mẫu hành vi của nó.

Tối ưu hóa khả năng quan sát luồng dữ liệu với tính năng giám sát tự học của Databand

Databand xem xét hành vi lịch sử của luồng dữ liệu và gắn cờ các hoạt động đáng ngờ trong khi cảnh báo cho người dùng. IBM đã tích hợp Databand vào luồng dữ liệu của chúng tôi, bao gồm hơn 100 đường ống. Nó cung cấp các cập nhật trạng thái có thể quan sát dễ dàng cho tất cả các lần chạy và đường ống, đồng thời quan trọng hơn là các lỗi được nêu rõ. Điều này cho phép chúng tôi tập trung và đẩy nhanh việc khắc phục sự cố luồng dữ liệu.

Dải dữ liệu cho khả năng quan sát dữ liệu sử dụng khả năng tự học để giám sát những điều sau:  

• Thay đổi lược đồ: Khi phát hiện thấy thay đổi lược đồ, Databand sẽ gắn cờ thay đổi đó trên bảng điều khiển và gửi cảnh báo. Bất kỳ ai làm việc với dữ liệu đều có thể gặp phải các tình huống trong đó nguồn dữ liệu trải qua các thay đổi về lược đồ, chẳng hạn như thêm hoặc xóa cột. Những thay đổi này tác động đến quy trình công việc, từ đó ảnh hưởng đến quá trình xử lý đường ống dữ liệu xuôi dòng, dẫn đến hiệu ứng gợn sóng. Databand có thể phân tích lịch sử lược đồ và cảnh báo kịp thời cho chúng tôi về bất kỳ điểm bất thường nào, ngăn ngừa sự gián đoạn có thể xảy ra.
• Tác động của thỏa thuận cấp độ dịch vụ (SLA): Databand hiển thị dòng dữ liệu và xác định các đường ống dữ liệu xuôi dòng bị ảnh hưởng do lỗi đường ống dữ liệu. Nếu có SLA được xác định để phân phối dữ liệu, cảnh báo sẽ giúp nhận biết và duy trì sự tuân thủ SLA.
• Sự bất thường về hiệu suất và thời gian chạy: Databand giám sát thời gian chạy đường ống dữ liệu và học cách phát hiện các điểm bất thường, gắn cờ chúng khi cần thiết. Người dùng không cần biết thời lượng của quy trình; Databand học từ dữ liệu lịch sử của nó.
• Tình trạng: Databand theo dõi trạng thái của các lần chạy, bao gồm cả việc chúng bị lỗi, bị hủy hay thành công.
• Xác nhận dữ liệu: Databand quan sát phạm vi giá trị dữ liệu theo thời gian và gửi cảnh báo khi phát hiện sự bất thường. Điều này bao gồm các số liệu thống kê điển hình như giá trị trung bình, độ lệch chuẩn, mức tối thiểu, tối đa và tứ phân vị.

Cảnh báo Databand chuyển đổi cho đường ống dữ liệu nâng cao

Người dùng có thể đặt cảnh báo bằng cách sử dụng giao diện người dùng Databand, giao diện này không phức tạp và có bảng điều khiển trực quan để giám sát và hỗ trợ quy trình công việc. Nó cung cấp khả năng hiển thị chuyên sâu thông qua các biểu đồ chu kỳ có hướng, rất hữu ích khi xử lý nhiều đường dẫn dữ liệu. Hệ thống tất cả trong một này trao quyền cho các nhóm hỗ trợ tập trung vào các lĩnh vực cần chú ý, cho phép họ đẩy nhanh tiến độ bàn giao.

Việc sáp nhập và mua lại của IBM Enterprise Data đã cho phép chúng tôi nâng cao đường dẫn dữ liệu của mình với Databand và chúng tôi đã không hối hận. Chúng tôi rất vui được cung cấp cho bạn phần mềm biến đổi này giúp xác định sớm hơn các sự cố dữ liệu, giải quyết chúng nhanh hơn và cung cấp dữ liệu đáng tin cậy hơn cho doanh nghiệp.

Cung cấp dữ liệu đáng tin cậy với khả năng quan sát dữ liệu liên tục

Đọc báo cáo của Gartner