Nếu bạn đang gặp khó khăn với việc đổ dữ liệu vào kho và hồ thì rất có thể bạn chưa chuẩn bị cho những gì sắp xảy ra tiếp theo. Chúng tôi đang chuyển sang Web 3.0, kỷ nguyên phân quyền tin cậy quyền sở hữu cục bộ. Thời đại này là thay đổi dữ liệu như chúng ta biết. Nó đã bắt đầu chứng minh giá trị của mình với các sản phẩm trong các trường hợp sử dụng công nghiệp.
Data Mesh, là phần bổ sung mới nhất cho ngăn xếp đang giúp các nhóm dữ liệu thoát khỏi những rắc rối khi sản xuất dữ liệu định tính cho tất cả các loại hình kinh doanh. Gần đây nhất, JP Morgan đã xây dựng một 'Lưới' trên AWS và khóa tài sản khả năng mở rộng của nó trên một kiến trúc phi tập trung. Nhiều nghiên cứu điển hình hơn được thêm vào mỗi ngày và đưa ra gợi ý rõ ràng - tất cả các phân tích dữ liệu đều được thiết lập để thay đổi, một lần nữa!
Quản lý dữ liệu trước 'Mesh'
Trong những ngày đầu, các tổ chức sử dụng kho dữ liệu trung tâm để thúc đẩy phân tích dữ liệu của họ. Thậm chí ngày nay, có một số lượng lớn trong số họ sử dụng các hồ dữ liệu để thúc đẩy phân tích dự đoán. Tuy nhiên, tốc độ tăng trưởng dữ liệu khổng lồ đang cản trở khả năng mở rộng của ứng dụng. Kỷ nguyên đám mây đã giải quyết vấn đề đó ở một mức độ nhất định. Thậm chí ở đó, số lượng người dùng đang tăng nhanh hơn mức doanh nghiệp sẵn sàng phục vụ tất cả họ. Giữa tất cả những điều này, các chuyên gia dữ liệu, chẳng hạn như các nhà khoa học, kỹ sư và nhà phân tích đang khóa sừng với việc chuyển đổi định tính dữ liệu thô thành nguồn cấp dữ liệu có thể hành động.
Trong một hệ sinh thái tập trung, mọi người đều phụ thuộc vào những người khác, do đó tạo ra sự không chắc chắn và luồng dữ liệu chính xác bị gián đoạn. Với Mesh, các nhóm dữ liệu có cơ hội hoạt động hết sức và nắm lấy đặc tính của Web 3.0 - phân quyền.
Điều này cũng đúng khi quản lý dữ liệu phi tập trung không phải là mới. Nó đã được chấp nhận cách đây hơn một thập kỷ khi ngành công nghiệp đang thức dậy với tính cấp thiết tiềm tàng của dữ liệu lớn mà chúng ta đang chứng kiến ngày nay. Thư viện Hadoop cho phép xử lý phân tán trên tất cả các điểm lưu trữ dữ liệu. Hiệu quả không kém là ảo hóa dữ liệu tích hợp các silo dữ liệu bằng cách sử dụng một lớp logic.
Tuy nhiên, tất cả những điều này có thể không hiệu quả trong bối cảnh dữ liệu thay đổi nhanh chóng.
Ngày nay, Hadoop phải vật lộn với sự phức tạp trong khi Ảo hóa nhận được các truy vấn không hiệu quả chạy song song trên các nguồn dữ liệu đa dạng. Truyên thông kho dữ liệu hoặc thậm chí các mô hình hồ dữ liệu gần đây của vải không thể mở rộng đến mức chúng cần.
Sản phẩm Lưới dữ liệu đang giải quyết những nút thắt cổ chai này bằng cách tân trang lại kiến trúc từ mặt đất. Trái ngược hoàn toàn với các hồ hoặc kho tập trung, mesh thúc đẩy một sản phẩm dữ liệu tự phục vụ và bền vững do nhiều nút của mạng sở hữu.
Kiến trúc lưới cho phép người tạo nội dung dữ liệu sở hữu nó trong bối cảnh. Chủ sở hữu mới sẽ phải chịu trách nhiệm về chất lượng, độ chính xác và mức độ liên quan. Không thể bỏ lỡ, quản trị viên trung tâm vẫn có quyền viết các chính sách quản lý cho mạng; thích nhất của cả hai thế giới!
Lợi ích của Lưới dữ liệu
Với sứ mệnh đảm bảo khả năng mở rộng và tính linh hoạt, lưới cung cấp giá trị có thể hành động từ các tập dữ liệu thô nhanh hơn. Bằng cách cung cấp cơ sở hạ tầng dữ liệu như một dịch vụ, lưới phân cấp các hoạt động và giảm bớt các công việc tồn đọng về CNTT. Với sự độc lập như vậy, các nhóm miền chỉ có thể tập trung vào các tập dữ liệu có liên quan đến miền của họ.
Các chủ sở hữu ngồi tại các nút và quản lý các miền liên quan của họ cũng được giao trách nhiệm lập chiến lược, tạo và duy trì các đường ống dẫn. Điều này đảm bảo kiểm soát dữ liệu 100% với các miền. Không giống như cách làm truyền thống, trong đó một nhóm thông thường sẽ làm việc này cho toàn bộ bối cảnh, giải pháp lưới nâng cao kiến thức cấp miền đồng thời tạo ra các quy trình kinh doanh nhanh nhẹn hơn.
Các loại vải dữ liệu, nếu được sử dụng một cách chiến lược có thể giúp triển khai mô hình lưới phi tập trung hiệu quả hơn.
Hãy xem xét K2view; nó tạo ra một kết cấu dữ liệu dựa trên thực thể để xây dựng một mạng lưới phi tập trung của các lĩnh vực kinh doanh. Nó tạo ra một lớp tích hợp để kết nối các nguồn dữ liệu và cung cấp một cái nhìn về khối lượng công việc hoạt động và phân tích. Ở đây, các miền do các nút nắm giữ có quyền sở hữu cục bộ đối với các dịch vụ dữ liệu. Điều này đảm bảo việc thực hiện thành công các chính sách tuân thủ các nguyên tắc quản trị do quản trị viên trung tâm quyết định. Bất kể khối lượng đến là bao nhiêu, kiến trúc lưới của chúng sẽ tự động thay đổi quy mô lên và xuống do đó đảm bảo tính linh hoạt theo yêu cầu. Nó cung cấp khả năng tiếp cận liền mạch với nhiều loại nguồn dữ liệu, công nghệ và định dạng. Hơn nữa, nó tích hợp dữ liệu giao dịch và dữ liệu chính ở trạng thái còn lại.
Không thể bỏ lỡ, kiến trúc lưới hoạt động tuân theo các môi trường khác nhau như môi trường đám mây, tại chỗ và môi trường kết hợp mà không ảnh hưởng đến tính toàn vẹn của giao dịch.
Như đã thảo luận, số lượng ngày càng tăng của các nguồn dữ liệu làm cho các hồ và kho thực hiện tích hợp quy mô lớn. Với quyền sở hữu và quản trị cấp miền của Mesh được thuật lại từ trung tâm, kiến trúc kết quả cung cấp dữ liệu định tính và có thể hành động. Lưới có độ an toàn cao. Nó mã hóa dữ liệu, theo dõi nhất quán thông tin đăng nhập của người dùng để đảm bảo ủy quyền và do đó tuân thủ các quy định về quyền riêng tư trên toàn cảnh dữ liệu.
Kết luận:
Data Mesh đang đạt được nền tảng vững chắc hơn. Tuy nhiên, việc di chuyển 'kho hàng' hiện có sang môi trường hoàn toàn mới là một thách thức. Đối với nhóm dữ liệu, điều này mang lại nhiệm vụ lớn để thực hiện quyền sở hữu dữ liệu phân tán. Với những rủi ro của việc duy trì nguyên vẹn các tập tục nguyên thủy là điều đáng sợ. Đó là một con đường khó khăn nhưng đáng để nỗ lực.
Các bài viết 'Lưới' giải quyết các nút thắt trong quản lý dữ liệu như thế nào xuất hiện đầu tiên trên Tập thể SmartData.
