Ngay cả khi chúng ta phát triển về khả năng trích xuất thông tin quan trọng từ dữ liệu lớn, cộng đồng khoa học vẫn phải đối mặt với những rào cản đặt ra những thách thức lớn về khai thác dữ liệu. Trong bài viết này, chúng ta sẽ thảo luận về 10 vấn đề chính mà chúng ta phải đối mặt trong khai thác dữ liệu hiện đại và các giải pháp khả thi của chúng.
1. Dữ liệu không đồng nhất
Dữ liệu có thể có chất lượng thấp, bị tạp nhiễm và không đầy đủ. Đó là lý do tại sao, ngoài sự phức tạp của việc thu thập dữ liệu từ các Kho dữ liệu, kiểu dữ liệu không đồng nhất (HDT) là một trong những thách thức lớn về khai thác dữ liệu. Điều này chủ yếu là do dữ liệu lớn đến từ các nguồn khác nhau, có thể được tích lũy tự động hoặc thủ công và có thể tùy thuộc vào nhiều trình xử lý khác nhau.
TÌM HIỂU CƠ BẢN CỦA KIẾN TRÚC DỮ LIỆU
Kiến trúc Dữ liệu cung cấp nền tảng của mọi Chiến lược Dữ liệu thành công - hãy khám phá những yếu tố cần thiết với chương trình đào tạo trực tuyến của chúng tôi.
Điều này thường dẫn đến dư thừa cao và mức độ dữ liệu bị làm sai lệch. Một ví dụ rất phổ biến có thể là cuộc khảo sát khách hàng, nơi mọi người có thể không gửi hoặc gửi sai một số thông tin nhất định như tuổi, ngày sinh hoặc địa chỉ email.
Giải pháp: Có hai khía cạnh cho một giải pháp cho vấn đề này. Một, chúng tôi sử dụng cách tiếp cận truyền thống và xử lý từng HDT riêng lẻ theo quy trình khai thác dữ liệu đồng nhất cổ điển và sau đó ghép các kết quả lại với nhau. Ngoài ra, chúng tôi kết hợp HDT trong giai đoạn tiền xử lý và sau đó tiến hành quá trình khai thác dữ liệu, coi chúng như một thực thể duy nhất. Tất nhiên, điều này đơn giản hơn so với lựa chọn đầu tiên.
Thứ hai, chúng tôi cũng tiếp cận giải pháp từ góc độ kinh doanh, nơi các nhóm tiếp thị và phát triển đảm bảo rằng dữ liệu chính xác được thu thập nhiều nhất có thể. Ví dụ: các doanh nghiệp phải đảm bảo rằng các câu hỏi khảo sát đại diện hơn cho mục tiêu và các điểm nhập dữ liệu, chẳng hạn như trong bán lẻ, có phương pháp xác thực dữ liệu, chẳng hạn như địa chỉ email. Theo cách này, khi chúng ta phân tích tình cảm thông qua khai thác cảm xúc, nó sẽ dẫn đến kết quả chính xác hơn.
2. Dữ liệu phân tán
Một trong những thách thức khai thác dữ liệu nổi bật nhất là thu thập dữ liệu từ các nền tảng trên nhiều môi trường máy tính. Việc lưu trữ lượng lớn dữ liệu trên một máy chủ là không khả thi, đó là lý do tại sao dữ liệu được lưu trữ trên các máy chủ cục bộ. Đây là trường hợp của hầu hết các tổ chức quy mô lớn. Trên thực tế, đó là điều mà bản thân chúng tôi phải đối mặt khi thu thập dữ liệu cho một nhà cung cấp dịch vụ chăm sóc sức khỏe quốc tế để phân tích tình cảm.
Dữ liệu phân tán cũng có thể có nghĩa là dữ liệu được lưu trữ trong các nguồn khác nhau như công cụ CRM hoặc tệp cục bộ trên máy tính cá nhân. Tình huống này thường xuất hiện khi một tổ chức có thể muốn phân tích dữ liệu từ nhiều nguồn như Hubspot, tệp .csv và cơ sở dữ liệu Oracle. Các công ty cũng đang xem xét nhiều cách phi truyền thống hơn để thu hẹp khoảng cách mà dữ liệu nội bộ của họ có thể không lấp đầy bằng cách thu thập dữ liệu từ các nguồn bên ngoài.
Giải pháp: Chúng tôi cần tạo các phiên bản phân tán của các thuật toán khai thác dữ liệu để không phải đưa tất cả dữ liệu vào một kho lưu trữ tập trung duy nhất như hiện tại. Chúng tôi cũng cần các giao thức và ngôn ngữ phù hợp để ánh xạ dữ liệu phân tán này. Hiện tại, điều này có thể đạt được ở một mức độ khá với sự trợ giúp của siêu dữ liệu.
Người ta có thể sử dụng các tệp XML để lưu trữ siêu dữ liệu trong một biểu diễn để có thể khai thác các cơ sở dữ liệu không đồng nhất. Ngôn ngữ đánh dấu dự đoán (PMML) có thể giúp trao đổi các mô hình giữa các trang web lưu trữ dữ liệu khác nhau và do đó hỗ trợ khả năng tương tác, do đó có thể hỗ trợ khai thác dữ liệu phân tán.
3. Đạo đức dữ liệu
Các thách thức khai thác dữ liệu liên quan đến câu hỏi về đạo đức trong việc thu thập dữ liệu ở một mức độ khá. Điều này khác với bảo mật dữ liệu. Ví dụ: có thể không có sự cho phép rõ ràng từ nguồn gốc của dữ liệu từ nơi dữ liệu được thu thập, ngay cả khi nó nằm trên một nền tảng công khai như kênh truyền thông xã hội hoặc bình luận công khai trên một diễn đàn đánh giá người tiêu dùng trực tuyến.
Ví dụ: một trang web thương mại điện tử có thể truy cập thông tin cá nhân của người tiêu dùng như vị trí, địa chỉ, tuổi, sở thích mua hàng, v.v. và sử dụng thông tin đó để phân tích xu hướng mà không cần thông báo cho người tiêu dùng. Câu hỏi đặt ra là liệu có thể khai thác dữ liệu cá nhân được hay không ngay cả khi với mục đích dường như đơn giản là xây dựng trí thông minh kinh doanh.
Giải pháp: Đây là một vấn đề quản trị, hơn bất cứ điều gì khác và là một trong những thách thức khai thác dữ liệu nổi bật trong môi trường AI có đạo đức. Giống như một trang web thông báo cho người dùng chấp nhận hoặc từ chối cookie hoặc yêu cầu quyền chạy cửa sổ bật lên, một doanh nghiệp cũng phải thông báo cho người tiêu dùng về những gì họ có thể sử dụng dữ liệu của mình. Đây là trách nhiệm mà các doanh nghiệp cần giải quyết để minh bạch hơn với khách hàng của mình.
4. Bảo mật dữ liệu
Quyền riêng tư dữ liệu là một vấn đề nghiêm trọng nảy sinh trong quá trình thu thập dữ liệu, đặc biệt là khi liên quan đến việc lắng nghe và phân tích trên mạng xã hội. Các tổ chức truyền thông xã hội thậm chí còn bị chú ý nhiều hơn vì sự thất bại của Cambridge Analytica / Facebook, cuối cùng dẫn đến việc người đầu tiên phải nộp đơn phá sản và người sau đó phải trả khoản tiền phạt 5 tỷ đô la cho chính phủ Hoa Kỳ vì vi phạm quyền riêng tư dữ liệu.
Do sự giám sát liên tục này, nhiều nền tảng truyền thông xã hội bao gồm Facebook, Snapchat và Instagram đã thắt chặt các quy định về quyền riêng tư dữ liệu của họ. Và điều này đã được chứng minh là đặt ra những thách thức khai thác dữ liệu đối với phân tích tình cảm xã hội.
Giải pháp: Điều này một lần nữa nằm trong mục đích của các nguyên tắc đạo đức trong khai thác dữ liệu. Các nền tảng truyền thông xã hội như đã đề cập ở trên, và ngay cả những nền tảng khác như Twitter hoặc Amazon Reviews, cần phải minh bạch về chính sách bảo mật dữ liệu của họ. Một cách quan trọng khác để giải quyết vấn đề này là điều chỉnh các ứng dụng của bên thứ ba có thể truy cập dữ liệu thông qua quyền truy cập trực tiếp vào thiết bị kỹ thuật số của người dùng hoặc gián tiếp thông qua một trong các kết nối xã hội của người dùng. Và thứ ba, các nhà khoa học dữ liệu cần tuân theo giao thức thích hợp khi yêu cầu quyền truy cập vào các ứng dụng và nền tảng truyền thông xã hội, chẳng hạn như Douyin, có các quy tắc bảo vệ dữ liệu rất nghiêm ngặt và rất khó truy cập cho mục đích khai thác dữ liệu. Tổ chức không nên sử dụng các kênh ngược lại để truy cập thông tin bị hạn chế như vậy tại bất kỳ thời điểm nào.
5. Bảo mật dữ liệu
Bảo mật dữ liệu là một vấn đề lớn khi nói đến những thách thức về khai thác dữ liệu. Đây không chỉ là vấn đề về việc dữ liệu có đến từ một nguồn hợp pháp hay không, mà còn là liệu nó có được bảo vệ trên máy chủ của bạn khi bạn sử dụng nó để khai thác và trộn dữ liệu hay không. Trộm dữ liệu thông qua rò rỉ dữ liệu mật khẩu, giả mạo dữ liệu, mã hóa yếu, ẩn dữ liệu và thiếu kiểm soát giữa các thiết bị đầu cuối là những nguyên nhân gây ra các mối đe dọa lớn đối với bảo mật dữ liệu. Không chỉ các ngành mà chính phủ đang trở nên nghiêm ngặt hơn với luật bảo vệ dữ liệu.
Giải pháp: Khi thu thập dữ liệu để phân tích, các công ty khai thác dữ liệu cần cung cấp cho khách hàng tùy chọn để lựa chọn giữa một / c
môi trường ồn ào và nền tảng tại chỗ an toàn đằng sau tường lửa của khách hàng. Về mặt tổ chức, các doanh nghiệp cần quản lý quyền riêng tư dữ liệu trên quy mô lớn thay vì xem xét các giải pháp từng phần. Họ cần đầu tư vào Phần mềm thông minh hỗ trợ AI có thể theo dõi dữ liệu nhạy cảm và tự động lập danh mục để đáp ứng các quy định về quyền riêng tư của dữ liệu.
Bạn cần thực hiện phân tích rủi ro liên tục của tất cả dữ liệu nhạy cảm cũng như thông tin cá nhân và danh tính chỉ mục. Làm như vậy có thể làm cho việc kiểm kê dữ liệu trở nên chặt chẽ hơn và làm cho việc truy cập dữ liệu trở nên minh bạch để bạn có thể theo dõi hoạt động trái phép. Với nhiệm vụ bảo mật chặt chẽ như được thiết lập, việc sử dụng bảo vệ dữ liệu tự động và tuân thủ bảo mật trở nên dễ dàng hơn.
6. Độ phức tạp của dữ liệu
Ví dụ: khi dữ liệu được khai thác để phân tích tình cảm đối với trường hợp sử dụng trải nghiệm khách hàng (CX), nó thường ở dạng hỗn hợp rất không đồng nhất của các loại dữ liệu bao gồm dữ liệu không gian, video do người dùng tạo, video trên mạng xã hội, hình ảnh, meme, biểu tượng cảm xúc, văn bản ngôn ngữ tự nhiên, v.v.
Hầu hết các công cụ cung cấp phân tích CX không thể phân tích tất cả các loại dữ liệu khác nhau này vì các thuật toán không được phát triển để trích xuất thông tin từ các loại dữ liệu đó. Trong trường hợp như vậy, họ bỏ qua bất kỳ dữ liệu nào mà họ không được lập trình, chẳng hạn như biểu tượng cảm xúc hoặc video và coi chúng như các ký tự đặc biệt. Đây là một trong những thách thức khai thác dữ liệu hàng đầu, đặc biệt là trong phân tích lắng nghe xã hội.
Giải pháp: Vấn đề này có thể được giải quyết nếu một nền tảng có khả năng nhận dạng và trích xuất thông tin từ nội dung không phải văn bản theo cách tương tự như nó có thể từ dữ liệu văn bản. Thông qua ứng dụng của phân tích nội dung video, những dữ liệu đó có thể được khai thác và xử lý để bảo mật và giám sát, phân tích tâm lý, cung cấp dịch vụ chăm sóc sức khỏe, nghiên cứu thị trường và nhiều lĩnh vực khác.
7. Phương pháp luận
Phương pháp luận nào bạn sử dụng để khai thác và trộn dữ liệu là rất quan trọng vì nó ảnh hưởng đến cách nền tảng khai thác dữ liệu sẽ hoạt động. Đôi khi điều này trở thành một vấn đề của sự lựa chọn cá nhân, vì các nhà khoa học dữ liệu thường khác nhau về ngôn ngữ mà họ cho là ngôn ngữ phù hợp - cho dù đó là R, Golang hay Python - để có kết quả khai thác dữ liệu hoàn hảo. Điều này thể hiện như thế nào trong các thách thức khai thác dữ liệu là khi các tình huống kinh doanh khác nhau phát sinh, chẳng hạn như khi một công ty cần mở rộng quy mô và phải dựa nhiều vào môi trường ảo hóa.
Giải pháp: Giải pháp ở đây không nằm ở việc xem xét từng ngôn ngữ máy tính riêng lẻ mà là bức tranh toàn cảnh hơn về mục đích của nền tảng học máy của bạn. Nếu bạn đang xem xét một mô hình được xây dựng cho các trang web, thì Python hoạt động tốt. Nếu bạn đang xem xét dữ liệu và bảo mật, Java nên được ưu tiên vì những lý do rõ ràng. Tuy nhiên, một lần nữa, nếu bạn đang tìm kiếm tốc độ, khả năng mở rộng và môi trường dựa trên đám mây, Go cung cấp cho bạn khả năng này.
8. Bối cảnh dữ liệu
Thông tin theo ngữ cảnh đảm bảo rằng việc khai thác dữ liệu hiệu quả hơn và kết quả chính xác hơn. Tuy nhiên, việc thiếu kiến thức nền tảng đóng vai trò là một trong nhiều thách thức khai thác dữ liệu phổ biến cản trở sự hiểu biết ngữ nghĩa.
Giải pháp: Siêu dữ liệu có thể trợ giúp điều này ở một mức độ lớn. Vì nó cung cấp thông tin về dữ liệu khác, siêu dữ liệu giúp khai thác dữ liệu và làm sạch dữ liệu. Cũng chính vì các bản tóm tắt mà nó cung cấp mà chúng ta có thêm thông tin theo ngữ cảnh giữa dữ liệu chi tiết hiện tại và dữ liệu được tóm tắt cao. Ví dụ: nó cho phép bạn tìm kiếm qua hàng terabyte dữ liệu để cho bạn biết ai là ca sĩ của một bài hát cụ thể hoặc tác giả của một bài nghiên cứu. Đó là lý do tại sao một tổ chức cần chú ý đến chất lượng siêu dữ liệu của mình.
9. Trực quan hóa dữ liệu
Khai thác dữ liệu có rất nhiều thách thức trong việc hình dung thực tế của bản thân đầu ra xử lý ngôn ngữ tự nhiên (NLP). Ngay cả khi người ta đã khắc phục được tất cả các vấn đề nói trên trong khai thác dữ liệu, vẫn có khó khăn trong việc diễn đạt kết quả phức tạp một cách đơn giản. Điều quan trọng là phải xem xét thực tế là hầu hết người dùng cuối không phải từ cộng đồng kỹ thuật và đây là lý do chính tại sao nhiều công cụ trực quan hóa dữ liệu không đạt được thành công.
Giải pháp: Có thể trực quan hóa dữ liệu thành công nếu chúng tôi đảm bảo rằng dữ liệu đầu ra được cung cấp dưới dạng biểu đồ, đồ thị, mã màu hoặc các biểu diễn đồ họa khác dễ hiểu. Các đám mây từ là một ví dụ tuyệt vời về cách các thuật toán phức tạp có thể hiển thị kết quả của một truy vấn theo cách hiệu quả mà người dùng không chuyên về kỹ thuật trong bộ phận tiếp thị có thể làm theo.
10. Thời gian phản hồi
Cuối cùng nhưng không kém phần quan trọng là vấn đề thời gian phản hồi của mô hình dự đoán. Độ chính xác và độ chính xác là điều quan trọng hàng đầu trong môi trường kinh doanh nhưng thời gian phản hồi hiệu quả cao cũng cần thiết. Hãy suy nghĩ về các sàn giao dịch chứng khoán: Trong một ngành mà các quyết định giao dịch chứng khoán chỉ trong tích tắc phụ thuộc nhiều vào các phân tích và dự đoán thị trường gần như theo thời gian thực, thì thời gian phản hồi trở nên cực kỳ quan trọng.
Giải pháp: Khi lập kế hoạch cho một giải pháp học máy, các nhà khoa học dữ liệu cần quyết định ưu và nhược điểm của các thuật toán đó trong khi lưu ý đến ứng dụng kinh doanh mà giải pháp đang được xây dựng. Một số thuật toán được xây dựng đơn giản - ví dụ, các phương pháp phân loại không tham số như thuật toán k-láng giềng gần nhất (K-NN), thường được sử dụng trong phân loại và hồi quy. Tuy nhiên, chúng không hiệu quả về thời gian trong khi dự đoán các biến mục tiêu.
Mặt khác, các thuật toán khác như phương pháp học tập có giám sát không tham số liên quan đến cây quyết định (DT) tốn nhiều thời gian để phát triển nhưng có thể được mã hóa thành hầu hết mọi ứng dụng. Đó là lý do tại sao tầm nhìn xa và lập kế hoạch phù hợp là rất quan trọng.
Kết luận
Khai thác dữ liệu đã giúp chúng tôi hiểu về dữ liệu lớn theo cách đã thay đổi cách thức hoạt động của các doanh nghiệp và ngành. Nó đã giúp chúng tôi tiến một bước dài trong việc hiểu về tin học sinh học, dự đoán thời tiết bằng số, chống gian lận trong các ngân hàng và tổ chức tài chính, cũng như cho phép chúng tôi chọn một bộ phim yêu thích trên kênh phát video trực tuyến. Chúng tôi phải tiếp tục phát triển các giải pháp cho các thách thức khai thác dữ liệu để chúng tôi xây dựng các giải pháp học máy và AI hiệu quả hơn.
