Hình ảnh được tạo bởi DALL-E 2
 

Xu hướng hiện nay trong thế giới máy học là về các mô hình tiên tiến. Phong trào được thúc đẩy chủ yếu bởi mô hình tiếp theo của nhiều khóa học là mô hình phức tạp và việc sử dụng một mô hình như Deep Learning hoặc LLM có vẻ khó tin hơn nhiều. Những người kinh doanh cũng không ủng hộ quan điểm này vì họ chỉ nhìn thấy xu hướng phổ biến.

Đơn giản không có nghĩa là kết quả kém. Một mô hình đơn giản chỉ có nghĩa là các bước nó sử dụng để đưa ra giải pháp ít phức tạp hơn mô hình nâng cao. Nó có thể sử dụng ít tham số hơn hoặc các phương pháp tối ưu hóa đơn giản hơn, nhưng một mô hình đơn giản vẫn hợp lệ. 

Đề cập đến nguyên tắc triết học, Dao cạo của Occam hoặc Luật phân tích nói rằng lời giải thích đơn giản nhất thường là lời giải thích tốt nhất. Nó ngụ ý rằng hầu hết các vấn đề thường có thể được giải quyết bằng cách tiếp cận đơn giản nhất. Đó là lý do tại sao giá trị mô hình đơn giản lại có bản chất đơn giản để giải quyết vấn đề.

Một mô hình đơn giản cũng quan trọng như bất kỳ loại mô hình nào. Đó chính là thông điệp quan trọng mà bài viết muốn truyền tải và chúng ta sẽ tìm hiểu lý do tại sao. Vì vậy, chúng ta hãy đi sâu vào nó.

Khi chúng ta nói về các mô hình đơn giản, điều gì tạo nên một mô hình đơn giản? Hồi quy logistic hay Bayes ngây thơ thường được gọi là mô hình đơn giản, trong khi mạng lưới thần kinh rất phức tạp; thế còn rừng ngẫu nhiên thì sao? Đó là một mô hình đơn giản hay phức tạp?

Nói chung, chúng tôi không phân loại Rừng ngẫu nhiên là một mô hình đơn giản mà thường ngần ngại phân loại nó là phức tạp. Điều này là do không có quy tắc nghiêm ngặt nào chi phối việc phân loại cấp độ đơn giản của mô hình. Tuy nhiên, có một số khía cạnh có thể giúp phân loại mô hình. Họ đang:

– Số tham số,

– Khả năng giải thích,

– Hiệu suất tính toán.

Những khía cạnh này cũng ảnh hưởng đến mô hình lợi thế. Hãy thảo luận về chúng chi tiết hơn.

Số tham số

Tham số là cấu hình mô hình vốn có được học hoặc ước tính trong quá trình đào tạo. Khác với khái niệm về siêu tham số, người dùng không thể đặt tham số ban đầu nhưng bị ảnh hưởng bởi các lựa chọn siêu tham số.

Ví dụ về các tham số bao gồm hệ số hồi quy tuyến tính, trọng số và độ lệch của Mạng thần kinh và trọng tâm cụm K-means. Như bạn có thể thấy, giá trị của các tham số mô hình thay đổi độc lập khi chúng ta tìm hiểu từ dữ liệu. Giá trị tham số được cập nhật liên tục trong quá trình lặp lại mô hình cho đến khi có mô hình cuối cùng.

Hồi quy tuyến tính là một mô hình đơn giản vì nó có ít tham số. Các tham số hồi quy tuyến tính là hệ số và điểm chặn của chúng. Tùy thuộc vào số lượng tính năng chúng tôi đào tạo, Hồi quy tuyến tính sẽ có n + 1 tham số (n là số hệ số đặc trưng cộng 1 cho phần chặn).

So với Mạng nơ-ron, mô hình này phức tạp hơn để tính toán. Tham số trong NN bao gồm các trọng số và độ lệch. Trọng lượng sẽ phụ thuộc vào đầu vào của lớp (n) và tế bào thần kinh (p) và số tham số trọng số sẽ là n*p. Mỗi nơ-ron sẽ có độ lệch của nó, vì vậy đối với mỗi nơ-ron p, sẽ có một p Thiên kiến. Tổng cộng, các thông số sẽ vào khoảng (n*p) + p con số. Độ phức tạp sau đó tăng lên theo mỗi lần thêm các lớp, trong đó mỗi lớp bổ sung sẽ tăng lên (n*p) + p thông số.

Chúng ta đã thấy rằng số lượng tham số ảnh hưởng đến độ phức tạp của mô hình, nhưng nó ảnh hưởng như thế nào đến hiệu suất đầu ra tổng thể của mô hình? Khái niệm quan trọng nhất là nó ảnh hưởng đến rủi ro trang bị quá mức. 

Quá khớp xảy ra khi thuật toán mô hình của chúng tôi có khả năng khái quát hóa kém do nó đang học các tiếng ồn trong tập dữ liệu. Với nhiều tham số hơn, mô hình có thể nắm bắt được các mẫu phức tạp hơn trong dữ liệu, nhưng nó cũng bao gồm các nhiễu do mô hình cho rằng chúng có ý nghĩa quan trọng. Ngược lại, một mô hình tham số nhỏ hơn có khả năng hạn chế nghĩa là khó có thể phù hợp quá mức.

Ngoài ra còn có những ảnh hưởng trực tiếp đến khả năng diễn giải và hiệu quả tính toán mà chúng ta sẽ thảo luận thêm.

Giải thích

Khả năng diễn giải là một khái niệm học máy đề cập đến khả năng học máy để giải thích đầu ra. Về cơ bản, đó là cách người dùng có thể hiểu được kết quả đầu ra từ hành vi của mô hình. Giá trị quan trọng của mô hình đơn giản nằm ở khả năng diễn giải của chúng và đó là hiệu ứng trực tiếp đến từ số lượng tham số nhỏ hơn. 

Với ít tham số hơn, khả năng diễn giải mô hình đơn giản trở nên cao hơn vì mô hình dễ giải thích hơn. Hơn nữa, hoạt động bên trong của mô hình minh bạch hơn vì dễ hiểu vai trò của từng tham số hơn so với vai trò phức tạp. 

Ví dụ: hệ số hồi quy tuyến tính dễ giải thích hơn vì tham số hệ số ảnh hưởng trực tiếp đến tính năng. Ngược lại, một mô hình phức tạp như NN đang gặp khó khăn trong việc giải thích sự đóng góp trực tiếp của tham số vào đầu ra dự đoán. 

Giá trị có thể diễn giải là rất lớn trong nhiều ngành nghề hoặc dự án kinh doanh vì một doanh nghiệp cụ thể yêu cầu đầu ra có thể được giải thích. Ví dụ, dự đoán lĩnh vực y tế đòi hỏi khả năng giải thích vì chuyên gia y tế cần phải tự tin với kết quả; xét cho cùng thì nó đang ảnh hưởng đến cuộc sống cá nhân.

Tránh sai lệch trong quyết định mô hình cũng là lý do khiến nhiều người thích sử dụng mô hình đơn giản. Hãy tưởng tượng một công ty cho vay đào tạo một mô hình với tập dữ liệu chứa đầy những sai lệch và kết quả đầu ra phản ánh những sai lệch này. Chúng tôi muốn loại bỏ những thành kiến ​​vì chúng phi đạo đức, vì vậy khả năng giải thích là rất quan trọng để phát hiện ra chúng.

Hiệu suất tính toán

Một tác động trực tiếp khác của việc sử dụng ít tham số hơn là tăng hiệu quả tính toán. Số lượng tham số nhỏ hơn có nghĩa là mất ít thời gian hơn để tìm tham số và khả năng tính toán ít hơn. 

Trong sản xuất, một mô hình có hiệu suất tính toán cao hơn sẽ dễ triển khai hơn và có thời gian suy luận trong ứng dụng ngắn hơn. Hiệu ứng này cũng sẽ khiến các mô hình đơn giản được triển khai dễ dàng hơn trên các thiết bị có nguồn lực hạn chế như điện thoại thông minh.

Nhìn chung, một mô hình đơn giản sẽ sử dụng ít tài nguyên hơn, đồng nghĩa với việc chi tiêu ít tiền hơn cho việc xử lý và triển khai.

Chúng ta có thể đánh giá thấp một mô hình đơn giản vì nó trông không bắt mắt hoặc không cung cấp kết quả số liệu tối ưu nhất. Tuy nhiên, có rất nhiều giá trị chúng ta có thể lấy từ mô hình Đơn giản. Bằng cách xem xét khía cạnh phân loại tính đơn giản của mô hình, mô hình Đơn giản mang lại những giá trị sau:

– Mô hình đơn giản có số lượng tham số nhỏ hơn nhưng cũng làm giảm nguy cơ trang bị quá mức,

– Với ít tham số hơn, mô hình Đơn giản mang lại giá trị có thể giải thích cao hơn,

– Ngoài ra, ít tham số hơn có nghĩa là mô hình Đơn giản có hiệu quả tính toán.
 
 

Cornellius Yudha Wijaya là trợ lý quản lý khoa học dữ liệu và người viết dữ liệu. Trong khi làm việc toàn thời gian tại Allianz Indonesia, anh ấy thích chia sẻ các mẹo về Python và Dữ liệu qua mạng xã hội và phương tiện viết lách.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.kdnuggets.com/are-we-undervaluing-simple-models?utm_source=rss&utm_medium=rss&utm_campaign=are-we-undervaluing-simple-models