Độ chính xác và AUC (Diện tích dưới đường cong) là thước đo để đánh giá mức độ tốt của hiệu suất mô hình. Cả hai đều hữu ích để đánh giá hiệu suất của mô hình tùy thuộc vào loại vấn đề kinh doanh mà bạn đang cố gắng giải quyết. Vậy bạn nên sử dụng cái nào và khi nào? Vâng, câu trả lời ngắn gọn là - Nó phụ thuộc! 

Trong bài đăng này, trước tiên chúng tôi sẽ mô tả cả hai chỉ số, sau đó tìm hiểu chi tiết từng chỉ số và hiểu thời điểm sử dụng chúng.

Độ chính xác là số liệu phổ biến nhất xác định tỷ lệ phần trăm dự đoán chính xác do mô hình đưa ra. 

Nó được tính bằng tỷ lệ giữa số dự đoán đúng với tổng số mẫu trong tập dữ liệu. Số lượng kết quả được đo bằng tỷ lệ phần trăm, ví dụ: nếu mô hình dự đoán chính xác 90% mục trong tập dữ liệu của bạn, thì nó có độ chính xác 90%.

Về mặt toán học, nó được viết là:

Bốn thành phần trong công thức dựa trên thực tế và dự đoán mô hình tương ứng được xác định bên dưới:

• Tích cực thực sự (TP) – số trường hợp mà mô hình xác định chính xác một lớp tích cực.
• Phủ định thực (TN) – số trường hợp mà mô hình xác định chính xác một loại phủ định.
• Tích cực sai (FP) – số trường hợp mô hình xác định sai một lớp phủ định.
• Phủ định sai (FN) – số trường hợp mà mô hình xác định sai một lớp khẳng định.

Các số liệu này có được bằng cách áp dụng một giới hạn thích hợp cho điểm số xác suất dự đoán của mô hình. Giải thích chi tiết về từng thuật ngữ và mối quan hệ của chúng với ma trận nhầm lẫn được giải thích trong phần này bài viết . 

AUC là viết tắt của “Khu vực dưới đường cong” nói chung và “Khu vực dưới Đường cong đặc tính hoạt động của máy thu” ở dạng dài. Nó nắm bắt khu vực bên dưới đường cong ROC (Đặc điểm hoạt động của máy thu) và so sánh mối quan hệ giữa Tỷ lệ dương thực (TPR) với tỷ lệ dương giả (FPR) qua các ngưỡng giới hạn khác nhau. 

Nhưng trước khi đi sâu vào AUC, trước tiên hãy hiểu những thuật ngữ mới này có nghĩa là gì.

TPR hoặc tỷ lệ tích cực thực sự

Đó là tỷ lệ các trường hợp dương tính được dự đoán chính xác trong số tất cả các mẫu dương tính. Ví dụ: nếu mô hình được giao nhiệm vụ xác định các giao dịch gian lận, thì TPR được định nghĩa là tỷ lệ các giao dịch gian lận được dự đoán chính xác trong số tất cả các giao dịch gian lận.  

FPR hoặc tỷ lệ tích cực sai

Đó là tỷ lệ phần trăm các trường hợp tiêu cực được dự đoán không chính xác. Tiếp tục với mô hình phát hiện gian lận, FPR được định nghĩa là tỷ lệ các cảnh báo gian lận được dự đoán sai trong số tất cả các giao dịch hợp pháp. 

Về mặt toán học, TPR và FPR được thể hiện như sau:

Bây giờ chúng ta đã hiểu TPR và FPR theo định nghĩa, hãy hiểu cách chúng liên quan đến số liệu AUC.

Hình ảnh của Editor

Rõ ràng từ hình trên, góc trên cùng bên trái tức là TP cao và FP thấp là trạng thái mong muốn. Do đó, đường cong màu tím tạo nên một bộ phân loại hoàn hảo với AUC là 1, tức là diện tích hình vuông bên dưới đường cong này là 1. 

Tuy nhiên, việc xây dựng một bộ phân loại lý tưởng như vậy thực tế không thể đạt được trong các ứng dụng trong thế giới thực. Do đó, điều quan trọng là phải hiểu giới hạn dưới của bộ phân loại được biểu thị bằng đường chéo màu đỏ. Nó được chú thích là một bộ phân loại ngẫu nhiên và có AUC là 0.5, tức là diện tích của một hình tam giác bên dưới đường chấm màu đỏ. Nó được gọi là bộ phân loại ngẫu nhiên bởi vì dự đoán của nó tốt như tung đồng xu ngẫu nhiên. 

Tóm lại, hiệu suất của mô hình máy học nằm giữa bộ phân loại ngẫu nhiên và bộ phân loại hoàn hảo, điều này cho biết AUC dự kiến ​​nằm trong khoảng từ 0.5 (trạng thái ngẫu nhiên) đến 1 (trạng thái hoàn hảo). 

Về cơ bản, các nhà khoa học dữ liệu nhằm mục đích tối đa hóa AUC, tức là diện tích dưới đường cong lớn hơn. Nó biểu thị tính tốt của mô hình trong việc tạo ra các dự đoán chính xác hay còn gọi là cố gắng đạt được TPR cao nhất trong khi vẫn duy trì FPR thấp nhất có thể.

Độ chính xác được sử dụng cho các bộ dữ liệu cân bằng, tức là khi các lớp được phân phối đồng đều. 

Một ví dụ thực tế là phát hiện gian lận phải xác định chính xác và phân biệt các giao dịch gian lận (loại lợi ích) với các giao dịch thông thường. Thông thường, các giao dịch gian lận rất hiếm, tức là sự xuất hiện của chúng trong tập dữ liệu huấn luyện sẽ nhỏ hơn ~1%.

Độ chính xác trong trường hợp này sẽ là sự thể hiện sai lệch về hiệu suất của mô hình và sẽ tuyên bố mô hình là tốt ngay cả khi nó xác định mọi giao dịch là không gian lận. Một mô hình như vậy sẽ có độ chính xác cao nhưng không dự đoán được bất kỳ giao dịch gian lận nào, làm mất đi mục đích xây dựng mô hình. 

AUC rất phù hợp với các bộ dữ liệu mất cân bằng. Ví dụ: mô hình phát hiện gian lận phải xác định chính xác gian lận ngay cả khi phải đánh dấu một số (một số lượng nhỏ) giao dịch không gian lận là gian lận.

Có khả năng cao là trong khi tập trung vào việc xác định chính xác loại quan tâm (giao dịch gian lận) tức là TP, mô hình đã mắc một số sai lầm, tức là FP (đánh dấu các giao dịch không gian lận là gian lận). Do đó, điều quan trọng là phải xem xét một biện pháp so sánh TPR và FPR. Đây là nơi AUC phù hợp.

Độ chính xác và AUC đều được sử dụng cho các mô hình phân loại. Tuy nhiên, có một số điều cần lưu ý khi bạn quyết định sử dụng cái nào. 

Một mô hình có độ chính xác cao cho thấy rất ít dự đoán sai. Tuy nhiên, điều này không xem xét chi phí kinh doanh của những dự đoán không chính xác đó. Việc sử dụng các số liệu chính xác trong các vấn đề kinh doanh như vậy sẽ trừu tượng hóa các chi tiết như TP và FP, đồng thời mang lại cảm giác tin tưởng quá mức vào các dự đoán mô hình gây bất lợi cho các mục tiêu kinh doanh.

AUC là thước đo cần thiết trong các tình huống như vậy vì nó hiệu chỉnh sự đánh đổi giữa độ nhạy và độ đặc hiệu ở ngưỡng được lựa chọn tốt nhất. 

Hơn nữa, độ chính xác đo lường mức độ hoạt động của một mô hình đơn lẻ, trong khi AUC so sánh hai mô hình cũng như đánh giá hiệu suất của cùng một mô hình qua các ngưỡng khác nhau. 

Chọn số liệu thích hợp cho mô hình của bạn là rất quan trọng để có được kết quả mong muốn. Độ chính xác và AUC là hai chỉ số đánh giá phổ biến để đo lường khách quan hiệu suất của mô hình. Cả hai đều hữu ích để đánh giá mức độ hoạt động của một mô hình và so sánh mô hình này với mô hình khác. Bài đăng giải thích lý do tại sao độ chính xác là thước đo đủ cho dữ liệu cân bằng nhưng AUC lại rất phù hợp để đo hiệu suất của mô hình trên một tập hợp không cân bằng.

 
 
Vidhi Chung là nhà lãnh đạo đổi mới AI / ML từng đoạt giải thưởng và là Nhà đạo đức học về AI. Cô ấy làm việc ở nơi giao thoa giữa khoa học dữ liệu, sản phẩm và nghiên cứu để mang lại giá trị kinh doanh và thông tin chi tiết. Cô ấy là người ủng hộ khoa học lấy dữ liệu làm trung tâm và là chuyên gia hàng đầu về quản trị dữ liệu với tầm nhìn xây dựng các giải pháp AI đáng tin cậy.