Làm sáng tỏ ý nghĩa thống kê
Với việc ngày càng có nhiều chuyên gia từ nhiều lĩnh vực ít kỹ thuật hơn đi sâu vào phân tích thống kê và mô hình hóa dữ liệu, những kỹ thuật thử nghiệm này có thể có vẻ khó khăn. Để giải quyết những trở ngại này, bài viết này làm rõ một số quan niệm sai lầm xung quanh giá trị p, kiểm tra giả thuyết và ý nghĩa thống kê.
By Omar Martinez, Arcalea.
Khi phân tích thống kê và mô hình hóa dữ liệu trở nên cần thiết trong hầu hết mọi lĩnh vực nghiên cứu, chúng tôi bắt đầu thấy các chuyên gia từ các lĩnh vực phi định lượng khác nhau bắt đầu sử dụng ngày càng nhiều công cụ thống kê để hiểu rõ hơn về các sự kiện cụ thể và kết quả của chúng.
Là một nhà tiếp thị được đào tạo chính quy về phân tích dữ liệu, chắc chắn tôi rất hài lòng khi thấy ngày càng có nhiều chuyên gia thực hiện các quy trình tương tự như phương pháp khoa học. Điều này đang xảy ra ở nhiều lĩnh vực mà trước đây cho thấy có sự thiên vị nghiêm trọng đối với những giả định lỗi thời và những lời khuyên sai lầm. Để góp phần vào sự thay đổi mô hình đó, hôm nay chúng tôi sẽ cố gắng làm rõ một số quan niệm sai lầm xung quanh giá trị p, kiểm tra giả thuyết và ý nghĩa thống kê nói chung.
Suy luận thống kê
Hãy bắt đầu bằng cách đi qua các nguyên tắc cơ bản. Suy luận thống kê là một quá trình trong đó chúng ta cố gắng ngoại suy hoặc suy ra thông tin và tham số từ một dân số, dựa trên số liệu thống kê của mẫu thử ngẫu nhiên của cùng một dân số đó.
Ví dụ: hãy tưởng tượng rằng bạn làm việc cho một nhà bán lẻ thời trang trực tuyến lớn và gần đây bạn đã khởi chạy chiến dịch cung cấp phiếu giảm giá $10 cho mọi người dùng đã thêm sản phẩm vào giỏ hàng nhưng chưa hoàn tất mua hàng. Bây giờ, giả sử sau một vài tuần, chiến dịch đạt được một số thành công và bạn thấy tỷ lệ chuyển đổi tăng lên. Sau khi thấy điều này, một trong những đồng nghiệp của bạn đề nghị tăng giá trị phiếu giảm giá lên 20 đô la vì anh ấy cho rằng mọi người thường chi tiêu nhiều hơn khi họ được giảm giá nhiều hơn. Tuy nhiên, là một nhà tiếp thị dày dạn kinh nghiệm, bạn biết rằng thái độ hoài nghi lành mạnh sẽ không bao giờ làm tổn thương bất kỳ ai.
Vì lý do đó, có thể là khôn ngoan khi bắt đầu bằng cách kiểm tra giả định này trong một tập hợp con người dùng của bạn, cụ thể là một mẫu ngẫu nhiên. Đây chính xác là điều mà suy luận thống kê hữu ích khi bạn đang cố gắng ước tính một dân số tham số (tỷ lệ chuyển đổi dân số) với số liệu thống kê là mẫu thử ngẫu nhiên (tỷ lệ chuyển đổi mẫu).
Kiểm định giả thuyết
Vì chúng tôi đã xác định rằng chúng tôi cần sử dụng suy luận thống kê để trả lời câu hỏi ban đầu của mình, nên bây giờ cần phải đi sâu vào khái niệm kiểm tra giả thuyết trước khi thực sự triển khai và đánh giá thử nghiệm của mình. (tăng giá trị phiếu giảm giá). Để làm được điều này, trước tiên, chúng ta cần chính thức thiết lập câu hỏi nghiên cứu của mình. Tiếp nối trường hợp chúng tôi đã trình bày ở trên, câu hỏi mà chúng tôi muốn trả lời sẽ có nội dung như sau:
Tỷ lệ chuyển đổi của chiến dịch “Giảm $20” có khác với tỷ lệ chuyển đổi của chiến dịch “Giảm $10” không?
Nói cách khác, chúng tôi muốn biết liệu người dùng nhận được phiếu giảm giá $10 và người dùng nhận được phiếu giảm giá $20 có khả năng mua hàng như nhau hay không. Điều này có nghĩa là hai tuyên bố (giả thuyết) cạnh tranh của chúng tôi là:
H0: P$10 =p$20
H1: P$10 ≠ p$20
Lưu ý rằng chúng tôi sử dụng p và không p̂ để xác định các giả thuyết của chúng tôi vì chúng tôi không quan tâm đến việc xác định xem liệu có sự khác biệt giữa tỷ lệ chuyển đổi của các mẫu hay không. Đúng hơn là chúng ta quan tâm đến việc suy ra các thông số về dân số. Nói cách khác, chúng tôi muốn biết liệu có sự khác biệt trong dân số tỷ lệ chuyển đổi.
Sau khi xác định các giả thuyết, giả sử bạn đã chạy thử nghiệm và thu thập dữ liệu sau:
Dữ liệu từ hai chiến dịch.
| Chiến dịch “Giảm $10” | Chiến dịch “Giảm $20” | |
| Người dùng đã chuyển đổi = x | 220 | 280 |
| Người dùng không chuyển đổi | 4,310 | 4,919 |
| Tổng số người dùng = n | 4,530 | 5,234 |
| p̂ (Tỷ lệ chuyển đổi) | ~ 4.86% | ~ 5.35% |
Thoạt nhìn, chúng ta có thể thấy rằng tỷ lệ chuyển đổi cho các mẫu của chúng tôi là khác nhau. Tuy nhiên, sự khác biệt về tỷ lệ chuyển đổi này có thể xảy ra do sự thay đổi về cơ hội/lấy mẫu ngẫu nhiên và dân số tỷ lệ chuyển đổi thực sự có thể kể một câu chuyện khác. Để xem liệu trường hợp đó có đúng như vậy không, chúng ta cần đặt mức ý nghĩa và tính giá trị p sẽ giúp chúng ta quyết định xem liệu chúng ta có thể bác bỏ hay không bác bỏ giả thuyết không.
Đánh giá kết quả
Bước tiếp theo sau khi thu thập dữ liệu là kiểm tra điều kiện suy luận và đặt mức ý nghĩa. Đối với thử nghiệm này, chúng tôi sẽ đặt mức ý nghĩa là 0.1, nghĩa là chúng tôi sẽ có 10% rủi ro khi kết luận rằng có sự khác biệt giữa dân số tỷ lệ chuyển đổi trong khi trên thực tế, không có sự khác biệt giữa chúng. Đây còn được gọi là một Lỗi loại 1.
Để xử lý kết quả thí nghiệm, bạn có thể tạo một bản sao của nội dung sau Bảng tính Google mẫu hoặc bạn có thể sử dụng tập lệnh Python bên dưới. Trong Python, nhiệm vụ này tương đối đơn giản nếu chúng ta sử dụng thư viện Statsmodels.
Đầu ra:
Thống kê kiểm định: -1.1024 Giá trị P: 0.2703 Không đáng kể, không bác bỏ giả thuyết khống rằng tỷ lệ dân số bằng nhau
Trong đầu ra của đoạn mã trên, chúng ta có thể thấy rằng chúng ta nhận được một giá trị p là ~ 0.27 hoặc ~ 27%. Do đó, chúng tôi cũng nhận được thông báo cho thấy kết quả của chúng tôi không có ý nghĩa thống kê. Hãy cố gắng hiểu tại sao điều này lại xảy ra bằng cách làm rõ giá trị p thực sự đang cho chúng ta biết điều gì.
Giá trị P
Để hiểu điều này có nghĩa là gì, trước tiên hãy phân tích giá trị p không phải là nói cho chúng tôi:
- Giá trị p không phải là xác suất của H0 (giả thuyết vô hiệu) là đúng.
- Giá trị p không phải là xác suất của HA (giả thuyết thay thế) là đúng.
- Giá trị p không phải là xác suất quan sát thấy sự khác biệt về tỷ lệ (hoặc phương tiện, tùy thuộc vào thông số bạn đã chọn cho thử nghiệm của mình).
Giá trị p là xác suất có điều kiện, có nghĩa là chúng ta nhận được xác suất cho rằng một điều kiện cụ thể là đúng. Về mặt hình thức, chúng ta có thể nói rằng giá trị p là xác suất có điều kiện để quan sát được một kết quả cực đoan hơn kết quả chúng ta nhận được, được rằng giả thuyết không là đúng.
p-value = P(kết quả được quan sát hoặc cực đoan hơn | H0 thật)
Điều này có ý nghĩa gì trong ví dụ của chúng tôi? Giả sử rằng H0 là đúng, điều đó có nghĩa là tỷ lệ chuyển đổi dân số của chúng ta bằng nhau (p$10 =p$20). Nói cách khác, cả hai chiến dịch đều chuyển đổi người dùng với tỷ lệ như nhau. Do đó, giá trị p cho chúng ta biết xác suất nhìn thấy giá trị giống nhau hoặc cực đoan hơn sự khác biệt về tỷ lệ mẫu (p̂$10 - P$20) chúng tôi quan sát xem hai tỷ lệ dân số có thực sự giống nhau hay không.
Bạn có thể tránh việc hiểu sai giá trị p bằng cách nhớ rằng đó không phải là xác suất để một trong các giả thuyết là đúng. Đúng hơn, đó là xác suất thu được kết quả từ một mẫu nếu giả thuyết khống là đúng.
Nếu giá trị p của chúng tôi là 0.27, điều này có nghĩa là có 27% cơ hội để thấy sự khác biệt mà chúng tôi quan sát được đối với tỷ lệ mẫu (-0.49%), nếu người dùng từ dân số có khả năng chuyển đổi như nhau cho cả hai chiến dịch. Đại khái, cứ 1 lần thì có 4 lần, chúng ta có thể nhận được giá trị đó hoặc sự khác biệt lớn hơn chỉ bằng sự ngẫu nhiên.
Cuối cùng, chúng ta có thể so sánh giá trị p (0.27) với mức ý nghĩa (0.1) và điều này sẽ xác định xem liệu chúng ta có đủ bằng chứng để bác bỏ hay không bác bỏ giả thuyết không, do đó, vì giá trị p của chúng ta lớn hơn giá trị p của chúng ta. mức ý nghĩa ( 0.27 > 0.1 ) chúng tôi không thể bác bỏ giả thuyết không và chúng tôi kết luận rằng dữ liệu không cung cấp bằng chứng thuyết phục rằng có sự khác biệt giữa tỷ lệ chuyển đổi của hai chiến dịch của chúng tôi. Điều này có nghĩa là chúng tôi sẽ có lợi hơn nếu tiếp tục chiến dịch “Giảm giá 10 đô la”.
Điều quan trọng cần lưu ý ở đây là mức ý nghĩa mà chúng ta chọn sẽ ảnh hưởng đến việc liệu chúng ta có kết luận rằng có đủ bằng chứng để bác bỏ giả thuyết không hay không. Vì lý do đó, tôi khuyến khích bạn thử nghiệm tất cả các tình huống khác nhau trước khi chọn mức ý nghĩa.
Lời cuối
Sau khi trải qua toàn bộ quá trình, tôi tin rằng điều quan trọng là dành chút thời gian để thảo luận về ý nghĩa thực sự của thuật ngữ “ý nghĩa thống kê”. Như chúng ta đã thấy trước đó, điều chúng ta đang cố gắng làm là thu thập bằng chứng và đánh giá mức độ bằng chứng này đồng ý/không đồng ý với giả thuyết không. Mức độ đồng ý/không đồng ý của dữ liệu với giá trị rỗng hoàn toàn phụ thuộc vào chúng tôi với tư cách là chuyên gia về chủ đề (SME). Vì vậy nó là bạn SME sẽ đưa ra quyết định cuối cùng và lựa chọn mức độ thích hợp cho thử nghiệm.
Cuối cùng, hãy nhớ rằng bạn phải luôn bao gồm giá trị p khi trình bày kết quả kiểm tra giả thuyết, bất kể kết quả ra sao. Nếu không có giá trị p đi kèm, thuật ngữ “có ý nghĩa thống kê” sẽ không có ý nghĩa gì.
Hy vọng rằng đến thời điểm hiện tại, bạn đã thu được một số kiến thức hữu ích giúp kết quả thí nghiệm của bạn có giá trị hơn nhiều trong thực tế.
Tiểu sử: Eduardo Martinez là một nhà tiếp thị có bằng sau đại học về phân tích kinh doanh. Hiện tại tại Bắc cực, Eduardo hợp nhất khung khoa học dữ liệu với các quy trình tiếp thị.
Liên quan:
Câu chuyện hàng đầu trong 30 ngày qua
Nguồn: https://www.kdnuggets.com/2020/07/demystifying-statistical-significance.html
