2.3 Kiểm tra sự phù hợp của mô hình
2.3.2 Phương pháp Bayesian
Phương pháp Bayesian đối với việc so sánh các mơ hình dựa trên những khái niệm của hợp lý biên và các nhân tố Bayes.
Giả sử chúng ta quan sát dữ liệu {Yi, ni }. Trong đó Yi là số lần thành công trong một cỡ mẫu ni với xác suất thành công là pi. Các xác suất này được liên kết với một mơ hình hồi quy tuyến tính bởi phương trình: pi = F( β), trong đó F là hàm phân phối tích lũy đã biết và β là tham số hồi quy chưa biết. Một mơ hình Bayesian cho vấn đề này bao gồm các tiêu chuẩn định rõ của mật độ mẫu đối với Y và một mật độ tiên nghiệm thích hợp cho β.
Giả sử có mơ hình M1 định rõ rằng Yi là những quan sát nhị thức độc lập, F là hàm phân phối logistic và β có phân phối chuẩn với giá trị trung bình và ma trận hiệp phương sai đã biết. Mơ hình M2 thừa nhận các phân phối nhị thức độc lập cho Yi , nhưng thay vào đó F là một làm liên kết bổ sung log-log với β có phân bố tiên nghiệm là phân phối t-student nhiều chiều với bậc tự do, giá trị trung bình và ma trận hiệp phương sai đã biết.
Bây giờ ta giả sử: (Y | β) là mật độ mẫu của Y và g(β) là hàm mật độ tiên nghiệm trên tham số mơ hình chưa biết, khi đó mật độ chung của Y và β là:
(Y | β) g(β).
Tiêu chuẩn để đánh giá sự phù hợp của mơ hình M được xác định bởi hợp lý biên của Y, cái mà thu được bằng cách lấy tích phân tham số β từ hàm mật độ chung:
(Y|M) = ∫ |
Trong phạm vi kiểm định, chúng ta thường đối mặt với vấn đề lựa chọn giữa hai mơ hình. Nếu hai mơ hình được ký hiệu là M1 và M2 thì tiêu chuẩn về sự rõ ràng trong việc chấp nhận M1 hay M2 được xác định bởi nhân tố Bayes:
BF12 = | | .
Nếu log BF12 = -2 thì mơ hình M2 có vẻ phù hợp hơn 100 lần so với mơ hình M1, và nếu log BF12 = 0 thì cả hai mơ hình được chấp nhận ngang nhau.
Ví dụ2: Để minh họa cho việc sử dụng các nhân tố Bayes, chúng ta hãy xem xét câu
hỏi đầu tiên là: Liệu số điểm SAT-M có nên được bao gồm trong mơ hình logit để dự đốn việc thi đậu lớp học thống kê hay khơng?.
Để tính tốn nhân tố Bayes cho kiểm định này, chúng ta cần xây dựng phân phối tiên nghiệm cho vecto hồi quy β dưới hai mơ hình:
Như trong phần 2.2b, giả sử g biểu thị một dự đoán tiên nghiệm của xác suất thi đậu và K thể hiện số lượng các quan sát mà dự đốn này là có giá trị. Trong mọi trường hợp, tiên nghiệm lựa chọn là một hàm mật độ beta với các tham số Kg và K(1 - g).
Hai mơ hình của chúng ta là:
• Mơ hình M1 (bao gồm SAT-M): Khi SAT-M = 500, g = 0.7; khi SAT-M = 600, g = 0.7; K = 1.
• Mơ hình M2 (loại bỏ SAT-M): Khi SAT-M = 500, g = 0,7; khi SAT-M = 600, g = 0.7; K = 1000.
Tiếp theo, chúng ta tính tốn hợp lý biên cho mỗi mơ hình. Trong trường hợp này, các hợp lý biên là là:
log | = -21,07 và log | = -24,73.
Như vậy nhân tố Bayes là :
BF12 = |
| = 38.6.
Suy ra: log BF12 = 1.6.
Điều này chỉ ra rằng có một bằng chứng quan trọng cho sự bao gồm của SAT-M trong mơ hình.
Ví dụ 3: Giả sử rằng SAT-M đã được đưa vào mơ hình hồi quy, tiếp theo chúng ta
sẽ quan tâm đến việc kiểm định xem liệu mức điểm của một sinh viên trong mơn học tiên quyết (GRADDE) có nên được thêm vào mơ hình này khơng?. Như trước đây, chúng ta giả định rằng mỗi mức điểm có thể được mã hóa với A = 4, B = 3, C = 2, D = 1, F = 0.
Vì có hai biến giải thích (bao gồm điểm SAT-M và GRADE) trong mơ hình, nên chúng ta xét b = 3 giá trị khác nhau của các biến giải thích. Do đó, ta bổ sung thêm vào mỗi mơ hình xác suất mà một sinh viên (500, C) thi đậu là 0.1 với K = 1. Thành phần tiên nghiệm thứ 3 này được chọn chỉ để bổ sung tiêu chuẩn định rõ tiên nghiệm cho mỗi mơ hình và có một ít tác động trên nhân tố Bayes.
Xét 2 mơ hình:
• Mơ hình M1 (loại bỏ GRADE): SAT-M = 550 và GRADE = B, g = 0.67, K = 1000; SAT-M = 550 và GRADE = D, g = 0.67, K = 1000; SAT-M = 500 và GRADE = C, g = 0.1, K= 1.
• Mơ hình M3 (bao gồm GRADE): SAT-M = 550 và GRADE = B, g = 0.67, K= 1; SAT-M = 550 và GRADE = D, g = 0.67, K = 1; SAT-M = 500 và GRADE = C, g = 0,1, K=1.
Trong trường hợp này:
log | = -22,72 và log | ) = -20,16. Do đó:
BF12 = |
| = 0.0776.
Suy ra: log BF12 = -1.11. Vì nó là âm nên kiểm định này chỉ ra rằng mơ hình M3 là phù hợp hơn.