Giả sử có C hạng mục 1, 2, …, C và n phần tử được quan sát. Các mức được gán cho những phần tử này kí hiệu là Y1, Y2, …,Yn; trong đó Yi biểu thị mức được quan sát cho phần tử thứ i. Liên kết với Yi, chúng ta định nghĩa một biến ẩn liên tục Y*. Như trên, chúng ta giả sử rằng: Yi* = xiβ + εi, trong đó xi là vecto của các biến giải thích liên kết với phần tử thứ i và εi là một biến ngẫu nhiên tuân theo phân phối F. Chúng ta chú ý: Yi = c nếu biến ẩn Yi* (γc-1, γc).
Gọi pi = (pi1, …, piC) là vecto xác suất mà phần tử thứ i:Yi được gán vào các hạng mục 1, 2,…., C. Y = (Y1, Y2, …, Yn) là vecto của các mức cho tất cả các thành phần. Khi đó phân bố của Y Mult(n, pi ). Ta có:
Pr (Y| pi) ∝ ∏ .
Thay thế giá trị của pic từ (3.1), ta thu được hàm hợp lý cho β:
L(β, γ) = ∏ – . (3.6) Nếu chúng ta tham số hóa mơ hình bằng cách sử dụng các dữ liệu của biến ẩn Y* cùng với các tham số hồi quy β và γ thì hàm hợp lý có thể được biểu thị lại như sau: L(β, γ, Y*) = ∏ . (3.7) Trong đó: I là hàm chỉ tiêu; γ = {γ1 ,…,γc } biểu thị vecto của các điểm cắt và giả định rằng γ0 = - , γc = .
Một mơ hình hồi quy thứ tự với C hạng mục sẽ có C – 1 điểm cắt chưa biết γ1 ,…, γc-1 bị tham số hóa vượt quá. Có 2 cách tiếp cận có thể giải quyết vấn đề này.
Cách thứ nhất đơn giản là cố định giá trị của một điểm cắt, thường là điểm cắt đầu tiên γ1. Cách tiếp cận này được thực hiện trong chương 2 khi chúng ta xem xét hồi quy nhị phân và đã định nghĩa một thành công như một quan sát mà giá trị ẩn của nó vượt quá 0. Nói cách khác, chúng ta giả sử rằng γ1 = 0.
Cách tiếp cận thứ hai có thể thực hiện cho việc thiết lập tính đồng nhất của các tham số là chỉ rõ một phân phối tiên nghiệm trên vecto của các điểm cắt.
Đối với dữ liệu thứ tự có chứa nhiều hơn 3 điểm cắt, một cách tiếp cận Baysian theo hướng suy luận đòi hỏi một phân phối tiên nghiệm được định rõ cho ít nhất một điểm cắt. Với những ràng buộc đặt trên các tham số hồi quy này, chúng ta sẽ thảo luận về 2 phương pháp ước lượng cho các tham số trong mơ hình hồi quy thứ tự.
3.2.1 Phương pháp ước lượng hợp lý cực đại
Các ước lượng hợp lý cực đại cho mơ hình hồi quy thứ tự có thể thu được bằng cách sử dụng thuật tốn bình phương tối thiểu có trọng số lặp (IRLS). Thuật tốn này được sử dụng để tìm cả hai ước lượng hợp lý cực đại và ma trận hiệp biến tiệm cận của các tham số xuất hiện trong các mơ hình hồi quy thứ tự đã được mô tả ở trên. Việc thực hiện thuật toán IRLS cần đến các định nghĩa của một biến phụ thuộc hoạt động, một ma trận của các biến hồi quy độc lập và các trọng số hồi quy tại mỗi lần cập nhật. Để định nghĩa những biến này, chúng ta bắt đầu bằng việc cho α biểu diễn vecto của các tham số mơ hình:
α = (γ2, …, γc , β0,….., βp).
Chú ý rằng γ1 là không được bao gồm trong vecto này bởi vì giá trị của nó được giả sử là 0. Cụ thể, giả sử có 5 loại đáp ứng (Y1, Y2, …,Y5), ta xác định:
trong đó vecto các biến giải thích xi được đặt trước một ma trận đồng nhất (C-1)
(C-1) với cột đầu tiên bị bỏ qua (tương ứng với γ1 = 0). Ngoài ra, ta lấy
là một mảng C (C-1) chiều và định nghĩa : Hi = diag (fi1 ,…, fi,C - 1),
Cuối cùng lấy :
Vi = diag (μi ),
trong đó μi = pi, là vecto của các xác suất đáp ứng cho quan sát thứ i. Khi đó:
w = , trong đó: wi = SiHiXi + (Yi – μi ), và ma trận hồi quy được định nghĩa như sau:
R = . Cuối cùng là ma trận trọng số:
V = diag( ).
Để thực hiện thuật toán IRLS, mỗi thành phần của thuật tốn phải được khởi tạo . Ví dụ: μi có thể được khởi tạo bằng cách lấy:
μic = .
Khởi tạo tương tự cho các thành phần tiếp theo của thuật toán.
Sau khi khởi tạo, một ước lượng bình phương cực tiểu của phương trình tuyến tính:
w = Rα
với ma trận trọng số V được thực hiện một cách đệ quy cho đến khi những thay đổi trong vecto hồi quy α là không đáng kể.
Chú ý rằng w, R và V tất cả đều phải được điều chỉnh bằng cách sử dụng giá trị mới của α thu được sau mỗi lần cập nhật bình phương tối thiểu.
IF = ∑
.
Và - biểu diễn cho ma trận hiệp biến tiệm cận của ước lượng hợp lý cực đại ̂. 3.2.2 Phương pháp Bayes
Chọn phân phối tiên nghiệm
Nếu có C loại đáp ứng, khi đó sẽ có C - 2 điểm cắt chưa biết (vì γ1 = 0 và γC = ). Giả sử có q thành phần chưa biết của vecto hồi quy β. Để xây dựng một tiên nghiệm cho {γ, β}, chúng ta phải xác định M = q + C – 2 các giá trị của vecto đồng biến x - gọi những giá trị này là x1, x2, …, xM. Đối với mỗi xj, chúng ta phải chỉ rõ một ước lượng tiên nghiệm cho xác suất tích lũy θ(j). Như vậy, đối với mỗi giá trị đồng biến, 2 phần tử sau được định rõ:
i. Một dự đốn tại xác suất tích lũy θ(j) – gọi dự đoán này là gj.
ii. Số các quan sát để dự đốn trên là có “giá”. Ký hiệu cỡ mẫu cho tiên nghiệm này là Kj.
Thơng tin tiên nghiệm về θ(j) có thể được chọn bằng cách sử dụng hàm mật độ beta với các tham số Kjgj và Kj(1-gj ). Nếu các phân phối tiên nghiệm của các xác suất tích lũy θ(1) ,....., θ(M) được giả định là độc lập, thì hàm mật độ tiên nghiệm chung được xác định bởi :
g(θ(1), …, θ(M) ) ∝ ∏ – ( ) .
Bằng cách biến đổi phương trình trên, ta được hàm mật độ tiên nghiệm chung cho {γ , β} là:
g(β, γ) ∝ ∏ ( ) [ – ( – )] ( ) –
(3.8)
với giả thuyêt là: 0 = γ1 γ2 ..... γC-1. Trong đó F(.) ký hiệu hàm phân phối liên kết và f (.) là hàm mật độ liên kết.
Phân phối hậu nghiệm được tính theo cơng thức Bayes là: g(β, γ | Y) ∝ L(β, γ) g(β, γ),
trong đó: L(β, γ) là hàm hợp lý được xác định trong (3.6).
Mô phỏng từ phân phối hậu nghiệm
Về nguyên tắc, thuật tốn Metropolis-Hastings đã trình bày trong chương 2 cho phương pháp lấy mẫu từ phân phối hậu nghiệm thông qua một tham số hồi quy có thể được điều chỉnh cho phù hợp với việc lấy mẫu từ phân phối hậu nghiệm trên các tham số trong mơ hình hồi quy thứ tự. Tuy nhiên, có hai đặc điểm khác biệt quan trọng giữa việc thiết lập thứ tự (C >2) và thiết lập nhị phân.
Đầu tiên, các hàm mật độ chuẩn nhiều chiều là không phù hợp đối với việc tạo ra vecto các tham số hồi quy thứ tự do những ràng buộc áp đặt trên các thành phần của vecto điểm cắt γ:
− < γ1 ≤ γ2 ≤ γ3 ≤ ……≤ γc ≡ .
Vấn đề thứ hai với thuật toán Metropolis-Hastings là xác suất mà một điểm ứng cử được chấp nhận thường giảm đột ngột khi sự phân loại các hạng mục tăng lên. Để khắc phục điều này, thuật toán ghép Metropolis-Hastings/ Gibbs thường được sử dụng để lấy mẫu từ phân phối hậu nghiệm trên các tham số hồi quy thứ tự. Một số thuật toán như vậy đã được đề xuất cho trường hợp của mơ hình probit thứ tự, trong đó đáng chú ý hơn là của Albert và Chib (1993) Cowles(1996) và Nandram và Chen(1996). Ở đây chúng ta mơ tả thuật tốn của Cowles. Nó có những ưu điểm là tương đối đơn giản để thực hiện và được mở rộng cho các mơ hình với các ràng buộc tùy ý trên các mức điểm cắt.
Chúng ta mô tả thuật tốn cơ bản cho các mơ hình probit thứ tự với giả thiết γ1 = 0 và tiên nghiệm đồng đều lấy trên (β, γ), trong đó: γ = (γ2, …, γC - 1).
Sử dụng biến ẩn Y* biểu diễn cho hàm hợp lý (3.6) và sử dụng ϕ biểu thị hàm mật độ chuẩn chuẩn tắc, thì mật độ hậu nghiệm chung của các biến ẩn và các tham số mơ hình được xác định bởi:
g(β, γ, Y* |Y) ∝ ∏ – , (3.9) trong đó : - < 0 < γ2 <. ....< γC - 1 < .
Thuật toán của Cowles sử dụng chiến lược mô phỏng thay phiên bằng cách tách các tham số mơ hình thành 2 tập: { Y*, γ} và {β}. Khi đó, phương pháp lấy mẫu Gibbs và Metropolis-Hastings được sử dụng để mơ phỏng ln phiên giữa:
• g(β| Y, Y*, γ) và • g(Y*
, γ| Y, β).
Phân phối có điều kiện của tham số hồi quy β là không bị thay đổi bởi việc phân tách này và nó tuân theo phân phối chuẩn nhiều chiều.
Để mơ phỏng từ mật độ hậu nghiệm có điều kiện chung của (Y*, γ), chúng ta xem mật độ này như là tích số của :
g(Y*, γ| Y, β) = g(Y*| Y, γ, β) . g(γ| Y, β).
Khi đó ta mơ phỏng γ từ g (γ| Y, β) và Y* có thể được lấy mẫu từ g (Y*| Y, γ, β). Trong đó g(γ| Y, β) có thể thu được theo phép giải tích bằng cách lấy tích phân (3.9) thơng qua các biến ẩn, ta thu được:
g(γ | Y, β) ∝ ∏ – – . (3.10) Sử dụng thuật toán Metropolis-Hastings để lấy mẫu từ phân phối có điều kiện của γ với điều kiện Y và β.
Các bước trong bộ lấy mẫu ghép Metropolis-Hastings/Gibbs dựa trên thuật tốn của Cowles có thể được tóm tắt như sau:
0. Khởi tạo β(0) và γ(0) (có thể là các giá trị ước lượng hợp lý cực đại của chúng). Đặt k = 1 và ζMH = 0.05/ C. Giá trị này của ζMH chỉ đơn giản là một quy tắc của ngón
tay cái, và điều chỉnh để ζMH là cần thiết nếu không thu được các tỷ lệ chấp nhận phù hợp cho γ.
1. Tạo ra một ứng cử g cho việc cập nhật γ(k - 1):
a. Cho j = 2, …, C - 1, bộ lấy mẫu gj ∼ N( ) lấy giá trị trong khoảng ( ) (lấy g0 = - g1 = 0 và gC = ).
b. Tính tỷ số chấp nhận R theo cơng thức sau:
R = ∏ ( ) ( ) ∏ ( ) ( ) ( ) ( ) . c. Đặt γ(k) = { .
2. Cho i = 1,…., n. Lấy mẫu từ hàm mật độ đầy đủ-có điều kiện g( | γ(k), β(k - 1)). Mật độ đầy đủ-có điều kiện cho là mật độ chuẩn tắc với: μ = và ϭ = 1; lấy giá trị trong khoảng ( ).
3. Lấy mẫu từ một phân phối chuẩn nhiều chiều xác định bởi : ∼ N ( ( )-1 )-1).
4. Tăng k = k + 1 và lặp lại các bước (1) – (3) cho đến khi thu được một số lượng phù hợp các giá trị lấy mẫu .
3.2.3 Ví dụ
Bây giờ chúng ta trở lại phân tích các mức điểm của lớp học thống kê được trình bày trong chương 2. Để thuận tiện, dữ liệu cho ví dụ này được đưa lại trong bảng 2.1. Chúng ta bắt đầu bằng việc minh họa ước lượng hợp lý cực đại cho một mơ hình logit thứ tự. Sau đó, chúng ta sẽ thảo luận về phân tích Bayesian bằng cách sử một tiên nghiệm khơng mang thơng tin.
Phân tích hợp lý cực đại
Như một bước khởi đầu trong phân tích, chúng ta giả sử rằng logit của xác suất mà một sinh viên nhận được một mức c hoặc thấp hơn là một hàm tuyến tính của số điểm SAT-M. Đó là, chúng ta giả sử một mơ hình có hình thức:
Log (
) = γc – β0 – β1 SAT-Mi.
Bởi vì một hệ số chặn đã được bao gồm trong mối quan hệ này, để xây dựng tính đồng nhất, chúng ta cố định γ1 = 0.
Các ước lượng hợp lý cực đại và các sai số tiêu chuẩn cho các tham số γ và β được hiển thị trong bảng 3.1.
Bảng 3.1: Các ước lượng hợp lý và sai số tiêu chuẩn cho mơ hình logit thứ tự đối với ví dụ các
mức điểm trong lớp thống kê.
Tham số Ước lượng Sai số tiêu chuẩn
2.22 3.65 6.51 -26.58 0.0430 0.64 0.78 1.33 6.98 0.012
Các ước lượng tương ứng của các xác suất mà một sinh viên nhận được một trong 5 mức điểm A, B, C, D được vẽ như một hàm số của số điểm SAT-M trong hình 3.3.
Hình 3.3: Các xác suất được phù hợp từ hợp lý cực đại của mơ hình thuộc tỷ lệ khả
dỹ.
Đối với mỗi giá trị SAT, 5 khu vực bóng mờ của biểu đồ xếp chồng lên nhau, thể hiện cho các xác suất được phù hợp của 5 mức điểm.
Trong hình này, khu vưc màu trắng phản ánh xác suất mà một sinh viên với số điểm SAT-M đã cho nhận được một mức điểm là A, khu vực sáng nhẹ phản ánh xác suất mà một sinh viên với số điểm SAT-M đã cho nhận được một mức điểm là B ,…, tương tự như vậy, khu vực màu đen phản ánh xác suất mà một sinh viên với số điểm SAT-M đã cho nhận được một mức điểm là F. Từ biểu đồ, chúng ta thấy rằng: xác suất mà một sinh viên với số điểm SAT-M 460 nhận được mức điểm D hoặc F là khoảng 57%; xác suất để một sinh viên ghi được 560 điểm SAT- M có cơ hội nhận được mức điểm B xấp xỉ 50% và một sinh viên ghi được 660 điểm SAT-M có cơ hội nhận được mức điểm A là lớn hơn 80%.
Tiếp theo, chúng ta xem xét một phân tích Bayesian sử dụng tiên nghiệm mang
thông tin.
Chúng ta minh họa phương pháp được mơ tả trong phần 3.2.2 có thể được sử dụng để xác định một phân phối tiên nghiệm cho các tham số của mơ hình probit thứ tự đối với các cấp độ thống kê. Nhớ lại trong chương 2, chúng ta tóm tắt niềm tin tiên nghiệm của chúng ta về giá trị của tham số hồi quy β thông qua hai ước lượng tiên nghiệm: Một sinh viên với số điểm SAT-M là 500 sẽ thi đậu khóa học với xác suất 0.3 và một sinh viên với số điểm SAT-M là 600 sẽ thi đậu khóa học với xác suất là 0.7. Ở đây, chúng ta giả định sự không chắc chắn và gán trọng số cho mỗi dự đoán là 1 quan sát.
Để xác định một tiên nghiệm thích hợp cho tất cả các tham số trong mơ hình probit thứ tự, chúng ta cần xác định nhiều hơn 3 ước lượng tiên nghiệm cho 3 tham số điểm cắt γ2, γ3 ,γ4. Ba ước lượng tiên nghiệm thêm vào của chúng ta là: xác suất mà một sinh viên với số điểm SAT-M là 520 nhận một cấp độ F là 0.2; xác suất mà một sinh viên với số điểm SAT-M là 540 nhận một cấp độ C hoặc thấp hơn là 0.75; và xác suất mà một sinh viên với số điểm SAT-M là 570 nhận một cấp độ B hoặc thấp hơn là 0.85.
Khi đó tiên nghiệm từ những dự đốn này có thể biểu thị như sau: g(β,γ) ∝ 𝚽(- β0 - 520β1)0.2 (1 - 𝚽 (- β0 - 520β1))0.8 𝚽 (γ2 - β0 - 500β1)0.7 (1 - 𝚽 (γ2 - β0 - 500β1))0.3 𝚽 (γ3 - β0 - 540β1)0.75 (1 - 𝚽 (γ3 - β0 - 540β1))0.25 𝚽 (γ4 - β0 - 570β1)0.85 (1 - 𝚽 (γ4 - β0 - 570β1))0.15 𝚽 (γ2 - β0 - 600β1)0.3 (1 - 𝚽 (γ2 - β0 - 600β1))0.7 ( - β0 - 520β1) (γ2 - β0 - 500β1) (γ3 - β0 - 540β1) ( γ4 - β0 - 570β1) (γ2 - β0 - 600β1). (3.11)
Mật độ hậu nghiệm mà kết quả từ các tiêu chuẩn đinh rõ tiên nghiệm này là khơng tn theo phân tích hình thức- đóng. Như vậy chúng ta phải một lần nữa nhờ đến phương pháp MCMC để thu được các mẫu từ phân phối hậu nghiệm chung.
Thuật tốn được mơ tả trong phần 3.2.3 để áp dụng với các tiên nghiệm chung trên γ và β đòi hỏi sự xếp chồng của một bước Metropolis-Hastings trên bộ lấy mẫu Gibbs trong bước (3), và điều chỉnh tỷ lệ chấp nhận ở bước (1). Cho
s = ,
biểu thị tỷ lệ của mật độ tiên nghiệm tại giá trị tham số mới so với giá trị tham số cũ trong mỗi bước cập nhật. Các thay đổi cần thiết đối với thuật toán Cowles là:
1. Trong bước 1, tỷ lệ R được nhân lên với s. Trong trường hợp này, và = g.
2. Trong bước (3) lấy và . Với xác suất bằng min(1,s) chấp nhận như một giá trị mới của . Ngược lại thì đặt =
.
Các trung bình hậu nghiệm và các độ lệch tiêu chuẩn được ước lượng từ 1000 bước lặp của thuật toán này bằng cách sử dụng tiên nghiệm trong (3.11) được đưa ra trong bảng 3.2.
Bảng 3.2: Sự mơ phỏng các ước lượng của các trung bình hậu nghiệm và các sai số tiêu chuẩn đối
với mơ hình probit thứ tự sử dụng tiên nghiệm mang thông tin.
Tham số TB hậu nghiệm Độ lệch chuẩn
1.09 1.80 2.85 -5.68 0.0132 0.28 0.34 0.44 2.73 0.0048
Chương 4 - Sử dụng mơ hình logit thứ tự để phân tích chất