Luận văn đề cập đến vấn đề cơ bản như: • Định lý Bayes tổng quát, các họ phân phối tiên nghiệm một chiều,nhiều chiều trên các số liệu liên tục và rời rạc.. Trong đó luận văn đã sử dụng p
Giới Thiệu
Chương này trình bày các phương pháp Bayes để phân tích và ra quyết định.
Trong đó sẽ giới thiệu các khái niệm về xác suất tiên nghiệm và phân phối xác suất hậu nghiệm, các mô hình với các biến ngẫu nhiên rời rạc hoặc liên tục
Dạng tổng quát của định lý Bayes cho các biến cố
Định lý Bayes cho các biến cố đối lập
Xét trường hợp đặc biệt của công thức (1.1), xét C là biến cố nào đó và C là biến cố đối lập Với B là một biến cố bất kỳ nào khác, P {B } 6= 0, định lý Bayes cho các biến cố này là:
1.2 Dạng tổng quát của định lý Bayes cho các biến cố
Xác suất tiên nghiệm
Các xác xuất tiên nghiệm P {A j } phải được biết trước trong định lý Bayes(công thức (1.1)) Như vậy các xác suất tiên nghiệm là mức độ niềm tin mà nhà phân tích có được khi quan sát dữ liệu của bài toán Trong trường hợp không có sẵn các dữ liệu (dữ liệu đó có thể là quá tốn kém, quá bất tiện,hoặc quá nhiều thời gian để có được), xác suất tiêm nghiệm sẽ được sử dụng để suy luận hay quyết định Định lý Bayes không được sử dụng trong trường hợp như vậy Ví dụ trong phân tích chính sách, hầu hết các quyết định được thực hiện mà không có dữ liệu; chúng được thực hiện chỉ đơn thuần trên cơ sở thông báo Trong trường hợp như vậy xác suất tiên nghiệm là tất cả Thực tế này làm nổi bật tầm quan trọng của việc xây dựng xác suất tiên nghiệm một cách cẩn thận Trong khoa học, kinh doanh, pháp luật, kỹ thuật và y học, suy luận và quyết định về số lượng chưa biết thì nhìn chung được thực hiện bằng cách học hỏi từ sự hiểu biết trước đây của lý thuyết cơ bản và kinh nghiệm.
Xác suất hậu nghiệm
Xác suất hậu nghiệm là xác suất mà kết quả thu được từ việc áp dụng định lý Bayes Nếu có một tập dữ liệu mới, xác suất hậu nghiệm kết hợp với các tập dữ liệu cũ được sử dụng như xác suất tiên nghiệm cho tập dữ liệu mới.
Tỷ lệ cược
Một đại diện thay thế của xác suất tiên nghiệm và hậu nghiệm là về tỷ lệ cược Nếu p là xác suất của một biến cố E, tỷ lệ cược ngược lại biến cố E là (1 − p)/phoặc (1 − p) : p Các tỷ lệ cược thuận của biến cốE là p/(1 − p) hoặc p : (1 − p)
Ví dụ 1.1 Định lý Bayes cho các biến cố: dấu vân tay ADN Nhận dạng dấu vân tay dựa trên mẫu vân tay được phát triển bởi Sir Francis Galton trong năm 1890 Nhanh chóng trở thành phương pháp tiêu chuẩn để phân biệt con người, vì bản in vân tay vẫn không thay đổi trong suốt cuộc đời và thậm chí cả các cặp song sinh tương đồng phần nào, dấu vân tay khác nhau Độ chính xác và tiện lợi đã trở thành vấn đề quan trọng, vì vậy phương pháp mới cho các phân biệt cá nhân là tìm kiếm Một quá trình phân biệt con người qua 4 nhóm máu bốn là A ( kiểu gen A), B (kiểu gen B), AB (kiểu gen A và kiểu gen B), và 0 (có kiểu gen không phải A hoặc không phải B) được phát triển Người ta sử dụng các đặc điểm khác nhau của máu và vài đặc điểm của hai mẫu máu phải đồng ý trước sự trùng lặp được công bố.
Tuy nhiên nếu mẫu máu không có sẵn thì sao? Một phương pháp linh hoạt hơn cho phân biệt cá nhân là cần thiết Sau đó người ta thấy rằng phần lớn con người khác nhau về mẫu ADN (trình tự các nucleotide ) được tìm thấy trong mọi tế bào của con người Không có hai người có thể có cùng số lượng bản sao của các ADN lặp đi lặp lại ở tất cả những nơi mà các trình tự xảy ra Sẽ không còn máu hay dấu vân tay luôn được yêu cầu để nhận dạng nữa
1.2 Dạng tổng quát của định lý Bayes cho các biến cố
,thay vào đó là một mẫu bất kỳ tế bào của cá nhân sẽ là đủ trong một số tình huống Nhận định phân loại ADN (mà không phụ thuộc vào dấu vân tay) bắt đầu như một quy trình pháp lý mà mẫu ADN trong một hoặc nhiều tế bào của một người được phân tích sinh học để xác định xem nó trùng khớp ADN của một mẫu ADN lấy được ở những nơi khác hay không? Năm 1984 các quá trình được phát triển tại Anh bởi Alec Jeffreys tại Đại học Leicester (Wambaugh, 1989) Một số đặc điểm khác nhau của hai mẫu ADN thu được một cách riêng rẽ (sử dụng thiết bị sinh học khác nhau) sẽ phải đồng ý trước sự trùng lắp sẽ được công bố Dưới đây là một ứng dụng.
Một người nào đó đã phạm một tội ác (chúng ta gọi cho người đó "thủ phạm") và đã vô tình để lại một số ADN của mình tại hiện trường vụ án (một số máu, một sợi tóc, một số tinh dịch, một vài mẫu da, v.v.) Hãy giả sử cảnh sát suy ra rằng người có ADN để lại tại hiện trường thực sự là phạm tội Một người bị cáo buộc đã phạm tội (chúng ta sẽ gọi cho người ấy "Nghi phạm") Điều quyết định rằng ADN của nghi phạm phải được so sánh với ADN các thủ phạm để xem liệu có sự trùng lắp hay không điều này cung cấp bằng chứng cho thấy nghi phạm thực sự là những người phạm tội Định lý Bayes được áp dụng Cho C là sự kiện các nghi can phạm tội , sự trùng lắp ADN được công bố Liệu sự trùng lắp này ngụ ý rằng các nghi can thực sự phạm tội? Từ định lý Bayes trong công thức (1.2), xác suất hậu nghiệm mà các nghi can phạm tội là :
Cho M là các sự kiện của một trùng lặp giữa ADN của thủ phạm Cho p là xác suất tiên nghiệm, P {C} là nghi can có thể là tội phạm.
Sau đó, nếu C là sự kiện đối lập "không C," công thức trở thành :
P {M |C}(1 − p) + P {M |C}p tỷ lệ cược hậu nghiệm ngược lại các nghi can đã phạm tội là:
(1 − p) p mà [(1 − p)/p] được gọi là tỷ lệ cược tiên nghiệm, ngược lại các nghi can đã phạm tội Chúng ta thấy rằng một lợi thế khi làm việc với các tỉ lệ chênh lệch không phải là cần thiết để tính toán xác suất P vô điều kiện (M ); nghĩa là không cần thiết để tính toán các hằng số tỉ lệ trong định lý Bayes.
Chú ý rằng: P {M |C} = 1 − P {M |C} theo định nghĩaSau đó:
Định lý Bayes cho dữ liệu rời rạc và tham số rời rạc
Giải thích của định lý Bayes cho dữ liệu rời rạc và tham số rời rạc
X và Θ được giả định là phân phối xác suất rời rạc X i là kết quả dữ liệu trong một phép thử để tạo ra thông tin có liên quan niềm tin về Θ Mẫu số trong công thức (1.3) là một hằng số chỉ phụ thuộc vào các dữ liệuXvà không phục thuộc vào θ Vì vậy đối với Θ thì mẫu là một hằng số Công thức (1.3) có thể được viết tỷ lệ như sau: h (θ|x 1 , , x n ) = c f (x 1 |θ) f (x n |θ) g(θ) ∝ f(x 1 |θ) f (x n |θ) g(θ) (1.4) trong đó c là hằng số tỉ lệ và ký hiệu ∝ là tỉ lệ Do đó: p
Trong công thức (1.4) thành phần f(x 1 |θ) f (x n |θ) là hàm hợp lý cho dữ liệu (xem Chương 3) Trong công thức này, định lý Bayes cho dữ liệu rời rạc và tham số rời rạc đưa ra trong công thức (1.4) khẳng định pmf điều kiện hậu nghiệm củaΘlà tỷ lệ thuận với kết quả của hàm hợp lý cho các dữ liệu và các pmf tiên nghiệm Hơn nữa, dữ liệu có thể là một chiều hay đa chiều và kết quả Bayes tương tự được áp dụng Hơn nữa các phần tử dữ liệu không cần phải là độc lập với nhau do có mối tương quan là một quá trình ngẫu nhiên.
Tuy nhiên, công thức (1.4) sau đó sẽ thay đổi hàm hợp lý có dạngf (x 1 , , x n |θ).
Ví dụ 1.2 Quản lý số liệu trong sản xuất: dữ liệu rời rạc và tham số rời rạc
Công ty RAMM sản xuất RAM (bộ nhớ truy cập ngẫu nhiên) cho các máy tính cá nhân Các mẫu này được sản xuất hàng trăm, hàng ngàn mỗi tháng.
Nhưng công ty RAMM lo ngại về chất lượng sản phẩm của họ, vì thực tế họ phải quan tâm nếu muốn đảm bảo uy tín công ty và có lợi nhuận. Đặt θ là xác suất của một sản phẩm bị lỗi trong n sản phẩm Giả sử, đơn giản ta giả định θ có ba giá trị: 0,25 (tốt), 0.50 (trung bình ) và 0.75 (lỗi ).
Công ty RAMM đã giữ hồ sơ và trong đó sản xuất các sản phẩm tốt, với θ = 0.25 đạt trong 5 năm qua, các sản phẩm trung bình vớiθ = 0.5 đạt trong 5 năm qua và các sản phẩm lỗi với θ = 0.75 đạt trong 5 năm qua Công ty RAMM đã quyết định sử dụng các hồ sơ như xác suất tiên nghiệm để cập nhật các câu hỏi về mức độ quản lý chất lượng.
Những xác suất tiên nghiệm này được tóm tắt trong bảng 1.1 Một dây chuyền của 10.000 bảng mạch bộ nhớ RAM được sản xuất và công ty quyết định kiểm tra lô hàng này để xem quá trình sản xuất của công ty. Đó là tỷ lệ sản phẩm sản xuất bị lỗi tương ứng với tỷ lệ hồ sơ của công ty hoặc là tỷ lệ sản xuất sản phẩm bị lỗi có tỉ lệ cao hơn?
Thu nhập mẫu ngẫu nhiên ba sản phẩm và hai lỗi được tìm thấy Công ty RAMM tin gì về tỉ lệ sản phẩm bị lỗi (tương đương phân phối hậu nghiệm θ là gì)?
Trong bài toán này, các dữ liệu rời rạc và được giả định theo một phân phối nhị thức với tham sốθ với số lần thành công r = 2 (một lỗi định nghĩa là một
1.3 Định lý Bayes cho dữ liệu rời rạc và tham số rời rạc
Bảng 1.1: Xác suất tiên nghiệm
Xác suất của một sản phẩm bị lỗi θ
Hàm khối xác suất cho θ
0.60 0.30 0.10 thành công), n = 3 phép thử Vì vậy hàm hợp lý là:
Công thức (1.4) trong trường hợp này là: h(θ|r, n) ∝ L(r|θ, n)g(θ) pmf hậu nghiệm h được thực hiện trong Bảng 1.2 Lưu ý rằng các phần tử của cột h được tìm thấy bằng cách chia mỗi phần tử của (tiên nghiệm) x (hàm hợp lý) cho tổng của các phần tử trong cột đó, để chuẩn hóa đến một, từ bảng 1.2, giá trị cho θ trong dây chuyển gần đây của bảng mạch bộ nhớ RAM là θ = 0.5 chỉ có một tỷ lệ hợp lý của các lỗi.
Trước khi kết luận rằng họ nên điều chỉnh quy trình sản xuất, trong đó sẽ rất tốn kém Công ty RAMM có lẽ nên lấy một mẫu lớn hơn nhiều so với n = 3 , n = 100 , 500 , 1000
Bảng 1.2: Xác suất hậu nghiệm θ Tiên nghiệm cho θ
Tiên nghiệm x hàm hợp lý h= pmf hậu nghiệm cho θ
Định lý Bayes cho dữ liệu rời rạc và mô hình rời rạc
Giả sử muốn so sánh một số mô hình M 1 , M 2 , , M k mà tin nhất Trong ví dụ 1.2 có ba giá trị có thể cho tỷ lệ sản phầm lỗi θ Trường hợp này có một số mô hình thay thế, xem xét có thể giải thích một hiện tượng quan sát được, một số niềm tin về mỗi mô hình sẵn có cho dù đó là mô hình thích hợp nhất cho hiện tượng nhưng cần phải chắc chắn, một số dữ liệu liên quan về hiện tượng này (thực hiện một thực nghiệm) và so sánh niềm tin hậu nghiệm về từng mô hình khi các mô hình khác nhau được sử dụng để đánh giá dữ liệu. Định lý Bayes cho một số các mô hình rời rạc là:
Định lý Bayes cho dữ liệu liên tục và tham số rời rạc
Giải thích định lý Bayes cho dữ liệu liên tục và tham số rời rạc
Dữ liệu có thể là đa chiều phụ thuộc lẫn nhau, θ có thể là đa chiều nhưng dữ liệu liên tục và mẫu số trong công thức (1.7) khác không.
Ví dụ 1.3 Suy luận các tổ của một lớp mà từ đó một sinh viên đã được chọn: dữ liệu liên tục và tham số rời rạc(Chọn từ một tập hợp mô hình rời rạc )
Có ba tổ của một lớp ngôn ngữ sơ cấp Một học sinh được chọn ngẫu nhiên từ một danh sách tên của tất cả học sinh trong lớp Các học sinh được lựa chọn sẽ tham gia kỳ thi Câu hỏi sẽ là: " học sinh được chọn lựa từ tổ nào ? " Để trả lời câu hỏi này đem lại thông tin tiên nghiệm khi thực hiện Giả sử năm ngoái các giáo viên hướng dẫn cho ba tổ đều như nhau; việc kiểm tra như nhau và kết quả kiểm tra của học sinh tại cùng một thời điểm mô tả trong bảng 1.3 Bảng này được ghi nhận là điểm của học sinh theo phân phối chuẩn với trung bình m i và phương sai chuẩn là 225 , i = 1 , 2 , 3 phụ thuộc tổ trong lớp. Để đánh giá điểm số đạt được trong năm nay, tìm xác suất tiên nghiệm cho điểm số của năm nay dựa trên kết quả năm vừa rồi và niềm tin tiên nghiệm về khả năng của học sinh Các học sinh được lựa chọn ngẫu nhiên và đặt tên là Maria Trong thực tế, lớp của Maria cho đến nay đã được kết quả khá tốt và các học sinh tương ứng trong lớp có phân phối điểm theo mô hình M 2 thì trung bình tốt hơn so với những học sinh khác trong hai tổ còn lại Vì vậy,tìm xác suất tiên nghiệm đến ba mô hình hiển thị trong cột cuối cùng của
Định lý Bayes cho dữ liệu rời rạc và tham số liên tục
bảng 1.3 Hàm hợp lý (mật độ xác suất) là:
2 ) với i = 1 , 2 , 3 Để đánh giá số lượng các hàm hợp lý, lấy x = 0.76 vì Maria đã đạt được x = 0.76 trong kỳ thi năm nay Chuẩn hóa x bằng cách chuyển đổi y i = (x − θ i )/15 Bây giờ y i ∼ N (0, 1) và nếu xác định mật độ chuẩn φ(y i ) ≡ (2π) −0.5 exp{(−0.5)y i 2 }, kết quả thu được trong bảng 1.4 Kiểm tra bảng 1.4 cho thấy rằng mô hình M 2 có xác suất hậu nghiệm cao nhất của ba mô hình Do đó kết luận các học sinh được lựa chọn đến từ tổ 2.
Bảng 1.3: Mô hình điểm thi cho sinh viên năm ngoái
Trung bình =θ Mô Hình Xác suất tiên nghiệm P {M }
Bảng 1.4: Xác suất hậu nghiệm cho mô hình điểm thi sinh viên
Mô Hình y i φ(y i ) Hàm hợp lý=φ(y i )/15
Tiên nghiệm x hàm hợp lý
Nguồn gốc tổ của một số học sinh đã được lấy từ cùng một tổ mà có thể tăng kích thước của dữ liệu mẫu Hơn nữa, kích thước mẫu là một, các dữ liệu (số điểm của Maria) ảnh hưởng ít trên mối quan hệ hậu nghiệm so với tiên nghiệm, do đó các mối quan hệ tiên nghiệm và hậu nghiệm là như nhau.
Kích thước dữ liệu lớn hơn, những niềm tin tiên nghiệm đóng một vai trò nhỏ hơn nhiều liên quan đến dữ liệu.
1.5 Định lý Bayes cho dữ liệu rời rạc và tham số liên tục Định lý Bayes cho dữ liệu rời rạc và tham số liên tục θ với pdf g(θ): h(θ|x 1 , , x n ) = L(x 1 , , x n |θ) g(θ)
R L(x 1 , , x n |θ) g(θ)dθ 0 (1.8) và tích phân được tính trên tất cả các giá trị của θ Trong trường hợp nàyL(x 1 , , x n |θ) vừa là hàm hợp lý cho các dữ liệu vừa là một pmf khi g(θ) là một tiên nghiệm pdf Phân phối hậu nghiệm là các quá trình liên tục để h là một pdf.
1.5 Định lý Bayes cho dữ liệu rời rạc và tham số liên tục
Ví dụ 1.4 quản lý chất lượng trong sản xuất: dữ liệu rời rạc và tham số liên tục
Trở lại vấn đề kiểm soát chất lượng sản xuất trong ví dụ 1.2, xác suất của một sản phẩm bộ nhớ RAM bị lỗi là một tham số liên tục với 0 ≤ θ ≤ 1. Trong ví dụ đó, ba sản phẩm được lựa chọn để kiểm tra và hai sản phẩm lỗi đã được tìm thấy Hàm hợp lý vẫn là nhị thức nhưng θ không còn giới hạn trong ba giá trị Chúng ta phải chọn một phân phối tiên nghiệm θ.
Trường hợp 1: Tiên nghiệm đều Giả sử hồ sơ được lưu giữ không có tỉ lệ trước đó của sản phẩm bị lỗi, do đó tất cả sản phẩm bị lỗi hoặc trường hợp khác Trong trường hợp này, nên xét các phân phối tiên nghiệm θ là đều trên các khoảng đơn vị Đó là: g(θ) =
B(a, b) = Γ(a)Γ(b) Γ(a + b) (1.10) và Γ(a) là hàm gamma của các đối số a Hơn nữa, một phân phối beta với các tham số a và b (a > 0 , b > 0) với một biến ngẫu nhiên X có mật độ là: f(x|a, b) =
(1.11)Như vậy, mật độ hậu nghiệm θ là beta với các tham số 3 và 2 Mật độ tiên nghiệm đều θ và mật độ hậu nghiệm beta θ được mô tả trong hình 1.1
1.5 Định lý Bayes cho dữ liệu rời rạc và tham số liên tục
Trường hợp 2:Tiên nghiệm Beta.
Tiếp tục xét bài toán đã kiểm tra trong trường hợp 1 Vì vậy áp dụng một phân phối tiên nghiệm của θ Do đó mật độ hậu nghiệm θ tính trong trường hợp 1. g(θ) là mật độ không đều nhưng là một mật độ beta.
Hình 1.1: mật độ tiên nghiệm đều đến mật độ beta hậu nghiệm của θ
Họ mật độ tiên nghiệm beta là: g(θ) =
0, θ / ∈ (0, 1) chọn a và b thích hợp trong họ beta Thay thế mật độ hậu nghiệm của θ là: h(θ|r = 2, n = 3) =
B(a+2,b+1) dθ Rõ ràng tích phân thứ hai bằng một nên mật độ hậu nghiệm của θ trở thành h(θ|r = 2, n = 3) = 1
B(a + 2, b + 1) θ (a+2)−1 (1 − θ) (b+1)−1 với 0 < θ < 1 Lưu ý trong trường hợp 1, mật độ hậu nghiệm là một thành phần của họ beta nhưng các tham số của mật độ hậu nghiệm khác nhau trong trường hợp 1.
Định lý Bayes cho dữ liệu liên tục và tham số liên tục
Chúng ta cần đánh giá a và b từ kiến thức tiên nghiệm với mật độ beta trong công thức (1.11), ta có
Giả sử từ dữ liệu đã có của công ty RAMM thấy rằng E(θ) = 0.2 và var(θ) = 0.01 Thay thế những giá trị này cho kỳ vọng và phương sai, a = 3 và b = 12 thì mật độ tiên nghiệm trở thành: g(θ) = 1
B(3, 12) θ 3−1 (1 − θ) 12−1 Thay thế mật độ hậu nghiệm cuối của θ: h(θ|r = 2, n = 3) = 1
B (5, 13) θ 5−1 (1 − θ) 13−1 với 0 < θ < 1 Mật độ tiên nghiệm và hậu nghiệm khá giống nhau Điều này do các dữ liệu thêm vào với tiên nghiệm được biết ít từ kích thước mẫun = 3; đó là ba sản phẩm được lấy mẫu Các tiên nghiệm và hậu nghiệm pdf được mô tả trong hình 1.2 Trong đồ thị, hậu nghiệm hơi nghiêng về bên phải của tiên nghiệm, trong đó kết quả của các dữ liệu cho thấy rằng có hai lỗi trong ba sản phẩm lấy mẫu, xác suất của một tỷ lệ lỗi cao hơn so với hồ sơ lưu, chiều cao của mật độ là như nhau.
1.6 Định lý Bayes cho dữ liệu liên tục và tham số liên tục Định lý Bayes cho số liệu liên tục và tham số liên tục là: h(θ|x 1 , , x n ) = L(x 1 , , x n |θ)g(θ)
R L(x 1 , , x n |θ)g(θ)dθ 0 (1.12) ở đây h(θ|x 1 , , x n ) là hàm mật độ xác suất hậu nghiệm của θ, L(x 1 , , x n |θ)g(θ)là hàm hợp lý cho dữ liệu liên tục và g(θ) là pdf tiên nghiệm của θ Tích phân mẫu được tính trên tất cả các giá trị của θ và khác không.
Ví dụ 1.5 Dữ liệu chuẩn : trung bình chưa biết, phương sai đã biết
Công ty bảo hiểm Mutual of Phoenix muốn lực lượng bán hàng lớn hiểu về các chi tiết của bảo hiểm Công ty quyết định tổ chức một khóa học nghệ thuật bán hàng và đánh giá hiệu quả của khóa học nghệ thuật bán hàng đó.
Công ty chọn n nhân viên bán hàng tham gia bài kiểm tra kiến thức về bảo hiểm Sau đó, họ được tham gia một khóa học ba tuần, tiếp theo làm một bài kiểm tra kiến thức về bảo hiểm Cho x i là sự thay đổi về điểm số kiểm tra của nhân viên bán hàng i, i = 1, , n Các phân phối độc lập N (θ, 25) với
1.6 Định lý Bayes cho dữ liệu liên tục và tham số liên tục
Hình 1.2: beta (3, 12) tiên nghiệm đến beta (5, 13) hậu nghiệm θ phương sai được biết Đó là dự kiến từ lực lượng bán hàng của công ty như thế nào? Có nhiều cải thiện về kiến thức từ khóa học này hay không? Từ đó quyết định áp dụng định lý Bayes trong ví dụ này.
Trường hợp 1:Thông tin tiên nghiệm ít, tiên nghiệm phẳng.
Giả sử có ít thông tin hiệu quả của các khóa học này trong một khoảng thời gian khá lớn và tất cả các giá trị của θ đều có khả năng Trong thực tế, vì không biết làm thế nào để xác định khoảng thời gian khá lớn này, như xấp xỉ thay tiên nghiệm đều thích hợp này bằng một tiên nghiệm không thích hợp, một trong số đó là cố định trên đường thẳng thực Mật độ tiên nghiệm đó không thể tích phân thành một, vì vậy gọi là không thích hợp Nhìn chung là xấp xỉ tốt với mật độ tiên nghiệm đều trên phạm vi lớn Một mật độ tiên nghiệm là hằng số trên đường thẳng thực được gọi là phẳng, mơ hồ hoặc mật độ tiên nghiệm mặc định Mật độ tiên nghiệm phẳng có công thức g(θ) ∝ hằng số với ∀θ , −∞ < θ < +∞ Xấp xỉ là: g(θ) = lim a→∞ ( 1 2a ) − a < θ < a Áp dụng định lý Bayes trong công thức thích hợp: h(θ|x 1 , , x n ) ∝ L(x 1 , , x n |θ)g(θ) và kết hợp tiên nghiệm phẳng là: h(θ|x 1 , , x n ) ∝ L(x 1 , , x n |θ)
1.6 Định lý Bayes cho dữ liệu liên tục và tham số liên tục
Hàm hợp lý trong điều kiện của trung bình mẫu, lấy n = 50 Từ (¯ x|θ) ∼ N ( θ , 25/n) = N (θ, 0.5) thì mật độ hậu nghiệm trở thành: h(θ|¯ x) ∝ exp
Mật độ hậu nghiệm của θ sau phân phối:
Mặc dù sự phân phối tiên nghiệm là không thích hợp, phân phối hậu nghiệm là thích hợp và chuẩn Hơn nữa, thông tin tiên nghiệm hạn chế liên quan đến bài toán này, phân phối hậu nghiệm tại các trung bình mẫu là ước lượng hợp lý cực đại và thông tin tốt nhất Phương sai của phân phối hậu nghiệm được giảm vì kích thước mẫu lớn Trong ví dụ này, lợi thế đạt được bằng cách áp dụng công thức tỷ lệ của định lý Bayes Giả sửx ¯ = 3thì hậu nghiệm trở thành:
Mật độ hậu nghiệm được mô tả trong hình 1.3 Kết quả từ khoá học nghệ thuật bán hàng đạt được một số sự khác biệt về trung bình điểm thi có 99.7% bằng xác suất mà các thay đổi trung bình điểm thi trong khoảng (0.9, 5.1)
Hình 1.3: hậu nghiệmN(3, 0.5)cho thấy sự thay đổi về điểm số từ khóa học nghệ thuật bán hàng, tiên nghiệm phẳng.
Trường hợp 2:Phân phối chuẩn tiên nghiệm.
Giả sử công ty Mutual of Phoenix nói về các khóa học nghệ thuật bán hàng, công ty khuyên khóa học đã thử nghiệm tại một công ty cạnh tranh, thay đổi điểm thi θ theo phân phối N (5, 2). Để tìm phân phối hậu nghiệm trong trường hợp này, phân phối tiên nghiệm
1.6 Định lý Bayes cho dữ liệu liên tục và tham số liên tục của θ là N (m, σ 2 ), lúc này mật độ là: g(θ) ∝ exp
Rút gọn bình phương của θ ta được: h(θ|¯ x) ∝ exp
(0.5) −2 σ −2 + (0.5) −2 ¯ x; Đó là (θ|¯ x) ∼ N (˜ θ, τ 2 ), chúng ta thấy rằng trung bình mẫu x ¯ theo một phân phối chuẩn với trung bình θ và phương sai được biết, khi đó θ cũng tuân theo phân phối chuẩn, phân phối hậu nghiệm θ cũng là chuẩn Nếu định nghĩa chính xác số nghịch đảo của phương sai, độ chính xác hậu nghiệm τ −2 bằng tổng độ chính xác của phân phối tiên nghiệm σ −2 và độ chính xác của phân phối lấy mẫu (0.5) −2
Trung bình hậu nghiệm θ ˜ là sự kết hợp lồi hoặc trung bình trọng số của các trung bình tiên nghiệm m và với trung bình mẫu x ¯ và các trọng số là tỷ lệ chính xác tương ứng với phân phối tiên nghiệm và sự phân bố lấy mẫu tương ứng Trong ví dụ này, thấy rằng các phân phối hậu nghiệm là N (3.22, 0.22). Các bảng phân phối tiên nghiệm và hậu nghiệm được mô tả trong hình 1.4.
Ta có thể thấy từ hình 1.4 rằng khi thay đổi niềm tin tiên nghiệm θ thành niềm tin hậu nghiệm, hầu hết các giá trị θ từ giá trị là 5.0 đến giá trị 3.22.
Hơn nữa, phân phối hậu nghiệm về giá trị trung bình thay đổi từ 2.0 đến khoảng 0.2, cho thấy niềm tin sự thay đổi trung bình điểm thi bằng người cung cấp bài kiểm tra đã được giảm với các dữ liệu.
1.6 Định lý Bayes cho dữ liệu liên tục và tham số liên tục
Hình 1.4: mật độ tiên nghiệm N (5.2)đến mật độ hậu nghiệm N(3.22, 0.22)cho sự thay đổi điểm số về khóa học nghệ thuật bán hàng, tiên nghiệm chuẩn.
Ví dụ 1.6 Dữ liệu chuẩn: trung bình chưa biết, phương sai chưa biết
Giả sử dữ liệu trong một thí nghiệm theo một phân phối chuẩn với trung bình chưa biết và phương sai chưa biết Trong trường hợp đặc biệt, phương sai của các dữ liệu được biết trong ví dụ 1.5 Trong trường hợp 1, trung bình là mơ hồ hoặc phẳng và trường hợp 2, trung bình chưa biết thành một phân phối chuẩn khác Chúng ta giải quyết bài toán với dữ liệu là phân bố chuẩn trong đó trung bình chưa biết, phương sai của dữ liệu đã biết.
Giới thiệu
Chương này liên quan lựa chọn phân phối tiên nghiệm để sử dụng trong định lý Bayes Mô tả các thông tin về các quá trình cơ bản tiên nghiệm khi lấy dữ liệu? Trả lời câu hỏi này là một phần triết lý và một phần thực dụng Câu trả lời phụ thuộc vào cả hai bản chất của thông tin và hệ thống niềm tin giữa chủ quan hay khách quan đưa vào bài toán để giải quyết phân phối tiên nghiệm chủ quan và khách quan trong cả hai trường hợp đơn biến và đa biến.
Các hàm phân phối tiên nghiệm chủ quan và khách quan
Các phân phối tiên nghiệm sử dụng trong định lý Bayes không được ghi rõ trong định lý Thực tế khi định lý đã được giảng bởi Thomas Bayes, ông đã áp dụng định lý cho dữ liệu theo một phân phối nhị thức với tham số p chưa biết, xác suất thành công của một phép thử và phân phối tiên nghiệm p đều.
Nói cách khác, Bayes đã áp dụng phân phối tiên nghiệm bao hàm tất cả các giá trị của p là đều có khả năng như nhau Đây là phân phối tiên nghiệm khách quan.
Các phân phối tiên nghiệm đơn biến
Các tiên nghiệm mơ hồ
Luật phân phối tiên nghiệm biểu diễn tương ứng với thông tin về những điều chưa biết của luật đó.
Xét bài toán X| θ ∼ N (0, 1) , −∞ < θ < ∞ Các giá trị thực không đều của θ và một phân phối tiên nghiệm không thích hợp của θ trên toàn đường thẳng thực.
Ví dụ, giả sử không phân biệt tất cả các giá trị của θ nên đổi θ bằng cách làm trơn đơn giản, đơn điệu vào một khoảng và đặt một phân phối tiền nghiệm đều trên tất cả các giá trị trong một khoảng.
Bài toán nói rõ tiên nghiệm không phân biệt đến tất cả các giá trị của θ. Xét φ ≡ F (θ) (2.1)
2.3 Các phân phối tiên nghiệm đơn biến trong đó F (θ) là sự đơn điệu và không giảm của θ:
Ví dụ, F (.) là hàm phân phối tích lũy (cdf) Nếu phân phối tiên nghiệm θ đều thì mật độ là: p(φ) =
Rõ ràng, p(φ) không phân biệt với tất cả các giá trị của θ và nghịch đảo θ = F −1 (φ) là mật độ tiền nghiệm trên θ: g(θ) = dF (θ) dθ
(2.4) Chọn bất kỳ F (θ) theo định lý cơ bản về mật độ: φ ≡ F (θ) = θ
Do đó mật độ của θ là: g(θ) = 1
√ 2π e −0.5θ 2 (2.6) Hay θ ∼ N (0, 1) thì mật độ hậu nghiệm là: p(θ| X) ∝ e −0.5 (x− θ) 2 − 0.5θ 2 (2.7) θ | x ∼ N (0.5x , 0.5) (2.8)
Phân phối tiên nghiệm θ không phân biệt đối với các giá trị cụ thể của θ, do đó chúng ta có: g(θ) ∝ hằng số (2.9)
Trong đó dF (θ) dθ là hằng số hay F (θ) là hàm tuyến tính của θ Bài toán sẽ cơ bản hơn và một số dạng đại số xác suất trong đó hàm hợp lý áp dụng phân phối tiên nghiệm không không thích hợp của θ trên toàn đường thẳng thực.
Mật độ tiền nghiệm mơ hồ cho tham số trên (−∞ , ∞) Sự mơ hồ của θ là một tham số nằm trên đường thẳng thực, −∞ < θ < ∞. Chúng ta sử dụng một phân phối tiên nghiệm mơ hồ trong công thức (2.9) là công thức giới hạn của g a (θ) g(θ) = lim a→∞ g a (θ) (2.10)
2.3 Các phân phối tiên nghiệm đơn biến
Mật độ tiên nghiệm mơ hồ cho tham số trên (0 , ∞) Với một tham số dương σ và log σ là phân phối đều trên toàn đường thẳng thực Bằng phép chuyển đổi các biến (sử dụng g như nhau đến hàm mật độ trung bình ) thì mật độ tiên nghiệm trở thành: g(σ) ∝ 1 σ Và tỷ lệ: g(σ 2 ) ∝ 1 σ 2 (2.12)
Những mật độ tiên nghiệm mơ hồ này có tính chất suy luận bất biến theo cấu trúc nhóm đơn giản khác nhau Đó là tham số θ hay σ được chuyển đổi và suy luận hậu nghiệm dựa trên tham số mới phù hợp dựa trên các tham số cũ.
Họ các phân phối tiên nghiệm khách quan
Nhìn chung các phân phối tiên nghiệm là chủ quan Đem những tiên nghiệm này vào bài toán và cho phép niềm tin tiên nghiệm vừa là một phân phối trơn vừa là một thành phần trong họ riêng của các phân phối tiên nghiệm chủ quan.
Họ này được gọi là họ liên kết tự nhiên (Raiffa và Schlaifer, 1961) Một thành phần của họ như vậy đôi khi cũng được gọi là một tiên nghiệm thích hợp Sự phân phối hậu nghiệm là phân phối tiên nghiệm liên hợp tự nhiên trong cùng họ như là phân phối tiên nghiệm Một họ khác của phân phối tiên nghiệm chủ quan được gọi là phân phối mũ.
A Họ các phân phối tiên nghiệm liên hợp tự nhiên Ví dụ 2.3 Một tiền nghiệm liên hợp tự nhiên : Dữ liệu nhị thức Hàm hợp lý là nhị thức, hàm này có thể được viết:
Giả sử θ là biến ngẫu nhiên và y , n là các tham số không biết L(θ) là hạt nhân của một phân phối beta Nhưng họ tiên nghiệm beta không phụ thuộc vào cùng dữ liệu y và n, vì thế sử dụng các tham số tùy ý α và β và mật độ thích hợp thành họ mật độ tiên nghiệm beta g(θ) =
(2.14) với 0 < α , 0 < β Chúng ta sử dụng niềm tin tiên nghiệm để đánh giá các siêu tham số α và β Theo định lý Bayes thì mật độ hậu nghiệm là tỷ lệ thuận với mật độ tiên nghiệm và trong trường hợp mật độ tiên nghiệm beta thì mật độ hậu nghiệm là: h(θ| y) ∝ [θ y (1 − θ) n−y ][θ α−1 (1 − θ) β−1 ] h(θ | y) ∝ θ y + α−1 (1 − θ) n−y+β−1 (2.15)
2.3 Các phân phối tiên nghiệm đơn biến
B Họ lũy thừa mũ của phân phối tiên nghiệm Lớp các phân phối lũy thừa mũ của một tham số θ có mật độ: g(θ) = k σ exp (
Tham số β là một độ đo của hệ số nhọn dữ liệu với biến số không chuẩn của phân phối Khi β = 0 thì phân phối là chuẩn Khi β = 1 thì phân phối là hàm mũ đối với mật độ: g(θ) = 1 σ √ 2 exp
Khi β → −1 là phân phối đều trên θ 0 − σ √
3 Như vậy, giới hạn trong công thức (2.16) là: β→−1 lim g(θ) = 1
EPF như một phân phối dữ liệu Họ lũy thừa mũ của các phân phối được sử dụng như một phân phối dữ liệu.
Lớp lũy thừa mũ có mật độ cho biến X ngẫu nhiên quan sát liên tục có công thức: f (x | θ, τ, α) = K τ exp (
∞ , −∞ < θ < ∞. Giả sử α được biết, θ và τ là tiên nghiệm độc lập được áp dụng một mật độ tiên nghiệm mơ hồ (θ , τ ) của công thức g(θ , τ ) ∝ 1 τ Mật độ hậu nghiệm (θ , τ ) được nghiên cứu bởi Box và Tiao (1973, p 160 ff.)
Các họ phân phối tiên nghiệm hỗn hợp Ví dụ 2.4 Nhị thức
Giả sử phân phối dữ liệu là nhị thức với xác suất thành côngθ và n phép thử với hàm hợp lý trong công thức (2.13) Mật độ tiên nghiệmθ là một hỗn hợp của mật độ beta: g(θ) = m
X i=1 π i B(α i , β i ) θ x i −1 (1 − θ) β i −1 (2.21) với 0 ≤ π 1 ≤ 1 , X m i=1 π i = 1 , 0 < α i , 0 < β i và 0 < θ < 1 Các π i là các tham số hỗn hợp và có mật độ beta m trong hỗn hợp Theo định lý Bayes
2.3 Các phân phối tiên nghiệm đơn biến thì mật độ hậu nghiệm của θ là một hỗn hợp của mật độ beta: h(θ|r) = m
, α ∗ i = α i + r, β i ∗ = β i + (n − r) (2.23) và r là số thành công trong n phép thử.
Nếur = 3 vàn = 10,(π 1 ∗ , π 2 ∗ , π 3 ∗ ) = (0.77 , 0.16 , 0.07) , (α ∗ 1 α ∗ 2 α ∗ 3 ) = (13 , 18 , 23) và (β 1 ∗ β 2 ∗ β 3 ∗ ) = (27 , 22 , 17).Sự phân bố này là nhiều mốt.
Các họ mũ Một kết quả thích hợp cho các họ mũ là dưới đây Xétx ≡ (x 1 , , x n ) là một mẫu ngẫu nhiên từ một họ mũ đều với mật độ: p(x|θ) =
Theo mật độ tiên nghiệm hỗn hợp: q(θ|τ 1 , , τ m ) = m
(2.26) là những thành phần của họ phân phối liên hợp tự nhiên và τ i là một vector của tham số τ i ≡ (τ il ) với mỗi i Áp dụng định lý Bayes thì mật độ hậu nghiệm là: p ∗ (θ| x) = m
Do đó, mật độ hậu nghiệm hỗn hợp cũng là mật độ tiên nghiệm hỗn hợp.
Nhìn chung, mật độ tiên nghiệm bất kỳ với một tham số họ mũ có thể gần xấp xỉ như một hỗn hợp (xem Dalal và Hall, 1983; Diaconis và Ylvisaker,1985).
2.3 Các phân phối tiên nghiệm đơn biến
Các phân phối tiên nghiệm dựa vào dữ liệu
A Các tiên nghiệm lịch sử Giả sử x 1 , , x n là các biến ngẫu nhiên độc lập cùng phân bố xác suất từ phân phối mũ với mật độ f(x| θ) = θ exp {−θx} Nếu tiên nghiệm mơ hồ là g(θ) ∝ 1/θ thì mật độ hậu nghiệm của θ là: h(θ| x) ¯ ∝ θ n−1 exp {−n xθ} ¯ (2.30)
Với tập dữ liệu mớiy 1 , , y m là các biến ngẫu nhiên độc lập cùng phân bố xác suất f (x| θ) Thông tin tốt nhất về θ trong công thức (2.30) và do đóh (θ| x) ¯ trong công thức (2.30) là tiên nghiệm.
Lúc này hậu nghiệm là: h ∗ (θ| x, ¯ y) ¯ ∝ θ m+n−1 exp {−θ (n x ¯ + m y)} ¯ (2.31) mật độ trong cùng họ phân phối (gamma) nhưng dựa trên một tập tương đương (m + n) Vì vậy, kinh nghiệm dựa vào niềm tin hậu nghiệm và toàn bộ các dữ liệu để tăng kích thước mẫu.
g-các phân phối tiên nghiệm
Một biến của họ tiên nghiệm liên kết tự nhiện được sử dụng trong bài toán hồi quy là họ phân phối tiên nghiệm g (Zellner ,1986) Họ này có công thức thực nghiệm tạo ra dữ liệu quan sát.
(y|X) = Xβ + u (2.32) là một hồi quy đơn biến, trong đó n × 1là biến quan sát độc lập, β là hệ số hồi quy chưa biết cấpk × 1,ulà sai số cấpn × 1vớiE(u) = 0 , var (u) = σ 2 I n , In là ma trận đồng nhất cấp n và X là một ma trận độc lập cấp n × k Họ phân phối tiên nghiệm g: g(β , σ) = g 1 (β| σ)g 2 (σ) (2.33) với (β| σ) là tiên nghiệm trở thành phân phối chuẩn và tiên nghiệm mơ hờ là σ.
Và g 2 (σ) ∝ 1 σ (2.35) ở đây (g , β ¯ ) là siêu tham số với g > 0. Thông tin về thí nghiệm trongg 1 (β| σ)qua
Suy luận vềβ hayσ trong hồi quy trên được thực hiện từ mật độ hậu nghiệm biên dựa trên tiên nghiệm này Một quy trình đánh giág dựa trên một “ khái niệm mẫu” tìm thấy trongZelIner (1985).
2.4 Các phân phối tiên nghiệm cho vector và ma trận tham số
Đánh giá điểm phân vị của phân phối xác suất tiên nghiệm khách quan
Giả sử đánh giá điểm phân vị riêng phân phối chủ quan cho một tham số không quan sát được θ là một vô hướng Trong trường hợp này, chúng ta đánh giá siêu tham số của một họ trong bảng phân phối là sự thích hợp.
Các phân phối tiên nghiệm cho vector và ma trận tham số
Các phân phối tiên nghiệm mơ hồ cho tham số trên (0 , ∞ )
Giả sử rằng X ≡ (X i ) là một biến ngẫu nhiên p chiều độc lập và phương sai var (X i ) = σ i 2 , 0 < σ i 2 < ∞ Nếu D ≡ diag (σ 1 2 , , σ 2 p ) là ma trận đường chéo thìap × p có phần tử chéo ith bằng σ i 2 và nếu phương sai là độc lập với nhau thì mật độ tiên nghiệm mơ hồ của tham số D là: g(D) = g (σ 1 2 , , σ p 2 ) = p
Trong công thức (2.38), D > 0 là các ma trận D không âm (số đặc trưng của ma trận là không âm ) và |D| là định thức của ma trận D Kết quả này cho các tham số đơn biến trong công thức (2.12) vào vector hoặc ma trận đa biến mà các thành phần là dương và xác định trên nửa vô hạn (0 , ∞).
Khái niệm phân phối tiên nghiệm mơ hồ của ma trận hiệp phương sai là Σ : ( p × p) Lưu ý Σlà đối xứng (Σ = Σ 0 ) trong đópphần tử trong hàng đầu tiên,(p − 1)phần tử còn lại ở hàng thứ hai, (p − 2)phần tử còn lại ở hàng thứ
2.4 Các phân phối tiên nghiệm cho vector và ma trận tham số ba Do đó, bằng cách cộng vào các hàng thì tổng p(p + 1)/2 phần tử trong ma trận hay nhóm (p + 1)/2 của p phần tử Công thức tổng quát (2.38) của ma trận hiệp phương sai Σ là|Σ| Ma trận hiệp phương sai Σ là dạng mật độ tiên nghiệm mơ hồ Σ: gX
Ví dụ mật độ tiên nghiệm này cho ma trận hiệp phương sai trong phân phối chuẩn nhiều chiều khi Σ > 0 Số mũ của |Σ|cho công thức (2.39) là giả thuyết đầu tiên của Geisser và Cornfield 1963
Phân phối tiên nghiệm bất biến Jeffrey : suy luận Bayes khách quan trong phân phối chuẩn
quan trong phân phối chuẩn
Jeffreys (1961) cho rằng một điều kiện hợp lý để phát triển phân phối tiên nghiệm do xác suất được thực hiện về các biến ngẫu nhiên quan sát bất biến theo những thay đổi trong các tham số của bài toán Jeffreys cho một vector tham số ngẫu nhiênδ : (p × 1)hay một ma trận tham số ngẫu nhiênδ : (p × p) đưa ra cho mật độ tiên nghiệm có dạng: g(δ ) ∝ |J | 0.5 (2.40) Ở đây J ≡ (J ij ) là ma trận thông tin vuông Fisher kết hợp với hàm hợp lý của dữ liệu Nếu f (x 1 , ,x n | δ) là một hàm hợp lý cho dữ liệu x 1 , , x n thì x i là vector p chiều của dữ liệu với mỗi i ( p có thể là bằng 1 ), các thành phần của J được định nghĩa dưới đây:
Nếu dữ liệu là một mẫu từ phân phối chuẩn nhiều chiều với vector trung bình θ, ma trận hiệp phương sai Σthì θvà Σ là một độc lập tiên nghiệm với δ ≡ (θ, Σ) Do đó tiên nghiệm bất biến Jeffrey là mật độ tiên nghiệm mơ hồ trong công thức (2.36) và công thức (2.39) g(δ ) ≡ g (θ ,X
(2.42)Khi ma trận thông tin không phải là đường chéo, Jeffreys áp dụng điều kiện bất biến cho mỗi tham số vô hướng độc lập.
2.4 Các phân phối tiên nghiệm cho vector và ma trận tham số
Ví dụ 2.5 Số liệu chuẩn một chiều ( hai tham số chưa biết) A Mật độ tiên nghiệm mơ hồ
Ví dụ 1.5 chúng ta đã xem xét trường hợp dữ liệu mẫu là phân phối chuẩn với phương sai chung được biết có một tham số chưa biết Trường hợp hai tham số đó có dữ liệu phân phối chuẩn nhưng trung bình và phương sai đều chưa biết Giả sử rằng x 1 , , x n là một mẫu dữ liệu cùng với các biến ngẫu nhiên độc lập cùng phân phối xác suất (i.i.d), N (θ , σ 2 ) Tìm phân phối hậu nghiệm ứng với một phân phối tiên nghiệm mơ hồ.
Hàm mật độ đồng thời của dữ liệu là: f(x 1 , , x n | θ, σ 2 ) = n
(2.43) Vì thế hàm hợp lý là:
Từ công thức (2.9) và công thức (2.12) và các tham số của một tiên nghiệm độc lập thì mật độ tiên nghiệm mơ hồ ứng với (θ , σ 2 ) là: g(θ, σ 2 ) ∝ 1 σ 2 (2.45)
Theo định lý Bayes thì mật độ hậu nghiệm liên hợp của (θ , σ 2 ) là: h(θ, σ 2 |data) ∝ 1
Chúng ta nhận được hậu nghiệm biên của θ bằng cách tích phân công thức (2.46) ứng với σ 2 Đó là mật độ hậu nghiệm biên của θ: h 1 (θ|data) ≡
Thay công thức (2.46) vào công thức (2.47) và tích phân ta được: t = 1 σ 2 n
Tích phân trên là hằng số, không phụ thuộc vàoθ Do đó chúng ta nhận được h 1 (θ| data) ∝ 1 n P i=1
2.4 Các phân phối tiên nghiệm cho vector và ma trận tham số
Chú ý rằng x ¯ là trung bình mẫu và s 2 = 1 n n
(x i − x) ¯ 2 + n(θ − x) ¯ 2 (2.49) và khi thành phần tích chéo triệt tiêu thì mật độ hậu nghiệm biên của θ là: h 1 (θ|data) ∝ 1 n 1 + θ−x s 2 o0.5[(n−1)+1] (2.50) hạt nhân của phân phối t-Student tại x ¯ với (n − 1) mức tự do Vì vậy, hậu nghiệm biên về θ được thực hiện từ phân phối t-Student trong công thức (2.50).
Bằng cách tích phân công thức (2.46) ứng với θ, chúng ta được mật độ hậu nghiệm biên của σ 2 Kết quả này là một phân phối gamma đảo Đó là một hậu nghiệm(1/σ 2 )theo phân phối gamma Kết quả được sử dụng cho các hậu nghiệm biên về σ 2 Mật độ hậu nghiệm biên của σ 2 là: h 2 (σ 2 |data) ∝ exp
B Mật độ tiên nghiệm Jeffreys Mật độ tiên nghiệm sử dụng trong ví dụ này để tìm ra mật độ hậu nghiệm cho dữ liệu phân phối chuẩn Dựa vào phần A bằng niềm tin mơ hồ như một giới hạn của mật độ tiên nghiệm đồng nhất với khoảng hữu hạn của θ cũng như giới hạn hữu hạn đến vô cực và tương tự đối với log σ.
Nếu δ ≡ (θ , σ 2 )thì mật độ tiên nghiệm Jeffrey làg(δ ) = g (θ, σ 2 ) ∝ |J | 0.5 , ở đây J = (J i j ) là ma trận thông tin Fisher đối xứng cấp 2 × 2
2.4 Các phân phối tiên nghiệm cho vector và ma trận tham số
∝ 1 σ 3 (2.55) Đây là kết quả cho mật độ tiên nghiệm bất biến Jeffrey không xét hai tham số độc lập.
Giả sử rằng σ 2 là hằng số được biết, mặc dù θ chưa biết Trong trường hợp này J là vô hướng và J = J 1 1 = hằng số thì mật độ tiên nghiệm Jeffreys là: g(θ) ∝ hằng số (2.56)
Giả sử rằngθlà hằng số được biết nhưngσ 2 là chưa biết thìJ = J 2 2 = 1/(2σ 4 ) và tiên nghiệm Jeffrey liên kết trở thành: g(θ 2 ) ∝ 1 σ 2 (2.57)
Kết hợp các thành phần cho tham số, giả sử θ và σ 2 là độc lập g(θ , σ 2 ) ∝ 1 σ 2 (2.58)
Ví dụ 2.6 Số liệu chuẩn đa chiều ( hai tham số chưa biết) Trong ví dụ này chúng ta tìm phân phối hậu nghiệm từ phân phối dữ liệu chuẩn nhiều chiều của phân phối tiên nghiệm mơ hồ Giả sử (X 1 , , X n ) là i.i.d Mẫu các vector p chiều theo sau phân phối chuẩn p chiều là N (θ , Σ). Hàm mật độ dữ liệu là : f(x 1 , ,x n | θ, X
(2.60) Giả sửΣlà ma trận hằng được biết Sử dụng phép vi phân vector và đạo hàm vô hướng Lứng vector θ là vector ∂L/∂θ của đạo hàm Lứng với phần tử của vector θ = (θ i ) , i = 1 , , p
Ma trận thông tin là hằng số và tiên nghiệm bất biến Jeffrey θ là: g(θ) ∝ hằng số (2.63)
2.4 Các phân phối tiên nghiệm cho vector và ma trận tham số
Giả sử θ là vector hằng được biết, viết L trong công thức thích hợp:
) (2.64) mà “tr” là vết của ma trận vuông và tham số hóa các số hạng của ma trận Λ ≡ Σ −1 , đạo hàm cấp 2 của L tương ứng Λ ≡ (λ i j ) là
Jacobian từ Λ đến Σ là |Σ| −(p+1) thì mật độ tiên nghiệm bất biến Σ là: g (X
Nếu θ và Σ là tiên nghiệm độc lập thì mật độ tiên nghiệm bất biến là: g(θ , X
Giới thiệu
Chương này giải thích thủ tục ước lượng số lượng chưa biết kết hợp với phân phối xác suất từ định lý Bayes Kiểm tra các phân phối khác nhau từ khái niệm đơn biến và đa biến, ước lượng điểm và ước lượng khoảng bao gồm khoảng tin cậy và khoảng mật độ hậu nghiệm cao nhất Chúng ta giải quyết phân phối dữ liệu rời rạc và liên tục.
Ước lượng Bayes một chiều
Phân phối nhị thức
Tiên nghiệm mơ hồ Đặt X là số thành công trong n phép thử Bernoulli độc lập mà mỗi phép thử là thành công hay thất bại và xác suất thành công trên một phép thử đơn là θ , 0 < θ < 1 Hàm khối xác suất X là: f(x| θ , n) = n x θ x (1 − θ) n−x 0 < θ < 1 (3.1)
Với x = 0 , 1 , 2 , , n và f là khác không, hàm mật độ xác suất tiên nghiệm mơ hồ θ là: g(θ ) = 1 0 < θ < 1 (3.2)
Và g(θ ) = 0 , θ / ∈ ( 0 , 1 ) Hàm mật độ xác suất hậu nghiệm (pdf) của θ theo định lý Bayes là: h (θ | x, n) ∝ θ x (1 − θ ) n−x (3.3) Hạt nhân phân phối β, do đó mật độ đầy đủ là: h(θ| x , n) = 1
3.2 Ước lượng Bayes một chiều Ước lượng điểm θ là θ ˆ = E (θ| x , n) = x + 1
Tiên nghiệm liên hợp tự nhiên Mật độ tiên nghiệm liên hợp tự nhiên cho θ được cho trong công thức hạt nhân mật độ beta: g(θ) ∝ θ α−1 (1 − θ) β−1 , 0 < α , 0 < β , 0 < θ < 1 (3.6) α và β là siêu tham số phải được đánh giá Vì vậy giả định là được biết đến.
Nhân công thức (3.6) với công thức (3.1) và bỏ hệ số nhị thức ta được một hằng số tỉ lệ và hạt nhân mật độ hậu nghiệm: h (θ| x , n , α , β ) ∝ θ (x+α)−1 (1 − θ) (n−x+β)−1 (3.7)
Trong trường hợp của tiên nghiệm mơ hồ, chúng ta nhận thấy hạt nhân này như là của một phân phối beta nhưng lần này sự phân phối có các tham số (x + α , n − x + β), vì vậy phân phối beta hậu nghiệm hoàn chỉnh có mật độ là: h(θ | x , n , α , β) = 1
B(x + α , n − x + β) θ (x+α)−1 (1 − θ) (n−x+β)−1 (3.8) Trong trường hợp này, ước lượng Bayes θ là: θ ˆ = E (θ| x , n , α , β) = x + α
Lưu ý rằng nếuα = β = 1 thì ước lượng điểm Bayes trong liên hợp tự nhiên và mơ hồ (công thức (3.5) và (3.9)) trở nên đồng nhất.
Phân phối Poisson
Giả sử số biến cố trong một khoảng thời gian nhất định là X Hàm khối xác suất X sau phân phối Poisson với tham số θ là: f (x| θ) = e −θ θ x x! , x = 0 , 1 , 2 , 0 < θ (3.10)
Tiên nghiệm mơ hồ Một mật độ tiên nghiệm mơ hồ θ được cho bởi mật độ không thích hợp: g(θ) ∝ 1 θ (3.11)
Hạt nhận pdf cho θ trong công thức (3.10) và (3.11) là: h(θ | x) ∝ θ x−1 e −θ (3.12)
Hạt nhân của phân phối hậu nghiệm gamma với mật độ xác suất: h(θ| x) = e −θ θ x−1 Γ(x) , 0 < θ < ∞ (3.13)
3.2 Ước lượng Bayes một chiều Ước lượng Bayes θ là trung bình hậu nghiệm: θ ˆ = E (θ | x) = x (3.14)
Lưu ý rằng giá trị trung bình mẫu được đưa ra bởi các kết quả đối ứng E(X | θ) = θ.
Tiên nghiệm liên hợp tự nhiên Mật độ tiên nghiệm liên hợp tự nhiên cho θ là mật độ gamma là : g(θ) ∝ θ α−1 e −βθ , 0 < α , 0 < β , 0 < θ < ∞ (3.15)
Nhân công thức (3.10) vào công thức (3.15) ta được hạt nhân của mật độ hậu nghiệm: h(θ| x , α , β) ∝ θ x+α−1 e −(β+1)θ (3.16) Mật độ hậu nghiệm hoàn chỉnh là: h(θ| x , α , β) = (β + 1) x+α θ x+α−1 e −(β+1)θ Γ(x + α) , 0 < θ < ∞ (3.17) Ước lượng Bayes θ là trung bình hậu nghiệm: θ ˆ = E(θ | x , α , β) = x + α
Phân phối nhị thức âm
Hàm khối xác suất (pmf) là phân phối của số lượng thất bại X và r là thành công trong phép thử Bernoulli độc lập mà θ là xác suất thành công của phép thử đơn f(x| θ , r) = x + r − 1 r − 1 θ r (1 − θ) x , x = 0 , 1 , 0 < θ < 1 (3.19)
Tiên nghiệm mơ hồ Tiên nghiệm mơ hồ θ là mật độ tiên nghiệm đồng nhất: g(θ) = 1 , 0 < θ < 1 (3.20)
Hạt nhân của phân phối hậu nghiệm θ là: h(θ| x , r) = θ (r+1)−1 (1 − θ) (x+1)−1 (3.21) Và phân phối hậu nghiệm beta đây đủ là: h (θ | x , r) = 1
3.2 Ước lượng Bayes một chiều
Tiên nghiệm liên hợp tự nhiên Một tiên nghiệm liên hợp tự nhiênθ là hạt nhân phân phối tiên nghiệm beta: g(θ) ∝ θ α−1 (1 − θ) β−1 , 0 < α , 0 < β , 0 < θ < 1 (3.24) Hạt nhân mật độ hậu nghiệm là: h (θ|x , r, α , β) ∝ θ (r+α+1)−1 (1 − θ) (x+β+1)−1 (3.25) Và phân phối hậu nghiệm đầy đủ là mật độ beta: h(θ| x , r , α , β) = 1
Phân phối chuẩn một chiều ( trung bình chưa biết nhưng phương sai đã biết)
ChoX 1 , , X N là các phân phối độc lập và đồng nhất từ phân phối N (θ , σ 2 ). Giả sử phương sai σ 2 = σ 0 2 là một lượng đã biết.
Tiên nghiệm mơ hồ Giả sử có ít thông tin về trung bình chưa biết θ với một khoảng lớn về giá trị θ, áp dụng mật độ tiên nghiệm đồng nhất θ trên khoảng lớn, làm thế nào để xác định điểm cuối trong khoảng lớn này, xấp xỉ thay thế tiên nghiệm đều và thích hợp bằng tiên nghiệm không thích hợp, đó là hằng số trên đường thẳng thực Mật độ tiên nghiệm như vậy không thể tích hợp thành một, vì vậy được gọi là không thích hợp Nhìn chung một xấp xỉ tốt đến mật độ tiên nghiệm đều trên một phạm vị rộng Mật độ tiên nghiệm như vậy là hằng số trên đường thẳng thực gọi là flat (phẳng), mơ hồ, không thông tin, khuếch tán hoặc mật độ tiên nghiệm mật định Mật độ tiên nghiệm phẳng có công thức: g(θ) ∝ hằng số (3.28) với mọi θ , −∞ < θ < +∞ Xấp xỉ là: g(θ) = lim a→∞
Hạt nhân của mật độ hậu nghiệm là kết quả của mật độ hợp và tiên nghiệm: h (θ | x 1 , , x n ) ∝ l(x 1 , , x n | θ) g(θ) (3.29) Và thay thế công thức (3.28) là: h(θ| x 1 , , x n ) ∝ l(x 1 , , x n | θ) (3.30)
3.2 Ước lượng Bayes một chiều
Hàm hợp lý trong một thành phần của trung bình mẫu là đầy đủ ( ¯ X| θ ) ∼ N (θ , σ 0 2 /n) l(x 1 , , x n | θ) = l(¯ x| θ) = exp
(3.31) Thay thế công thức (3.31) vào công thức (3.30) ta được: h(θ| x) ¯ ∝ exp
Công thức (8.32) cho thấy rằng mật độ hậu nghiệm θ theo sau phân phối:
Phân phối tiên nghiệm chuẩn Giả sử thông tin cũ θ được cho Để tìm phân phối hậu nghiệm trong trường hợp này, ta sử dụng thông tin đã biết cho phân phối tiên nghiệm Nếu phân phối tiên nghiệm θ là N (m , τ 2 ) và (m , τ 2 ) được biết từ thông tin lịch sử, mật độ tiên nghiệm là: g(θ) ∝ exp
Hàm hợp lý trong công thức (3.31) nhân với công thức (3.34) được hạt nhân mật độ hậu nghiệm: h(θ| x , m , τ ¯ ) ∝ exp
(3.35) Bình phương θ trong mũ của công thức (3.35) là: h(θ| x , m , τ) ¯ ∝ exp
! ¯ x (3.38) Đó là(θ | x , m , τ ¯ ) ∼ N (¯ θ , ω 2 )và trung bình mẫux ¯tuân theo phân phối chuẩn với trung bình θ và phương sai được biết Khi tiên nghiệm θ cũng tuân theo phân phối chuẩn thì phân phối hậu nghiệm θ là chuẩn với một hàm tuyến tính của trung bình tiên nghiệm và trung bình mẫu Hơn nữa, nếu xác định độ chính xác của một phân phối là nghịch đảo của phương sai thì độ chính xác hậu nghiệm1/ω 2 là tổng độ chính xác của các phân phối tiên nghiệm 1/τ 2
3.2 Ước lượng Bayes một chiều và độ chính xác của việc phân phối mẫu n/σ 0 2 Ước lượng Bayes θ là trung bình hậu nghiệm θ ˜ trong đó sự kết hợp lồi hoặc trọng số của trung bình tiên nghiệm m và trung bình mẫu x ¯ mà trọng số là tỷ lệ chính xác ứng với phân phối tiên nghiệm và phân phối mẫu.
Cho h prior là độ chính xác của phân phối tiên nghiệm với h prior = 1/τ 2 và cho h data là độ chính xác của phân phối dữ liệu với h data = n/σ 0 2 Nếu h total là tổng số chính xác thì h total = h prior + h data , do đó ước lượng Bayesθ là: θ ˆ Bayes = ˜ θ = h prior h total m + h data h total ¯ x (3.39)
Lưu ý: Nếu định nghĩa α(h prior /h total ) thì công thức (3.39) là: θ ˜ = (α)m + (1 − α)¯ x ở đây 0 ≤ α ≤ 1
Phân phối chuẩn một chuẩn ( trung bình chưa biết và phương sai chưa biết)
Giả sử dữ liệu trong thực nghiệm là một phân phối chuẩn với trung bình chưa biết và phương sai chưa biết Giả sử X 1 , , X n là các quan sát độc lập, phân phối đồng nhấtN (θ , h −1 )trong đó h là chính xác Hàm hợp lý cho dữ liệu là: f (x 1 , , x n | θ , h) ∝ h 0.5n exp
(x i − x) ¯ 2 thì hàm hợp lý được viết: f(x 1 , , x n | θ , h) ≡ l(¯ x, s 2 | θ , h) = h 0.5n exp
(3.41) Định lý Bayes cho mật độ hậu nghiệm là: q(θ , h| data) ∝ l(¯ x, s 2 | θ, h)g(θ, h) (3.42) Ở đây mật độ tiên nghiệm là g(θ, h)
Phân phối tiên nghiệm mơ hồ Hàm mật độ tiên nghiệm mơ hồ ứng với (θ , h) có dạng: g(θ, h) = g 1 (θ)g 2 (h) (3.43)
3.2 Ước lượng Bayes một chiều ở đây g 1 (θ) ∝ hằng số và g 2 (h) ∝ 1/h Đó là θ và h là tiên nghiệm độc lập, chúng ta áp dụng tiên nghiệm phẳng của θ và tiên nghiệm phẳng của [ln h] là g 2 (h) ∝ 1/h Do đó tiên nghiệm mơ hồ (θ , h) ứng với mật độ không thích hợp: g(θ, h) ∝ 1 h (3.44)
Thay thế công thức (3.41) và công thức (3.44) vào công thức (3.42) ta được mật độ hậu nghiệm đồng thời: q(θ, h| data) ∝ h 1 h i
Mật độ hậu nghiệm đồng thời được viết: q(θ, h| data) ∝ h 1 h i h 0.5n exp
Viết lại công thức này dưới dạng công thức dễ nhận biết hơn q(θ, h| data) = q 1 (θ| h , data)q 2 (h| data)
(3.46) Phân phối hậu nghiệm điều kiện(θ| h , x , s ¯ 2 ) ∼ N (¯ x , 1/hn)và nếuh ≡ 1/ hσ 2 thì: θ| σ 2 , x , s ¯ 2
Phân phối hậu nghiệm biên của h là gamma [(n − 1)/2 , 2/{(n − 1)s 2 }] Do đó mật độ hậu nghiệm là: r(h| x , s ¯ 2 ) ∝ h 0.5(n−1)−1 exp
−0.5h(n − 1)s 2 (3.48) Nếu Z tuân theo phân phối gamma (a , b) thì có mật độ: r(z) = 1 b a Γ(a) z a−1 exp {−z/b} , 0 < z < ∞ (3.49)
Hơn nữa E(Z) = ab và var (Z) = ab 2 Kế tiếp tìm mật độ hậu nghiệm biên của θ bằng cách tích phân theo h từ công thức (3.46). p(θ| data) =
Với A = 0.5 [(n − 1)s 2 + n(θ − x) ¯ 2 ] và A không phục thuộc vào h Thay đổi biến trong công thức (3.50) bằng cách đặt t = hA thì: p (θ| data) ∝ 1
3.2 Ước lượng Bayes một chiều
Tích phân trên là một hằng số ( hàm gamma), chúng ta nhận được: p(θ| data) ∝ 1
Chúng ta thấy hạt nhân này như phân phối t-Student Phân phối hậu nghiệm biên củaθ là t-Student tại trung bình mẫu với (n − 1)bậc tự do Trong trường hợp phương sai đã biết dữ liệu khi dữ liệu là phân phối chuẩn và sự phân phối tiên nghiệm trên các tham số là mơ hồ.
Chú ý: Phân phối t-Student có mật độ f 0 (t) = c
{n + t 2 } 0.5(n+1) , −∞ < t < ∞ mà c = n 0.5n B(0.5 , 0.5n) và B là hàm beta Dạng tổng quát của phân phối này có hàm mật độ là: f (t) = cσ −1 n n + t−θ σ 2 o0.5(n+1)
Phân phối tiên nghiệm liên hợp tự nhiên Phân phối tiên nghiệm liên hợp tự nhiên (θ, h) : (θ | h) ∼ N (θ 0 , Kh −1 ) và (θ 0 , K , a , b) là siêu tham số (tham số của phân phối tiên nghiệm từ các thông tin tiên nghiệm ) Trong phân phối gamma a → 0 và b → ∞ thì mật độ tiên nghiệm mơ hồ là mật độ tiên nghiệm liên hợp tự nhiên đồng thời: g(θ, h) = g 1 (θ| θ 0 , K , h)g 2 (h| a, b)
2b sau khi kết hợp các thành phần thì mật độ tiên nghiệm liên hợp tự nhiện đồng thời: g(θ, h) ∝ h 0.5(2a−1) expn
2b o (3.53) θ và h không độc lập Thay thế hàm hợp lý và tiên nghiệm liên hợp tự nhiên vào định lý Bayes cho mật độ hậu nghiệm đồng thời: h θ, h| x , s ¯ 2 , n , θ 0 , a , b , K
Kết hợp các thành phần ta được: h(θ , h| x , s ¯ 2 , n, θ 0 , a , b , K) ∝ h 0.5(2a+n−1)
3.2 Ước lượng Bayes một chiều
Bình phương θ trong số mũ của công thức cuối và đưa về dạng tích ta được: h(θ, h| x , s ¯ 2 , n , a , b , K) ∝ h h 0.5 expn
−0.5h n + 1 K θ − θ ˜ 2 oi h h 0.5(2a+n−2) exp {−0.5hλ}i (3.56) Ở đây θ ˜ ≡ n x ¯ + (θ 0 /K) n + (1/K) (3.57) và λ = (n/K) n + (1/K) (¯ x − θ 0 ) 2 + (n − 1)s 2 + (1/b) (3.58) Nếu σ 2 ≡ (1/h) thì phân phối hậu nghiệm có điều kiện của θ | h là:
(3.59) và phân phối hậu nghiệm của h là gamma [0.5(2a + n) , (2/λ)] Mật độ hậu nghiệm liên hợp và tiên nghiệm liên hợp là cùng họ được đặt tên là họ gamma chuẩn Lưu ý công thức (3.57) và công thức (3.59) là phương sai được biết, trung bình hậu nghiệm có điều kiện là kết hợp lồi của trung bình tiên nghiệm và trung bình mẫu Tìm phân phối hậu nghiệm biên θ bằng cách tích phân từ công thức (3.56)
Mật độ hậu nghiệm biên của θ là: p θ| ˜ x , s ¯ 2 , n , θ 0 , a , b , K
Thay đổi biến trên và tích phân, ta được: p(θ| ˜ x , s ¯ 2 , n , θ 0 , a , b, K ) ∝ 1
(3.62) Bình phương θ trong công thức (3.62) ta được: p(θ| ˜ x , s ¯ 2 , n , θ 0 , a , b, K) ∝ 1 n α 2 + (θ − θ) ˜ 2 o0.5(2a + n+1) (3.63) Ước lượng Bayes θ là trung bình hậu nghiệm biên của θ ¯ θ ˜ ≡ n n + (1/K) ¯ x +
Ước lượng Bayes nhiều chiều
Phân phối đa thức
Giả sử số kết quả của một thí nghiệm là p Các thí nghiệm lặp đi lặp lại độc lập n lần Cho X j là số lượng các thí nghiệm có kết quả j với j = 1 , , p. Trong đó X 1 + + X p = n Cho θ j là xác suất của thí nghiệm bất kỳ lại có kết quả lặp lại j lần với j = 1 , , p Trong đó θ 1 + + θ p = 1 ; 0 < θ j
