DSpace at VNU: Phương pháp VB và ứng dụng

DSpace at VNU: Phương pháp VB và ứng dụng tài liệu, giáo án, bài giảng , luận văn, luận án, đồ án, bài tập lớn về tất cả...

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ——————————— Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NÔI ĐẠI HỌC KHOA HỌC TỰ NHIÊN ——————————— Đỗ Thị Len PHƯƠNG PHÁP VB VÀ ỨNG DỤNG Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Trần Mạnh Cường HÀ NỘI - 2016 Lời cảm ơn Luận văn hoàn thành với hướng dẫn tận tình nghiêm khắc TS Trần Mạnh Cường Trước trình bày nội dung luận văn, tác giả muốn bày tỏ lòng biết ơn chân thành sâu sắc tới người thầy đáng kính Thầy ln tận tình hướng dẫn giải đáp thắc mắc tác giả suốt trình làm luận văn Tác giả muốn gửi tới toàn thể thầy Khoa Tốn - Cơ - Tin học trường Đại học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội, thầy cô đảm nhận giảng dạy khóa Cao học 2014 - 2016, đặc biệt thầy tham gia giảng dạy nhóm Xác suất thống kê 2014 - 2016 lời cảm ơn chân thành công lao dạy dỗ suốt thời gian khóa học Tác giả xin cảm ơn gia đình, bạn bè, đồng nghiệp anh chị em nhóm Xác suất thống kê 2014 - 2016, thành viên nhóm Seminar thầy Trần Mạnh Cường phụ trách chủ đề liên quan đến Thống kê Bayes quan tâm, giúp đỡ, tạo điều kiện động viên tinh thần để tác giả hồn thành khóa học Tác giả xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2016 Học viên Đỗ Thị Len Mục lục Lời cảm ơn Lời mở đầu Thống kê Bayes Thống kê Bayes 1.1 Giới thiệu 1.2 Một số phân phối thường dùng 1.3 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức 14 1.3.1 Tiên nghiệm 14 1.3.2 Hậu nghiệm 15 1.3.3 Ước lượng 15 1.3.4 Kiểm định giả thiết 16 1.4 Suy luận Bayes cho kỳ vọng phân phối Gaussian 17 1.4.1 Tiên nghiệm 17 1.4.2 Hậu nghiệm 17 1.4.3 Ước lượng 18 1.4.4 Kiểm định giả thiết 19 1.5 Hồi quy Bayes 20 1.5.1 Suy luận Bayes cho mơ hình hồi quy tuyến tính Bayes đơn 21 1.5.2 Mơ hình hồi quy tuyến tính Bayes bội 25 1.5.3 Mơ hình hồi quy Logistic Bayes 27 MỤC LỤC MỤC LỤC Phương pháp VB 30 2.1 Nguồn gốc toán học 30 2.2 Xấp xỉ phân phối hậu nghiệm 32 2.2.1 Xấp xỉ phân phối hậu nghiệm biến Z độc lập khối 32 2.2.2 Xấp xỉ địa phương - Tham số biến phân 34 2.3 Áp dụng phương pháp VB cho phân phối Gaussian 36 2.3.1 Phân phối Gaussian chiều 36 2.3.2 Phân phối đa thức Gaussian 40 2.4 Áp dụng phương pháp VB cho mơ hình hồi quy Bayes 47 2.4.1 Mơ hình hồi quy tuyến tính Bayes 47 2.4.2 Mơ hình hồi quy Logistic Bayes 52 Ứng dụng 59 3.1 Phân phối hậu nghiệm không thuộc họ phân phối biết 59 3.1.1 Bài toán 60 3.1.2 Thuật toán 63 3.1.3 Code chạy phần mềm mathlab 63 3.1.4 Kết 66 3.2 Phân phối hậu nghiệm thuộc họ phân phối biết 67 3.2.1 Bài toán 67 3.2.2 Thuật toán 71 3.2.3 Code chạy phần mềm mathlab 71 3.2.4 Kết 73 Kết luận 75 Lời mở đầu Hiện nay, thống kê có hai trường phái: Thống kê tần suất thống kê Bayes Thống kê tần suất đời trước phương pháp phổ biến Nó dựa kết quan sát mẫu mà không cần đến thông tin, liệu biết trước Thống kê Bayes dựa thông tin liệu biết trước kết quan sát mẫu để suy luận cho thống kê Thống kê Bayes hay gọi suy luận Bayes đời sở định lý Bayes Đó kiểu suy luận thống kê mà đó, nhà thống kê sử dụng phân phối tiên nghiệm (thông tin biết trước) vấn đề xét thông tin mẫu (các quan sát hay chứng), áp dụng công thức định lý Bayes để tìm phân phối hậu nghiệm (xác suất xảy tại), từ dùng phân phối hậu nghiệm để suy luận cho thống kê Ví dụ: Xét tốn ước lượng cho tham số θ biến ngẫu nhiên X với mẫu X , X , , X n • Theo thống kê tần suất, tham số θ biến ngẫu nhiên nhận giá trị Ta tìm tham số mẫu θ ∗ theo công thức tính dựa theo giá trị quan sát mẫu Ta có E [θ ∗ ] = θ Do đó, ta dùng θ ∗ để ước lượng cho tham số θ Chẳng hạn, ước lượng cho giá n X i , sau dùng trị trung bình µ biến ngẫu nhiên: ta tính trung bình mẫu X = n i =1 giá trị trung bình mẫu để ước lng cho Theo thng kờ Bayes, tham s θ biến ngẫu nhiên liên tục Trước hết, ta biết phân phối tiên nghiệm θ p (θ) Sau đó, áp dụng định lý Bayes ta tính mật độ hậu nghiệm p (θ|X , X , , X n ) Khi tham số mẫu dùng để ước lượng xác Lời mở đầu định sau: θ ∗ = E [θ] = θp (θ|X , X , , X n ) d θ Để ước lượng cho tham số thống kê tại, nhà thống kê Bayes cần dùng phân phối hậu nghiệm để ước lượng Như vây ta nói phân phối hậu nghiệm yếu tố đặc biệt quan trọng trình suy luận Bayes Tuy nhiên, việc tính tốn để tìm phân phối hậu nghiệm đơi phức tạp khơng tính Để giải vấn đề này, người ta tìm cách xấp xỉ phân phối hậu nghiệm Do đó, phương pháp VB (Variational Bayesian) đời để tìm giá trị gần phân phối hậu nghiệm Trong luận văn này, tác giả trình bày phương pháp suy luận Bayes phương pháp VB số ứng dụng phương pháp Luận văn tác giả chia làm chương: Chương Thống kê Bayes Trong chương này, tác giả giới thiệu chung thống kê Bayes; số phân phối thông thường; số mơ hình suy luận Bayes: Suy luận Bayes cho tham số phân phối nhị thức, kỳ vọng phân phối Gaussian chiều, tham số mơ hình hồi quy tuyến tính Bayes đơn Từ làm sở để nghiên cứu phần Chương Phương pháp VB Trong chương này, tác giả trình bày kiến thức phương pháp VB bao gồm: Nguồn gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối Gaussian, áp dụng phương pháp VB cho mơ hình hồi quy Bayes Chương Ứng dụng Trong chương này, tác giả giới thiệu ứng dụng phương pháp VB cho hai trường hợp: Phân phối hậu nghiệm không thuộc họ phân phối biết; phân phối hậu nghiệm thuộc họ phân phối biết Để nghiên cứu đề tài "Phương pháp VB ứng dụng", tác giả tham khảo số tài liệu nước thống kê tần suất, thống kê Bayes, phần mềm Mathlab Trong Lời mở đầu ◦ Nội dung chương luận văn tham khảo tài liệu [5] [8]; ◦ Nội dung chương luận văn tham khảo tài liệu [5] [6]; ◦ Nội dung chương luận văn tham khảo tài liệu [5]; ◦ Ở phần ứng dụng phương pháp VB, tác giả áp dụng phương pháp VB để tính tốn Từ đó, viết thuật toán dùng phần mềm Mathlab để thực kết Chương Thống kê Bayes Thống kê Bayes có khác biệt so với thống kê tần suất cách thức tiếp cận vấn đề: Thống kê tần suất quan niệm tham số biến ngẫu nhiên giá trị đó, thống kê Bayes quan niệm tham số biến ngẫu nhiên biến ngẫu nhiên Suy luận Bayes thực theo trình tự: từ phân phối tiên nghiệm mà ta tin tưởng, áp dụng định lý Bayes tìm phân phối hậu nghiệm, sau dùng phân phối hậu nghiệm để ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính 1.1 Giới thiệu Suy luận Bayes xuất phát từ định lý Bayes điều chỉnh xác suất có thơng tin theo cách sau đây: P (Z |X ) = P (X |Z ) P (Z ) P (X ) Trong Z đại diện cho giả thiết, giả thiết suy luận trước có thơng tin P (Z ) gọi xác suất tiên nghiệm Z P (X |Z ) xác suất xảy X biết giả thiết Z Đại lượng gọi hàm hợp lý (likelihood) biểu diễn dạng hàm X cho trước Z thông tin Giới thiệu Thống kê Bayes P (X ) gọi xác suất biên duyên X P (Z |X ) gọi xác suất hậu nghiệm Z biết X Theo định lý xác suất hậu nghiệm tỉ lệ với tích xác suất tiên nghiệm hàm hợp lý, kí hiệu P (Z |X ) ∝ P (Z ) × P (X |Z ) Tức tiên nghiệm nhân với số không ảnh hưởng đến kết hậu nghiệm P (X |Z ) đại diện cho ảnh hưởng thông tin thu P (X ) xác xuất xảy Z biết X Nếu hệ số có giá trị lớn, nhân xác suất tiên nghiệm Hệ số Bayes B = với hệ số này, ta xác suất hậu nghiệm lớn Nhờ đó, suy luận Bayes, định lý Bayes đo mức độ mà thông tin làm thay đổi mức độ tin tưởng vào giả thiết Khi có thơng tin biến ngẫu nhiên, suy luận Bayes cho biến ngẫu nhiên thực theo bước sau: • Xác định phân phối tiên nghiệm Phân phối tiên nghiệm (prior distribution) biến ngẫu nhiên Z phân phối mà ta tin tưởng, có từ kinh nghiệm tích lũy, kí hiệu p (Z ) • Áp dụng định lý Bayes để tìm phân phối hậu nghiệm Phân phối hậu nghiệm (posterior distribution) biến Z biết X phân phối có tính tốn theo định lý Bayes, sau có thơng tin p (X |Z ) Kí hiệu p (Z |X ) • Dùng phân phối hậu nghiệm để suy luận cho thống kê tại: Ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính Trong luận văn này, phân phối tiên nghiệm để suy luận cho biến ngẫu nhiên phân phối tiên nghiệm liên hợp Phân phối tiên nghiệm liên hợp (conjugate prior) phân phối tiên nghiệm mà phân phối hậu nghiệm tìm họ với phân phối tiên nghiệm Các nhà thống kê Bayes lập luận người ta có xác suất chủ quan tiên nghiệm khác với thơng tin từ quan sát lặp lặp lại có xu hướng đưa xác suất hậu nghiệm họ lại gần 1.3 SUY LUẬN BAYES CHO THAM SỐ TỈ LỆ PHÂN PHỐI NHỊ THỨC Thống kê Bayes đặc trưng xác định sau: W (Λ|W, v) = B (W, v) |Λ|(v−D−1)/2 exp − Tr W−1 Λ B (W, v) = |W| −v/2 vD/2 D(D−1)/4 π D v +1−i Γ i =1 −1 E [Λ] = vW E [ln |Λ|] = D ψ i =1 v +1−i + D ln + ln |W| Trong W ma trận xác định dương cỡ D × D , tham số v hệ số tự v > D − Phân phối Wishart phân phối tiên nghiệm liên hợp ma trận độ xác biến nhiều chiều tuân theo quy luật phân phối Gaussian Trong trường hợp chiều phân phối Wishart phân phối G am (λ|a, b) với tham số a = v/2 b = 1/2W 1.3 1.3.1 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức Tiên nghiệm Họ liên hợp phân phối tiên nghiệm tham số tỷ lệ Π phân phối nhị thức họ phân phối B et a (Π|a, b) có dạng g (Π|a, b) = Γ (a + b) a−1 π (1 − π)b−1 Γ (a) Γ (b) (1.1) Trong tham số a, b xác định sau: Dựa theo kinh nghiệm mà người ta tin tưởng, phân phối tiên nghiệm có kỳ vọng π0 phương sai σ20 Theo cơng thức tính kỳ vọng phương sai phân phối Beta ta có: π0 = σ20 = a a +b ab (a + b) (a + b + 1) = π0 (1 − π0 ) (a + b + 1) Giải hệ ta tìm a, b Từ có phân phối nghiệm tham số Π 14 Suy luận Bayes cho tham số tỉ lệ Thống kê Bayes Theo cơng thức tính đặc trưng phân phối nhị thức, ta cần chọn mẫu quan sát để thu thập thông tin có kích thước n = a + b + kết số lần thành công M Khi ta có hàm hợp lý:  f (M |n, π) =  1.3.2  n m  πm (1 − π)n−m , ≤ π ≤ (1.2) Hậu nghiệm Theo định lý Bayes công thức (1.1), (1.2) ta có phân phối hậu nghiệm tham số Π xác định sau: g (Π|M = m) = g (Π) × f (M |n, π) g (Π) × f (M |n, π) d π = πa+m−1 (1 − π)n−m+b−1 πa+m−1 (1 − π)n−m+b−1 d π = Γ (n + a + b) πa+m−1 (1 − π)n−m+b−1 Γ (m + a) Γ (n − m + b) (1.3) Như vậy, phân phối hậu nghiệm tham số Π phân phối B et a Π|a , b với a = a + m b = b + n − m 1.3.3 Ước lượng • Ước lượng điểm cho tham số Π π = m n • Ước lượng khoảng cho tham số Π: Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m , s Kỳ vọng phân phối hậu nghiệm m = Phương sai phân phối hậu nghiệm s a a +b = ab (a + b ) (a + b + 1) Với độ tin cậy (1 − α) × 100%, khoảng tin cậy π xấp xỉ khoảng xác định sau: m − z α × s ;m + z α × s 2 15 (1.4) Suy luận Bayes cho tham số tỉ lệ Thống kê Bayes Trong z α2 phân vị mức α/2 phân phối chuẩn tắc, ví dụ với độ tin cậy 95% z α2 = 1.96 Xấp xỉ hiệu ta có a ≥ 10 b ≥ 10 1.3.4 Kiểm định giả thiết Kiểm định phía Bài tốn kiểm định với mức ý nghĩa α H : π ≤ π0 H : π > π0 Ta tính xác suất để giả thiết tích phân mật độ hậu nghiệm (1.3) miền giả thiết π0 P (H0 : π ≤ π0 |m) = g (Π|m)d π Ta bác bỏ giả thiết xác suất hậu nghiệm nhỏ mức ý nghĩa α Kiểm định hai phía Bài tốn kiểm định với mức ý nghĩa α H : π = π0 H : π = π0 Ta khơng tính xác suất hậu nghiệm mà tìm khoảng tin cậy π với mức ý nghĩa α Nếu giá trị quan sát khơng thuộc khoảng tin cậy (1.4) ta bác bỏ giả thiết; giá trị quan sát thuộc khoảng tin cậy ta khơng thể bác bỏ giả thiết 16 1.4 SUY LUẬN BAYES CHO KỲ VỌNG PHÂN PHỐI GAUSSIAN 1.4 1.4.1 Thống kê Bayes Suy luận Bayes cho kỳ vọng phân phối Gaussian Tiên nghiệm Xét biến quan sát Y tuân theo quy luật phân phối chuẩn có kỳ vọng µ phương sai σ2 biết Giả sử phân phối tiên nghiệm phân phối chuẩn với kỳ vọng m phương sai s Khi hàm mật độ tiên nghiệm µ có dạng: g µ ∝ e − 2s (µ−m )2 (1.5) Ở đây, ta bỏ qua phần khơng phụ thuộc µ tiên nghiệm nhân với số không ảnh hưởng đến kết hậu nghiệm Hàm hợp lý có dạng: f Y |µ ∝ e − ( y−µ)2 2σ (1.6) Ở đây, ta bỏ qua phần khơng phụ thuộc µ tiên nghiệm nhân với số không ảnh hưởng đến kết hậu nghiệm 1.4.2 Hậu nghiệm Theo định lý Bayes hậu nghiệm tỷ lệ với tích tiên nghiệm hàm hợp lý g µ|y ∝ g ì f Y |à Do ú, theo (1.5) (1.6) ta có: 2 µ−m y−µ g µ|y ∝ exp − 12 ( s ) + ( σ2 ) σ2 m+s y ) σ2 +s ∝ exp − 2σ2 s / 1σ2 +s µ − ( ( ) Như phân phối hậu nghiệm tham số µ phân phối chuẩn với kỳ vọng 17 Suy luận Bayes cho kỳ vọng Thống kê Bayes phương sai xác định sau: m = σ2 m + s y σ2 + s σ2 s 2 s = σ + s2 1 −1 = 2+ s σ s Cơng thức tính kỳ vọng biến đổi sang dạng: m = σ2 m + s y σ2 + s σ2 s2 = m + y σ + s2 σ2 + s 1/s 1/σ2 = m + y 1/σ2 + 1/s 1/σ2 + 1/s Một cách khác, với mẫu ngẫu nhiên y , y n phân phối chuẩn kỳ vọng µ phương sai σ2 biết, ta dùng hàm hợp lý trung bình mẫu y Trong y tuân theo quy luật phân phối chuẩn với kỳ vọng µ phương sai σ2 Phân phối hậu nghiệm xác định với kỳ n vọng phương sai theo biểu thức sau: 1/s n/σ2 × m + ×y n/σ2 + 1/s n/σ2 + 1/s 1 n = 2+ 2 s σ (s ) m = 1.4.3 (1.7) (1.8) Ước lượng Phương sai biết Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m , s Kỳ vọng phân phối hậu nghiệm m xác định theo công thức (1.7), thực theo bước: Độ xác nghịch đảo phương sai: s2 Độ xác hậu nghiệm tổng độ xác tiên nghiệm độ xác trung bình mẫu: n + 2 s σ Kỳ vọng hậu nghiệm tổng có trọng số kỳ vọng tiên nghiệm trung bình 18 Suy luận Bayes cho kỳ vọng Thống kê Bayes mẫu, trọng số tỷ lệ độ xác với độ xác hậu nghiệm: 1/s n/σ2 ×m + ×y n/σ2 + 1/s n/σ2 + 1/s Phương sai s xác đinh theo công thức (1.8) Từ đó, với độ tin cậy (1 − α) × 100%, khoảng tin cậy π xấp xỉ khoảng xác định sau: m − z α × s ;m + z α × s 2 (1.9) Trong z α2 phân vị mức α/2 phân phối chuẩn tắc Phương sai chưa biết Tìm phương sai mẫu: σ2 = n yi − y n − i =1 Từ tìm m s theo cơng thức (1.7), (1.8) dùng σ2 xác định thay cho phương sai σ2 chưa biết Khi đó, phân phối hậu nghiệm xấp xỉ phân phối Student Với độ tin cậy (1 − α) × 100%, khoảng tin cậy µ xấp xỉ khoảng xác định sau: m − t α × s ;m + t α × s 2 Trong t α2 phân vị mức α/2 phân phối Student với hệ số tự n − 1.4.4 Kiểm định giả thiết Kiểm định phía Bài tốn kiểm định với mức ý nghĩa α H0 : µ ≤ µ0 H1 : µ > µ0 19 (1.10) 1.5 HỒI QUY BAYES Thống kê Bayes Ta tính xác suất giả thiết tích phân mật độ hậu nghiệm miền giả thiết µ0 P H0 : µ ≤ µ0 |y , y , y n = g µ|y , y , y n d µ −∞ µ−m µ0 − m ≤ s s µ0 − m =P Z ≤ s =P Ta bác bỏ giả thiết xác suất hậu nghiệm nhỏ mức ý nghĩa α Nếu dùng ước lượng cho phương sai mẫu Z tuân theo quy luật phân phối Student với hệ số tự n − Kiểm định hai phía Bài tốn kiểm định với mức ý nghĩa α H0 : µ = µ0 H1 : µ = µ0 Ta khơng tính xác suất hậu nghiệm mà tìm khoảng tin cậy µ với mức ý nghĩa α theo (1.9) (1.10) Nếu giá trị quan sát không thuộc khoảng tin cậy ta bác bỏ giả thiết; giá trị quan sát thuộc khoảng tin cậy ta khơng thể bác bỏ giả thiết 1.5 Hồi quy Bayes Mô hình hồi quy tuyến tính biểu biễn mối liên hệ hai biến X Y quan sát Với niềm tin giá trị Y phụ thuộc vào giá trị X , 20 Hồi quy Bayes 1.5.1 Thống kê Bayes Suy luận Bayes cho mơ hình hồi quy tuyến tính Bayes đơn Mơ hình hồi quy đơn hai biến X Y y = βx + α Trước hết, ta thu thập thông tin n cặp giá trị x i , y i , i = 1, 2, , n Từ tìm hai tham số β α cho tổng bình phương sai số điểm quan sát nhỏ n y i − βx i + α SS = i =1 Theo định lý Bayes hậu nghiệm tỉ lệ với tích tiên nghiệm hàm hợp lý Hàm hợp lý Các quan sát độc lập, với quan sát thứ i ta có y i = α x + β x i − x + εi Trong αx giá trị trung bình y x = x , β hệ số góc εi độc lập với nhau, tuân theo quy luật phân phối chuẩn với kỳ vọng phương sai σ2 Do y i |x i độc lập với tuân theo quy luật phân phối chuẩn với kỳ vọng αx + β x i − x phương sai σ2 Ta có hàm hợp lý quan sát thứ i f i αx , β ∝ e − 2σ2 y i − αx + β x i − x Ở đây, ta bỏ qua phần không chứa tham số, αx Các quan sát độc lập nên ta có hàm 21 Hồi quy Bayes Thống kê Bayes hợp lý hai tham số αx , β f αx , β ∝ n e − 2σ2 [ y i −(αx +β(xi −x ))]2 i =1 ∝ e ∝ e − n 2σ2 i =1 − 2σ2 − 2σ2 /SS x − 2σ2 /SS x [ y i −(αx +β(xi −x ))]2 [SS y −2βSS x y +β2 SS x ] × e − 2σ12 β− SS x y SS x ∝ e ∝ e ∝ f αx × f β [β−B ]2 ×e − 2σ2 /n 2σ2 /n n (αx −y ) (αx −y )2 (αx −A x )2 ×e − xi − x (1.11) yi − y (1.12) Trong n SS x = i =1 n SS y = i =1 n SS x y = xi − x yi − y (1.13) i =1 B= SS x y SS x ; Ax = y Tiên nghiệm Phân phối tiên nghiệm đồng thời cho αx , β g αx , β = g αx × g β Trong αx , β tuân theo phân phối chuẩn: g αx = N m αx , s α2 x g β = N m β , s β2 Hậu nghiệm 22 (1.14) Hồi quy Bayes Thống kê Bayes Phân phối tiên nghiệm đồng thời cho αx , β g αx , β|d at a ∝ g αx , β × f αx , β g αx |d at a × g β|d at a ∝ g αx |d at a = N m α , s αx x g β|d at a = N m β , s β Theo (1.11) ÷ (1.14), kỳ vọng phương sai αx , β xác định sau: s αx = s α2 x sβ n σ2 1/s α2 x mα = x + × mα + x 1/ s αx SS x = 2+ σ sβ mβ = 1/s β2 1/ s β n/σ2 1/ s αx × Ax (1.15) × mβ + SS x /σ2 1/ s β (1.16) ×B Ước lượng cho hệ số góc Trường hợp phương sai biết Theo (1.15), (1.16), với độ tin cậy (1 − α) × 100% ta có khoảng tin cậy hệ số góc β mβ − z α × 2 sβ ; mβ + z α × sβ Ở z α2 phân vị mức α/2 phân phối chuẩn tắc Trường hợp phương sai chưa biết Ta dùng ước lượng cho phương sai n σ2 = i =1 y i − A x + B xi − x n −2 23 (1.17) Hồi quy Bayes Thống kê Bayes Khi đó, kỳ vọng phương sai β xác định theo (1.15), (1.16) dùng phương sai mẫu thay cho phương sai chưa biết biến ngẫu nhiên Từ đó, với độ tin cậy (1 − α) × 100% ta có khoảng tin cậy hệ số góc β xác định theo cơng thức: mβ − t α × 2 sβ ; mβ + t α × sβ 2 (1.18) Hoặc B −tα × σ SS x ;B + t α × σ (1.19) SS x Trong đó, t α2 phân vị mức α/2 phân phối Student với hệ số tự n − Kiểm định hệ số góc Kiểm định phía Bài tốn kiểm định với mức ý nghĩa α H : β ≤ β0 H : β > β0 Ta tính xác suất giả thiết tích phân mật độ hậu nghiệm miền giả thuyết β0 P H0 : β ≤ β0 |d at a = g β|d at a d β −∞  = P Z ≤ β0 − m β  sβ  Ta bác bỏ giả thiết xác suất hậu nghiệm nhỏ mức ý nghĩa α Nếu dùng ước lượng phương sai mẫu Z biến ngẫu nhiên tuân theo phân phối Student với hệ số tự n − Kiểm định hai phía Ta biết β = y khơng phụ thuộc vào x Do ta cần làm tốn 24 Hồi quy Bayes Thống kê Bayes kiểm định với mức ý nghĩa α H0 : β = H1 : β = Ta khơng tính xác suất hậu nghiệm mà tìm khoảng tin cậy β với mức ý nghĩa α theo (1.17) (1.18) hay (1.19) Nếu giá trị khơng thuộc khoảng tin cậy ta bác bỏ giả thiết; giá trị thuộc khoảng tin cậy ta khơng thể bác bỏ giả thiết Do có sai khác hàm hồi quy giá trị quan sát nên sử dụng hàm hồi quy người ta viết dạng: y = βx + α + ε Trong ε biến ngẫu nhiên phân phối chuẩn với kỳ vọng 0, phương sai β−1 Người ta gọi ε yếu tố ngẫu nhiên (hoặc nhiễu) 1.5.2 Mơ hình hồi quy tuyến tính Bayes bội Mơ hình hồi quy hai biến X - k chiều biến Y chiều y = wT φ (x) Trong y = y1, y2, , yn T w = (w0 , w1 , , wk )T φ (x) = T x 1i x ki 1≤i ≤n Như vậy, mơ hình hồi quy tổng qt coi w hệ số, φ (x) biến đại diện cho x 25 Hồi quy Bayes Thống kê Bayes Phân phối tham số w p (w) = N (m, S) Ngoài tham số w phụ thuộc tham số α theo quy luật phân phối p (w|α) = N 0, α−1 I Từ số liệu thu thập n cặp giá trị y i , φi người ta thấy có sai khác mơ hình giá trị quan sát nên người ta đưa mơ hình biến quan sát T phụ thuộc biến Y sau t = y w, φ + ε Trong t = (t , t , , t n )T ε = (ε1 , ε2 , , εn )T ; εi ∼ N 0, β−1 Ta có biến quan sát tuân theo quy luật phân phối: p Ti |φ, w, β = N y i w, φi , β−1 Từ ta có hàm hợp lý p T |φ, w, β = ln p T |φ, w, β = n i =1 n N y i w, φi , β−1 ln N y i (w, X i ) , β−1 i =1 = n n n ln β − ln (2π) − β t i − wT φi 2 i =1 26 Hồi quy Bayes 1.5.3 Thống kê Bayes Mơ hình hồi quy Logistic Bayes Mơ hình hồi quy Logistic Ta có biến cố xảy khơng xảy tương ứng biến ngẫu nhiên nhận giá trị X = 0, xác suất xảy P (X = 1) = π Khi khơng thể dùng hàm hồi quy tuyến tính thơng thương mà dùng hàm hồi quy logistic: log π = α + βX 1−π Từ suy π= e α+βX + e α+βX Ta có biến quan sát X = (X , , X n ) ta có tương ứng π = (π1 , , πn ) Biến ngẫu nhiên Y phụ thuộc biến X theo công thức πi = P (Yi = 1|X i = x i ) = e β0 +βi xi + e β0 +βi xi Từ log πi = β0 + β1 x i + β2 x i + + βn x i n − πi Mơ hình hồi quy Logistic Bayes Đây mơ hình kết hợp hai mơ hình hồi quy Bayes mơ hình hồi quy Logistic Mơ hình hồi quy Logistic Bayes hai biến X - k chiều biến Y chiều: y = wT φ (x) 27 Hậu nghiệm thuộc họ phân phối biết Ứng dụng Hình 3.3: Xấp xỉ hậu nghiệm µ, σ2 74 ... Do đó, phương pháp VB (Variational Bayesian) đời để tìm giá trị gần phân phối hậu nghiệm Trong luận văn này, tác giả trình bày phương pháp suy luận Bayes phương pháp VB số ứng dụng phương pháp. .. Chương Phương pháp VB Trong chương này, tác giả trình bày kiến thức phương pháp VB bao gồm: Nguồn gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối Gaussian, áp dụng phương. .. chương luận văn tham khảo tài liệu [5]; ◦ Ở phần ứng dụng phương pháp VB, tác giả áp dụng phương pháp VB để tính tốn Từ đó, viết thuật tốn dùng phần mềm Mathlab để thực kết Chương Thống kê Bayes Thống