HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG Chuyên ngành: Lý thuyết Xác suất Thống kê toán học Mã số: 60406106 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2015 Công trình hoàn thành tại: Trường Đại học Khoa hoc Tự nhiên - Đại học Quốc gia Hà Nội Người hướng dẫn khoa học: GS.TSKH Đặng Hùng Thắng Hội đồng chấm luận văn: • Chủ tịch: PGS.TS Phan Viết Thư - Đại học Khoa học Tự Nhiên - ĐHQGHN • Phản biện 1: TS Nguyễn Mạnh Thế - Đại học Kinh Tế Quốc Dân • Phản biện 2: TS Trịnh Quốc Anh - Đại học Khoa học Tự Nhiên - ĐHQGHN • Thư ký: TS Trần Mạnh Cường - Đại học Khoa học Tự Nhiên - ĐHQGHN • Ủy viên: TS Nguyễn Hồng Hải - Học Viện Kỹ Thuật Quân Sự Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ họp tại: Khoa Toán-Cơ-Tin học Trường Đại học Khoa học Tự nhiên (ĐHQGHN) vào 9h 00 ngày tháng năm 2016 Có thể tìm đọc luận văn tại: - Trung tâm thư viện Đại học Quốc gia Hà Nội Mục lục HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.2 Các mô hình hồi quy bội 1.2.1 Sự cần thiết phải đưa nhiều biến dự báo 1.2.2 Mô hình bậc với hai biến dự báo 1.2.3 Mô hình bậc với nhiều hai biến dự báo 1.2.4 Mô hình hồi quy tuyến tính tổng quát 1.3 Dạng ma trận mô hình hồi quy tuyến tính tổng quát 1.4 Ước lượng hệ số hồi quy 1.5 Ước lượng mẫu phần dư 1.6 Các kết phân tích phương sai 1.7 Các kết luận tham số hồi quy 1.8 Ước lượng trung bình đáp ứng dự báo quan sát 1.9 Chẩn đoán biện pháp khắc phục HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 2.1 Mô hình hồi quy tuyến tính phi tuyến 2.2 Ước lượng tham số hồi quy 2.3 Ước lượng bình phương cực tiểu hồi quy phi tuyến 2.3.1 Nghiệm phương trình chuẩn 2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton 2.3.3 Các thủ tục tìm kiếm trực tiếp khác 2.4 Xây dựng chẩn đoán mô hình 2.5 Các kết luận tham số hồi quy phi tuyến 2.5.1 Ước lượng phương sai sai số 2.5.2 Định lí mẫu lớn 2.5.3 Khi định lý mẫu lớn dùng được? 3 5 6 10 10 11 12 14 15 17 21 21 23 24 24 25 26 27 27 27 27 27 Luận văn tốt nghiệp 2.6 Phạm Thị Hương 2.5.4 Biện pháp khắc phục hậu 2.5.5 Khoảng ước lượng γk 2.5.6 Khoảng tin cậy đồng thời cho số γk 2.5.7 Kiểm tra tính liên quan tham số γk 2.5.8 Kiểm định đồng thời số γk Giới thiệu mô hình mạng Nơ ron 2.6.1 Mô hình mạng Nơ ron 2.6.2 Mạng đại diện 2.6.3 Mạng Nơ ron tổng quát hồi quy tuyến tính 2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized 2.6.5 Một số bình luận cuối mô hình mạng Nơ ron Ứng dụng 3.1 Ứng dụng 1: Dự báo doanh số bán hàng 3.1.1 Đặt toán 3.1.2 Các tính toán 3.1.3 Ước lượng hàm hồi quy 3.1.4 Các ước lượng mẫu phần dư 3.1.5 Phân tích phù hợp mô hình 3.1.6 Phân tích phương sai 3.1.7 Ước lượng tham số hồi quy 3.1.8 Ước lượng trung bình đáp ứng 3.1.9 Giới hạn dự báo cho quan sát 3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau 3.3 Ứng dụng 3: Đường cong học tập 3.4 Ứng dụng 4: Bệnh thiếu máu tim Tài liệu tham khảo xuất viện 28 28 28 29 29 29 29 30 31 32 33 34 34 34 35 36 37 37 39 40 41 42 43 49 52 55 MỞ ĐẦU Phân tích hồi quy phương pháp có ứng dụng rộng rãi phương pháp thống kê Hiện nay, mô hình hồi quy sử dụng nhiều quản trị kinh doanh, kinh tế, kỹ thuật xã hội, y tế, khoa học sinh học Các mô hình hồi quy đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến Các loại mô hình gồm nhiều dạng nhỏ phức tạp Mục đích luận văn đưa dạng hồi quy tuyến tính bội, hồi quy phi tuyến, kết phân tích để ứng dụng vào mô hình hữu ích thực tế Bản luận văn chia làm chương: Chương 1: Hồi quy bội tuyến tính Trình bày mô hình hồi quy bội tuyến tính, ước lượng hồi quy bội phân tích ước lượng hồi quy Chương 2: Hồi quy phi tuyến mô hình mạng Nơ ron Chương trình bày số mô hình hồi quy phi tuyến thường gặp, ước lượng mô hình việc phân tích, xây dựng chẩn đoán mô hình Chương 3: Ứng Dụng Đề cập đến ứng dụng mô hình hồi quy bội tuyến tính hồi quy phi tuyến thực tế Trong ứng dụng có nhấn mạnh đến việc xây dựng mô hình, ước lượng tham số đánh giá mô hình Mặc dù có nhiều cố gắng, xong nhiều yếu tố khách quan chủ quan, nên trình chọn lọc tư liệu trình bày nội dung khó tránh khỏi thiếu sót Vì mong nhận ý kiến bảo thầy cô, góp ý chân thành bạn học viên để luận văn hoàn thiện Chương HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.1.1 Mô hình dạng chuẩn Mô hình xây dựng sau: Y i = β0 + β1 X i + εi (1.1) 1.1.2 Các đặc trưng quan trọng mô hình Yi biến ngẫu nhiên Hàm hồi quy cho mô hình (1.1) là: E{Y } = β0 + β1 X (1.2) Giá trị đáp ứng Yi thử nghiệm thứ i sai khác với giá trị hàm hồi quy lượng sai số εi Đáp ứng Yi có phương sai không đổi: σ {Yi } = σ (1.3) Đáp ứng Yi Yj không tương quan Tóm lại, mô hình (1.1) đáp ứng Yi có phân phối xác suất mà trung bình E{Yi } = β0 + β1 Xi phương sai σ Luận văn tốt nghiệp Phạm Thị Hương với giá trị X Hơn nữa, hai giá trị đáp ứng Yi Yj không tương quan 1.1.3 Dạng biến đổi mô hình hồi quy Đặt X0 số có giá trị Khi mô hình (1.1) viết sau: Yi = β0 X0 + β1 Xi + εi X0 ≡ (1.4) Do dạng mô hình biến đổi là: ¯ + εi Yi = β0∗ + β1 (Xi − X) (1.5) 1.1.4 Ước lượng hàm hồi quy Phương pháp bình phương cực tiểu Hàm tiêu chuẩn Q: n (Yi − β0 − β1 Xi )2 Q= (1.6) i=1 Các ước lượng β0 β1 tương ứng b0 b1 làm cực tiểu hóa hàm tiêu chuẩn Q mẫu quan sát (X1 , Y1 ), (X2 , Y2 ), , (Xn , Yn ) đưa Tính chất ước lượng bình phương cực tiểu: Định lí 1.1.1 (Gauss-Markov): Với điều kiện mô hình hồi quy (1.1), ước lượng bình phương cực tiểu b0 b1 (1.10) không chệch có phương sai nhỏ tất ước lượng tuyến tính không chệch khác 1.1.5 Ước lượng phương sai sai số σ Tổng bình phương phần dư: n n (Yi − Y¯ )2 = SSE = i=1 e2i i=1 (1.7) Luận văn tốt nghiệp Phạm Thị Hương s2 = M SE = n i=1 (Yi n − Y¯ )2 i=1 ei = n−2 n−2 SSE = n−2 (1.8) MSE ước lượng không chệch σ : E{M SE} = σ Và ước lượng độ lệch chuẩn đơn giản s = 1.2 1.2.1 (1.9) √ M SE Các mô hình hồi quy bội Sự cần thiết phải đưa nhiều biến dự báo Các mô hình hồi quy bao gồm biến đáp ứng hay biến phản hồi số lượng biến dự báo Một biến dự báo đơn lẻ mô hình không cung cấp mô tả đầy đủ số lượng biến dự báo chìa khóa tác động đến biến đáp ứng theo cách đặc biệt quan trọng Vì cần đưa mô hình nhiều biến dự báo 1.2.2 Mô hình bậc với hai biến dự báo Khi có hai biến dự báo X1 X2 mô hình hồi quy: Yi = β0 + β1 Xi1 + β2 Xi2 + εi (1.10) gọi mô hình bậc với hai biến dự báo Hàm hồi quy cho mô hình (1.23) là: E{Y } = β0 + β1 X1 + β2 X2 (1.11) Hàm hồi quy (1.24) mặt phẳng Hình (1.1) đưa phần mặt phẳng đáp ứng: E{Y } = 10 + 2X1 + 5X2 (1.12) Luận văn tốt nghiệp Phạm Thị Hương Hình 1.1: Hàm đáp ứng mặt phẳng 1.2.3 Mô hình bậc với nhiều hai biến dự báo Mô hình hồi quy: Yi = β0 + β1 Xi1 + β2 Xi2 + + βp−1 Xip−1 + εi (1.13) gọi mô hình bậc với p − biến dự báo Hàm đáp ứng cho mô hình (1.27) là: E{Y } = β0 + β1 X1 + β2 X2 + + βp−1 Xp−1 1.2.4 (1.14) Mô hình hồi quy tuyến tính tổng quát Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện sai số chuẩn sau: Yi = β0 + β1 Xi1 + β2 Xi2 + + βp−1 Xip−1 + εi (1.15) Hàm đáp ứng cho mô hình hồi quy (1.29) : E{Y } = β0 + β1 X1 + β2 X2 + + βp−1 Xp−1 (1.16) Mô hình tuyến tính tổng quát bao gồm loạt tình đa dạng : Luận văn tốt nghiệp Phạm Thị Hương p-1 biến dự báo Khi X1 , , Xp−1 biểu diễn p − biến dự báo khác nhau, mô hình tuyến tính tổng quát (1.29) mô hình bậc ảnh hưởng tương tác biến dự báo Các biến dự báo định tính Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không biến dự báo định lượng mà bao gồm biến dự báo định tính Chúng ta sử dụng biến số nhận giá trị để định nghĩa lớp giá trị biến định tính Hồi quy đa thức Đây mô hình hồi quy đa thức với biến dự báo: Yi = β0 + β1 Xi + β2 Xi2 + εi (1.17) Nếu cho Xi1 = Xi Xi2 = Xi2 viết (1.34) sau: Yi = β0 + β1 Xi1 + β2 Xi2 + εi Đây dạng mô hình hồi quy tuyến tính tổng quát (1.29) Biến biến đổi Các mô hình với biến biến đổi liên quan đến hàm đáp ứng đường cong phức tạp trường hợp đặc biệt mô hình hồi quy tuyến tính tổng quát Xét mô hình sau với biến biến đổi Y: logYi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi (1.18) Nếu đặt Yi = logYi ta có: Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi dạng mô hình hồi quy tuyến tính tổng quát (1.29) mà biến đáp ứng hàm logarit Y Luận văn tốt nghiệp Phạm Thị Hương s2 {b} = 3, 602.0 8.748 −241.43 8.748 0448 −.679 −241.43 −.679 16.514 (3.8) Hai phương sai ước lượng là: s2 {b1 } = 0448 ⇒ s{b1 } = 212 s2 {b2 } = 16.514 ⇒ s{b2 } = 4.06 Tiếp theo, ta xác định ước lượng đồng thời với g = 2: B = t[1 − 10/2(2); 18] = t(0.975; 18) = 2.101 Do đó, hai cặp giới hạn tin cậy đồng thời là: 1.455 ± 2.101(.212) 9.366 ± 2.101(4, 06) mà khoảng tin cậy là: 1.01 ≤ β1 ≤ 1.90 84 ≤ β2 ≤ 17.9 Với độ tin cậy 90 chấp nhận β1 nằm khoảng 1.01 1.90 β2 nằm khoảng 84 17.9 Các khoảng tin cậy đồng thời β1 β2 dương, điều tuân theo kỳ vọng giả thuyết doanh thu bán hàng tăng mục tiêu dân số cao thu nhập bình quân đầu người cao hơn, biến lại coi số 3.1.8 Ước lượng trung bình đáp ứng Dwaine Studio muốn ước lượng dự kiến doanh thu bán hàng (trung bình) thành phố với mục tiêu dân số Xh1 = 65.4 nghìn người độ tuổi 16 trẻ thu nhập bình quân đầu người Xh2 = 17.6 nghìn đô la với khoảng tin cậy 95% Ước lượng điểm doanh thu bán hàng trung bình theo công thức (1.76): Yˆh = Xh b = 191.10 42 Luận văn tốt nghiệp Phạm Thị Hương Ước lượng phương sai là: s2 {Yˆh } = Xh s2 {b}Xh = 7.656 hay s{Yˆh } = 2.77 Đối với hệ số tin cậy 95, ta có t(.975; 18) = 2.101 theo công thức (1.80) giới hạn tin cậy 191.10 ± 2.101(2.77) Khoảng tin cậy cho E{Y } là: 185.3 ≤ E{Y } ≤ 196.9 Dạng đại số cho ước lượng phương sai s2 {Yˆh } Do từ công thức (1.79): s2 {Yˆh } = Xh s2 {b}Xh với trường hợp hai biến dự báo mô hình bậc ta có: 2 2 s2 {Yˆh } = s2 {b0 } + Xh1 s {b1 } + Xh2 s {b2 } + 2Xh1 s{b0 , b1 } (3.9) + 2Xh2 s{b0 , b2 } + 2Xh1 Xh2 s{b1 , b2 } 3.1.9 Giới hạn dự báo cho quan sát Dwaine Studio muốn mở rộng dự báo doanh thu bán hàng cho hai thành phố mới, với đặc điểm sau: Xh1 Xh2 Thành phố A Thành phố B 65.4 53.1 17.6 17.7 Và mong muốn khoảng dự báo với độ tin cậy 90% Chú ý hai thành phố có đặc điểm nằm phạm vi mô hình 21 thành phố sở phân tích hồi quy Với thành phố A, ta dùng kết có ước lượng trung bình doanh thu bán hàng mức biến dự báo Ta có: Yˆh = 191.10 s2 {Yˆh } = 7.656 43 M SE = 121.1626 Luận văn tốt nghiệp Phạm Thị Hương Do đó, từ (1.84a): s2 {pred} = M SE + s2 {Yˆh } = 121.1626 + 7.656 = 128.82 hay: s{pred} = 11.35 Tính toán tương tự với thành phố B ta có: Yˆh = 174.15 s{pred} = 11.93 Theo trên, hệ số Bonferroni bội B = 2.101 Do đó, theo công thức (1.66) giới hạn dự báo Bonferroni đồng thời với hệ số tin cậy 90 191.10 ± 2.101(11.35) 174.15 ± 2.101(11.93), nên khoảng tin cậy đồng thời là: Thành phố A: 167.3 ≤ Yh(new) ≤ 214.9 Thành phố B: 149.1 ≤ Yh(new) ≤ 199.2 3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau xuất viện Một quản lý bệnh viện muốn phát triển mô hình hồi quy cho việc dự báo mức độ phục hồi sau xuất viện từ bệnh viện cho bệnh nhân bị thương nặng Biến dự báo số ngày nằm viện (X), biến đáp ứng số tiên lượng phục hồi dài hạn (Y) Dữ liệu nghiên cứu cho 15 bệnh nhân biểu diễn bảng 3.1 biểu đồ phân tán liệu hình 3.6: 44 Luận văn tốt nghiệp Phạm Thị Hương bảng 3.1: liệu bệnh nhân bị thương nặng Hình 3.6: biểu đồ phân tán hàm hồi quy phi tuyến mẫu 45 Luận văn tốt nghiệp Phạm Thị Hương Do đó, định điều tra phù hợp hai tham số mô hình hồi quy phi tuyến dạng mũ (2.6): Yi = γ0 exp(γ1 Xi ) + εi (3.10) Do đó, tiêu chuẩn bình phương cực tiểu là: n [Yi − γ0 exp(γ1 X)]2 Q= i=1 Ta có, trung bình đáp ứng cho trường hợp thứ i là: f (Xi , γ) = γ0 exp(γ1 Xi ) (3.11) Các phương trình chuẩn là: Yi exp(g1 Xi ) − g0 Yi Xi exp(g1 Xi ) − g0 exp(2g1 Xi ) = Xi exp(2g1 Xi ) = (3.12) Các phương trình chuẩn không tuyến tính g0 g1 , không tồn nghiệm kín Do vậy, đòi hỏi cần có phương pháp số lặp để tìm nghiệm cho ước lượng bình phương cực tiểu Các giá trị khởi đầu tham số γ0 γ1 lấy ước lượng tham số cách biến đổi logarit hàm đáp ứng tuyến tính hóa: loge γ0 [exp(γ1 X)] = loge γ0 + γ1 X Do đó, mô hình hồi quy tuyến tính với biến biến đổi Y phù hợp xấp xỉ ban đầu cho mô hình dạng mũ: Yi = β0 + β1 Xi + εi Mô hình hồi quy tuyến tính phù hợp bình phương cực tiểu thông thường đưa hệ số hồi quy ước lượng b0 = 4.0371 (0) b1 = −.03797 Do đó, giá trị khởi đầu g0 = exp(b0 ) = exp(4.0371) = 56.6646 g1(0) = b1 = −.03797 Tiêu chí đánh giá bình phương cực tiểu bước yêu cầu đánh giá hàm hồi quy phi tuyến (2.7) cho trường hợp, sử dụng giá trị tham số khởi đầu g0(0) g1(0) Ví dụ trường hợp này, với X1 = có: (0) f (X1 , g (0) ) = f1 (0) = g (0) exp(g1 X1 ) = (56.6646 exp[−.03797(2)] = 52.5208 46 Luận văn tốt nghiệp Phạm Thị Hương Bảng 3.2: Ma trận Y (0) D(0) Do Y1 = 54, trung bình đáp ứng là: (0) Y1 (0) = Y1 − f SSE (0) = = 54 − 52.5208 = 1.4792 (0) (Yi − fi )2 = (0) (Yi )2 = (1.4792)2 + + (1.1977)2 = 56.0869 47 Luận văn tốt nghiệp Phạm Thị Hương b(0) = 1.8932 −.001563 g (1) = g (0) + b(0) = 58.5578 −.03953 Do đó, g0(1) = 58.5578 g1(1) = −.03953 ước lượng tham số hiệu chỉnh cuối bước lặp thứ Bảng 3.3 Do đó, thủ tục tìm kiếm chất dứt sau bước lặp thứ hệ số hồi quy ước lượng cuối g0 = 58.6065 g1 = −.03959 hàm hồi quy phù hợp là: Yˆ = 58.6065 exp(−.03959X) (3.13) Các phần dư đưa cách sử dụng việc phù hợp hàm hồi quy phi tuyến (3.15) ei = Yi − (58.6065) exp(−.03959Xi ) 48 Luận văn tốt nghiệp Phạm Thị Hương Hình 3.7: biểu đồ chuẩn đoán phần dư Muốn có khoảng ước lượng đồng thời cho γ0 γ1 với hệ số tin cậy 90% Với thủ tục Bonferroni ta cần tách khoảng tin cậy cho hai tham số, loại với hệ số tin cậy 95% Chúng ta thu khoảng tin cậy cho γ1 với hệ số tin cậy 95% Tuyên bố 95% giới hạn tin cậy cho γ0 , sử dụng kết bảng 3.3b, 58.6065 ± 2.160(1.472) khoảng tin cậy cho γ0 là: 55.43 ≤ γ0 ≤ 61.79 Do đó, khoảng tin với hệ số tin cậy đồng thời 90%: 55.43 ≤ γ0 ≤ 61.79 −.0433 ≤ γ1 ≤ −.0359 (3.14) Ta muốn kiểm định: H0 : γ0 = 54 Ha : γ0 = 54 Thống kê kiểm định (2.36b) là: t∗ = 58.6065 − 54 = 3.13 1.472 với α = 01 ta có t(.995; 13) = 3.012 Do |t∗ | = 3.13 > 3.012 chấp nhận giả thuyết Ha γ0 = 54 Giá trị P xấp xỉ hai phía kiểm định 008 49 Luận văn tốt nghiệp Phạm Thị Hương Hình 3.8: Phân phối mẫu bootstrap 3.3 Ứng dụng 3: Đường cong học tập Một công ty sản xuất sản phẩm điện tử tiến hành sản xuất sản phẩm hai địa điểm (địa điểm A: mã X1 = địa điểm B: mã X1 = 0) Địa điểm B có sở đại kỳ vọng hiệu địa điểm A, chí sau thời gian học tập ban đầu Một kỹ sư công nghiệp tính toán chi phí đơn vị dự kiến cho địa điểm mà thể phần kỳ vọng giá Đối ứng phần độ đo hiệu tương đối độ đo hiệu tương đối dùng biến đáp ứng Y nghiên cứu 50 Luận văn tốt nghiệp Phạm Thị Hương Bảng 3.4: liệu cho ứng dụng đường cong học tập Biết hiệu tăng theo thời gian sản phẩm sản xuất ra, cải tiến cuối thường giảm trình trở nên ổn định Do dó, ứng dụng định sử dụng mô hình hàm mũ với tiệm cận để diễn tả mối quan hệ hiệu Y thời gian X2 , để kết hợp hiệu ứng liên tục cho khác biệt hai địa điểm sản xuất Mô hình định là: Yi = γ0 + γ1 Xi1 + γ3 exp(γ2 Xi1 ) + εi (3.15) Các liệu hàng tuần hiệu sản xuất liên quan đến địa điểm có sẵn Mô hình hồi quy (3.17) phi tuyến với tham số γ2 γ3 Do đó, thủ tục ước lượng tìm kiếm số thực hiện, với giá trị khởi đầu cho 51 Luận văn tốt nghiệp Phạm Thị Hương Hình 3.9: biểu đồ phân tán đường cong học tập tham số cần thiết Các nghiên cứu trước γ3 gần với -.5 nên g3(0) = −.5 sử dụng làm giá trị khởi đầu Do khác biệt hiệu suất tương đối địa điểm A B cho tuần có trung bình -.0459 suốt 90 tuần, giá trị khởi đầu g1(0) = −.0459 Hiệu suất tương đối lớn theo quan sát cho địa điểm B 1.028, giá trị khởi đầu g0(0) = 1.025 hợp lý Phần lại chọn giá trị khởi đầu cho γ2 Do Y2 = 1.012, tương ứng X24,1 = 0, X24,2 = 30 giá trị khởi đầu cho hệ số hồi quy khác (bỏ qua sai số): 1.012 = 1.025 − (.5) exp(30γ2 ) (0) γ2 nghiệm phương trình nên giá trị khởi đầu g2 = −.122 Với bốn giá trị khởi đầu g0(0) = 1.025, g1(0) = −.0459, g2(0) = −.122, g3(0) = −.5, gói tính toán chương trình tìm kiếm số trực tiếp thực để có ước lượng bình phương cực tiểu Các hệ số hồi quy bình phương cực tiểu 52 Luận văn tốt nghiệp Phạm Thị Hương ổn định sau năm bước lặp Vậy mô hình hồi quy phù hợp là: Yˆ = 1.0156 − 4727X1 − (.5524) exp(−.1348X2 ) (3.16) bảng 3.5: Ước lượng bình phương cực tiểu phi tuyến độ lệch chuẩn Hình 3.10: biểu đồ Histogram phân phối mẫu bootstrap Đặc biệt quan tâm đến tham số γ1 , tham số phản ánh hiệu địa điểm.Xây dựng khoảng tin cậy 95% cho tham số Ta có t(.975; 26) = 2.056 s{g1 } = 004109 Khi đó: −.0557 ≤ γ1 ≤ −.0388 3.4 Ứng dụng 4: Bệnh thiếu máu tim Dữ liệu sưu tập dự án bảo vệ sức khỏe đưa thông tin liên quan đến 788 người phát sinh từ bệnh tim mạch vành Biến đáp ứng Y tổng giá dịch vụ cung cấp biến dự báo nghiên cứu là: 53 Luận văn tốt nghiệp Phạm Thị Hương biến dự báo Mô tả X1 số lượng can thiệp hay thủ tục thực X2 Số lượng thuốc theo dõi sử dụng X3 Số lượng bệnh kèm - điều kiện khác có làm phức tạp điều trị X4 Số lượng biến chứng - điều kiện khác phát sinh trình điều trị bệnh tim 400 quan sát sử dụng để phù hợp mô hình (2.38) n∗ = 388 quan sát xác nhận Sử dụng JMP để phù hợp đánh giá mô hình mạng Nơ ron Hình 3.11: JMP control panel cho phù hợp mô hình mạng Nơ ron Ở đây, ta chọn nút ẩn dùng λ = 05 trọng số penalty Cũng vậy, chọn giá trị mặc định cho số lượng tour (20), số lượng cực đại bước lặp cho thủ tục tìm kiếm (50) tiêu chuẩn hội tụ (.00001) Bằng cách kiểm tra hộp đăng nhập tour, ta trì mảng kết tour 20 tour Một đại diện JMP mô hình (2.38) hình 3.12 Chú ý rằng, đại diện không bao gồm nút X0 H0 Ta có m = nút ẩn p = nút biến dự báo, cần ước lượng m + p(m − 1) = + 5(6 − 1) = 31 tham số Sau 20 phép thử kết phù hợp tốt hình 3.13 54 Luận văn tốt nghiệp Phạm Thị Hương Hình 3.12: sơ đồ mạng Nơ ron JMP Hình 3.13: kết JMP cho phù hợp mạng Nơ ron 55 Tài liệu tham khảo [1] Phạm Hữu Đức Dục (2009),Mạng Nơ ron ứng dụng điều khiển tự động, Nhà xuất khoa học kỹ thuật [2] Đào Hữu Hồ - Nguyễn Văn Hữu - Hoàng Hữu Như, Thống kê toán học, Nhà xuất Đại Học Quốc Gia [3] Đặng Hùng Thắng (2005),Thống kê Ứng dụng, Nhà xuất Giáo dục [4] John Neter - William Wasserman - Michael H.Kutner (1983), Applied linear regression models, Richard D.Irwin,INC [5] Kutner- Nachtsheim - Neter (2004), Applied linear regression models 56 [...]... SP E (1.89b) và kết luận: nếu F ∗ ≤ F (1 − α; c − p, n − c) chấp nhận H0 nếu F ∗ ≥ F (1 − α; c − p, n − c) chấp nhận Ha (1.89c) 1.9.7 Biện pháp khắc phục Biện pháp khắc phục của hồi quy đơn tuyến tính đơn cũng có thể áp dụng cho hồi quy bội 21 Chương 2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 2.1 Mô hình hồi quy tuyến tính và phi tuyến 2.1.1 Mô hình hồi quy tuyến tính Các mô hình tuyến tính với các... Hình 2.1: Hàm đáp ứng dạng mũ và logistic 2.1.5 Mô hình hồi quy phi tuyến dạng tổng quát Dạng tổng quát của mô hình hồi quy phi tuyến được biểu diễn như sau: Yi = f (Xi , γ) + εi 2.2 (2.12) Ước lượng các tham số hồi quy Khi ước lượng các tham số của mô hình hồi quy phi tuyến thường sử dụng phương pháp bình phương cực tiểu hoặc phương pháp hợp lý cực đại Cũng như trong hồi quy tuyến tính, cả hai phương... phát biểu một mô hình tuyến tính có dạng: Yi = f (Xi , β) + εi 2.1.2 Mô hình hồi quy phi tuyến 22 (2.4) Luận văn tốt nghiệp Phạm Thị Hương Mô hình hồi quy phi tuyến: Yi = f (Xi , γ) + εi (2.5) Mỗi quan sát Yi vẫn là tổng của trung bình đáp ứng f (Xi , γ) xác định bởi hàm đáp ứng phi tuyến f (X, γ) và sai số εi 2.1.3 Mô hình hồi quy dạng mũ Yi = γ0 exp(γ1 Xi ) + εi (2.6) Hàm đáp ứng cho mô hình là: f... Xi2 Khi đó mô hình hồi quy (1.38) như sau: Yi = β0 + β1 Zi1 + β2 Zi2 + β3 Zi3 + β4 Zi4 + β5 Zi5 + εi đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) 9 Luận văn tốt nghiệp Phạm Thị Hương Hình 1.2: Ví dụ cộng tính của hàm đáp ứng Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát Điều kiện mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29) là tuyến tính với các tham số,... hình hồi quy phi tuyến (2.12) là độc lập cùng phân phối chuẩn và phương sai không đổi Khác với mô hình hồi quy tuyến tính, thường không thể tìm thấy các biểu thức giải thích cho các ước lượng bình phương cực tiểu và hợp lý cực đại trong mô hình hồi quy phi tuyến Thay vào đó, các thủ tục tìm kiếm số được sử dụng với cả hai thủ tục dự đoán này, đòi hỏi phải tính toán chuyên sâu Do đó phân tích mô hình hồi. .. số mô hình hồi quy phi tuyến tự thêm và bớt các biến dự báo một cách trực tiếp Sử dụng các công cụ chẩn đoán để kiểm tra sự phù hợp của một mô hình đóng một vai trò quan trọng trong quá trình xây dựng một mô hình hồi quy phi tuyến 2.5 2.5.1 Các kết luận về tham số hồi quy phi tuyến Ước lượng phương sai sai số M SE = SSE = n−p (Yi − Yˆi )2 = n−p [Yi − f (Xi , g)2 ] n−p (2.27) Với hồi quy phi tuyến, M... phân tích mô hình hồi quy phi tuyến thường dùng các phần mềm máy tính chuyên dụng 24 Luận văn tốt nghiệp 2.3 Phạm Thị Hương Ước lượng bình phương cực tiểu trong hồi quy phi tuyến Phương pháp bình phương cực tiểu cho hồi quy đơn tuyến tính yêu cầu việc cực tiểu hóa hàm tiêu chuẩn: n [Yi − (β0 + β1 Xi )]2 Q= (2.13) i=1 Tiêu chuẩn bình phương cực tiểu được viết lại cho hồi quy phi tuyến như sau: n [Yi... Xi2 + β3 Xi3 + εi đây chính là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) Sự kết hợp của các trường hợp Một mô hình hồi quy có thể có sự kết hợp của một số trường hợp ở trên và ta vẫn có thể đưa được về mô hình hồi quy tuyến tính tổng quát Xét mô hình hồi quy với hai biến dự báo sau có chứa các điều kiện tuyến tính và bình phương cho mỗi biến và một điều kiện tương tác: 2 2 Yi = β0 + β1 Xi1... báo Các phần dư bình phương đơn giản là hồi quy đối với các biến dự báo được chứa trong tổng bình phương hồi quy SSR∗ , và kiểm định tiến hành như trong hồi quy đơn, sử dụng tổng bình phương sai số SSE cho toàn bộ mô hình hồi quy bội 1.9.4 Kiểm định F cho sự không phù hợp Kiểm định xem liệu hàm đáp ứng hồi quy bội: E{Y } = β0 + β1 X1 + + βp−1 Xp−1 có mặt đáp ứng thích hợp hay không Do vậy, với việc... bình đáp ứng cho trường hợp thứ i là: p−1 f (Xi , γ) ≈ (0) fi (0) (0) + Dik βk k=0 và xấp xỉ của mô hình hồi quy phi tuyến (2.12) Yi = f (Xi , γ) + εi là: p−1 Yi ≈ (0) fi (0) (0) + Dik βk + εi (2.20) k=0 Chuyển fi(0) sang vế trái và đặt Yi(0) = Yi − fi(0) ta có một mô hình hồi quy tuyến tính xấp xỉ như sau: p−1 (0) Yi (0) (0) ≈ Dik βk + εi (2.21) k=0 Dạng ma trận của mô hình hồi quy tuyến tính xấp