Hồi quy bội tuyến tính, hồi quy phi tuyến và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC HÀ NỘI - NĂM 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HƯƠNG HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG Chuyên ngành: LTXS & TKT Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC Người hướng dẫn khoa học: GS TSKH ĐẶNG HÙNG THẮNG HÀ NỘI - NĂM 2015 MỞ ĐẦU Phân tích hồi quy phương pháp có ứng dụng rộng rãi phương pháp thống kê Hiện nay, mô hình hồi quy sử dụng nhiều quản trị kinh doanh, kinh tế, kỹ thuật xã hội, y tế, khoa học sinh học Các mô hình hồi quy đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến Các loại mô hình gồm nhiều dạng nhỏ phức tạp Ứng dụng thành công mô hình đòi hỏi hiểu biết sâu lý thuyết vấn đề thiết thực mà gặp phải việc sử dụng mô hình tình thực tế sống Anon viết "Cho người vũ khí: hệ số tương quan, hồi quy tuyến tính bút, người sử dụng 3" Là giảng viên trường cao đẳng, muốn nghiên cứu sâu hồi quy tuyến tính hồi quy phi tuyến nhằm nâng cao chuyên môn phục vụ cho trình giảng dạy, nên chọn đề tài làm luận văn thạc sĩ là: "Hồi quy bội tuyến tính Hồi quy phi tuyến ứng dụng" Mục đích luận văn đưa dạng hồi quy tuyến tính bội, hồi quy phi tuyến, kết phân tích để ứng dụng vào mô hình hữu ích thực tế Bản luận văn chia làm chương: Chương 1: Hồi quy bội tuyến tính Trình bày mô hình hồi quy bội tuyến tính, ước lượng hồi quy bội phân tích ước lượng hồi quy Chương 2: Hồi quy phi tuyến mô hình mạng Nơ ron Chương trình bày số mô hình hồi quy phi tuyến thường gặp, ước lượng mô hình việc phân tích, xây dựng chẩn đoán mô hình Chương 3: Ứng Dụng Đề cập đến ứng dụng mô hình hồi quy bội tuyến tính hồi quy phi tuyến thực tế Trong ứng dụng có nhấn mạnh đến việc xây dựng mô hình, ước lượng tham số đánh giá mô hình Mặc dù có nhiều cố gắng, xong nhiều yếu tố khách quan chủ quan, nên trình chọn lọc tư liệu trình bày nội dung khó tránh khỏi thiếu sót Vì mong nhận ý kiến bảo thầy cô, góp ý chân thành bạn học viên để luận văn hoàn thiện Lời cảm ơn Tôi xin bày tỏ lòng kính trọng lòng biết ơn sâu sắc đến GS TSKH Đặng Hùng Thắng, người thầy tận tình giảng dạy, truyền thụ kiến thức bổ ích tạo điều kiện để hoàn thành luận văn Thầy dành nhiều thời gian hướng dẫn giải đáp thắc mắc suốt trình thực đề tài Tôi xin gửi lời cảm ơn chân thành tới thầy cô Khoa Toán - Cơ - Tin học, Phòng sau đại học Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội; thầy cô tham gia giảng dạy khóa cao học 2013 -2015; Ban giám hiệu đồng nghiệp trường Cao Đẳng Kinh Tế Kỹ Thuật Thương Mại Hà Nội tạo điều kiện thuận lợi cho hoàn thành luận văn Cuối cùng, xin chân thành cảm ơn gia đình động viên suốt trình học tập nghiên cứu khoa học Hà Nội, tháng 12 năm 2015 Học viên Phạm Thị Hương Mục lục HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.2 Các mô hình hồi quy bội 1.2.1 Sự cần thiết phải đưa nhiều biến dự báo 1.2.2 Mô hình bậc với hai biến dự báo 1.2.3 Mô hình bậc với nhiều hai biến dự báo 1.2.4 Mô hình hồi quy tuyến tính tổng quát 1.3 Dạng ma trận mô hình hồi quy tuyến tính tổng quát 1.4 Ước lượng hệ số hồi quy 1.5 Ước lượng mẫu phần dư 1.6 Các kết phân tích phương sai 1.7 Các kết luận tham số hồi quy 1.8 Ước lượng trung bình đáp ứng dự báo quan sát 1.9 Chẩn đoán biện pháp khắc phục HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 2.1 Mô hình hồi quy tuyến tính phi tuyến 2.2 Ước lượng tham số hồi quy 2.3 Ước lượng bình phương cực tiểu hồi quy phi tuyến 2.3.1 Nghiệm phương trình chuẩn 2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton 2.3.3 Các thủ tục tìm kiếm trực tiếp khác 2.4 Xây dựng chẩn đoán mô hình 2.5 Các kết luận tham số hồi quy phi tuyến 2.5.1 Ước lượng phương sai sai số 2.5.2 Định lí mẫu lớn 2.5.3 Khi định lý mẫu lớn dùng được? 6 13 13 14 17 17 23 25 26 26 30 31 35 42 42 47 48 49 50 55 56 57 57 57 58 Phạm Thị Hương Luận văn thạc sỹ khoa học 2.6 2.5.4 Biện pháp khắc phục hậu 2.5.5 Khoảng ước lượng γk 2.5.6 Khoảng tin cậy đồng thời cho số γk 2.5.7 Kiểm tra tính liên quan tham số γk 2.5.8 Kiểm định đồng thời số γk Giới thiệu mô hình mạng Nơ ron 2.6.1 Mô hình mạng Nơ ron 2.6.2 Mạng đại diện 2.6.3 Mạng Nơ ron tổng quát hồi quy tuyến tính 2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized 2.6.5 Một số bình luận cuối mô hình mạng Nơ ron Ứng dụng 3.1 Ứng dụng 1: Dự báo doanh số bán hàng 3.1.1 Đặt toán 3.1.2 Các tính toán 3.1.3 Ước lượng hàm hồi quy 3.1.4 Các ước lượng mẫu phần dư 3.1.5 Phân tích phù hợp mô hình 3.1.6 Phân tích phương sai 3.1.7 Ước lượng tham số hồi quy 3.1.8 Ước lượng trung bình đáp ứng 3.1.9 Giới hạn dự báo cho quan sát 3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau 3.3 Ứng dụng 3: Đường cong học tập 3.4 Ứng dụng 4: Bệnh thiếu máu tim xuất viện 60 60 61 61 61 62 62 65 67 68 69 71 71 71 73 75 76 77 79 81 82 83 84 95 99 KẾT LUẬN 105 Tài liệu tham khảo 106 Chương HỒI QUY BỘI TUYẾN TÍNH 1.1 Nhắc lại hồi quy đơn tuyến tính 1.1.1 Mô hình dạng chuẩn Xét mô hình hồi quy đơn tuyến tính (còn gọi hồi quy tuyến tính đơn hay gọi tắt hồi quy đơn) với biến dự báo hàm hồi quy tuyến tính Mô hình xây dựng sau: Y i = β0 + β1 X i + εi Trong Yi : β0 , β1 : Xi : εi : (1.1) đó: Giá trị biến đáp ứng thử nghiệm thứ i Tham số Hằng số, giá trị biến dự báo thử nghiệm thứ i Sai số ngẫu nhiên với trung bình E{εi } = 0; phương sai σ {εi } = σ ; εi εj không tương quan Mô hình hồi quy (1.1) gọi đơn, tuyến tính với tham số tuyến tính với biến dự báo "Đơn" biến dự báo 1.1.2 Các đặc trưng quan trọng mô hình Giá trị đáp ứng Yi thử nghiệm thứ i tổng hai thành phần: (1) điều kiện số β0 + β1 Xi (2) điều kiện ngẫu nhiên εi Do đó, Yi biến ngẫu nhiên Do E{εi } = nên E{Yi } = β0 + β1 Xi (1.2) Phạm Thị Hương Luận văn thạc sỹ khoa học Vậy hàm hồi quy cho mô hình (1.1) là: E{Y } = β0 + β1 X (1.3) Giá trị đáp ứng Yi thử nghiệm thứ i sai khác với giá trị hàm hồi quy lượng sai số εi Sai số εi giả định có phương sai không đổi σ nên đáp ứng Yi có phương sai không đổi: σ {Yi } = σ (1.4) Do vậy, mô hình hồi quy (1.1) giả định phân phối xác suất Y có phương sai σ Các sai số giả định không tương quan Do εi εj không tương quan nên đáp ứng Yi Yj không tương quan Tóm lại, mô hình (1.1) đáp ứng Yi có phân phối xác suất mà trung bình E{Yi } = β0 + β1 Xi phương sai σ với giá trị X Hơn nữa, hai giá trị đáp ứng Yi Yj không tương quan 1.1.3 Dạng biến đổi mô hình hồi quy Đôi mô hình hồi quy (1.1) viết dạng khác Đặt X0 số có giá trị Khi mô hình (1.1) viết sau: Yi = β0 X0 + β1 Xi + εi X0 ≡ (1.5) dạng ứng với giá trị biến X có hệ số hồi quy Phép biến đổi sau dùng cho độ lệch biến dự báo Xi − X¯ thay cho Xi Từ (1.1) viết: ¯ + β1 X ¯ + εi Yi = β0 + β1 (Xi − X) ¯ + β1 (Xi − X) ¯ + εi = (β0 + β1 X) ¯ + εi = β0∗ + β1 (Xi − X) Phạm Thị Hương Luận văn thạc sỹ khoa học Do dạng mô hình biến đổi là: ¯ + εi Yi = β0∗ + β1 (Xi − X) (1.6) ¯ β0∗ = β1 X (1.6a) đó: 1.1.4 Ước lượng hàm hồi quy Các liệu quan sát thí nghiệm sử dụng cho việc ước lượng tham số hàm hồi quy bao gồm quan sát biến dự báo X biến đáp ứng Y Với thử nghiệm, có giá trị quan sát X tương ứng giá trị quan sát Y Chúng ta biểu diễn quan sát (X, Y ) cho thử nghiệm thứ (X1 , Y1 ), cho thử nghiệm thứ hai (X2 , Y2 ) tổng quát cho thử nghiệm thứ i (Xi , Yi ) i = 1, 2, , n Phương pháp bình phương cực tiểu Để tìm ước lượng "tốt" cho tham số hồi quy β0 β1 thường dùng phương pháp bình phương cực tiểu Đối với quan sát (Xi , Yi ), phương pháp bình phương cực tiểu xem xét độ lệch Yi với kì vọng nó: Yi − (β0 + β1 Xi ) (1.7) Phương pháp đòi hỏi xem xét tổng n độ lệch bình phương Tổng gọi hàm tiêu chuẩn Q: n (Yi − β0 − β1 Xi )2 Q= (1.8) i=1 Theo phương pháp bình phương cực tiểu, ước lượng β0 β1 tương ứng b0 b1 làm cực tiểu hóa hàm tiêu chuẩn Q mẫu quan sát (X1 , Y1 ), (X2 , Y2 ), , (Xn , Yn ) đưa Các ước lượng b0 b1 thỏa mãn hàm tiêu chuẩn bình phương cực tiểu xác định hai cách: Các thủ tục tìm kiếm số sử dụng ước lượng cách có hệ thống ước lượng b0 b1 khác tìm giá trị cực tiểu Tài liệu tham khảo [1] Phạm Hữu Đức Dục (2009),Mạng Nơ ron ứng dụng điều khiển tự động, Nhà xuất khoa học kỹ thuật [2] Đào Hữu Hồ - Nguyễn Văn Hữu - Hoàng Hữu Như, Thống kê toán học, Nhà xuất Đại Học Quốc Gia [3] Đặng Hùng Thắng (2005),Thống kê Ứng dụng, Nhà xuất Giáo dục [4] John Neter - William Wasserman - Michael H.Kutner (1983), Applied linear regression models, Richard D.Irwin,INC [5] Kutner- Nachtsheim - Neter (2004), Applied linear regression models 106