Hồi quy tuyến tính bội

Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA SƯ PHẠM BỘ MÔN TOÁN LUẬN VĂN TỐT NGHIỆP Đề tài: HỒI QUY TUYẾN TÍNH BỘI GVHD: Ths.HỒ HỮU HỊA Sinh viên thực hiện: Trần Thụy Huế Thanh MSSV : 1062571 Lớp: Sư phạm Toán Tin K32 Cần Thơ-04/ 2010 Trang Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh LỜI CẢM ƠN Gần bốn năm học tập tích luỹ kiến thức giảng đường trải qua bảy tháng làm luận văn, đạt kết mong đợi hoàn thành luận văn với vốn kiến thức Để có nhờ giúp đỡ tận tình thầy Bộ mơn Tốn Khoa Sư phạm Đặc biệt thầy Hồ Hữu Hịa bạn sinh viên mơn tạo điều kiện tốt cho tơi hồn thành đề tài luận văn Tơi xin chân thành gởi đến quý thầy cô bạn lời cám ơn sâu sắc Cuối cùng, xin gởi lời chúc sức khỏe đến quý thầy cô bạn Cần Thơ, ngày 25 tháng 04 năm 2010 Sinh viên thực Trần Thụy Huế Thanh Trang i Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh MỤC LỤC Trang Lời cảm ơn A PHẦN MỞ ĐẦU B PHẦN NỘI DUNG CHƯƠNG MỞ ĐẦU: KIẾN THỨC CƠ BẢN Định nghĩa xác suất - Không gian xác suất 1.1  - đại số tập hợp 1.2 Hàm xác suất - Không gian xác suất Biến ngẫu nhiên 2.1 Định nghĩa 2.2 Luật phân phối xác suất biến ngẫu nhiên 2.3 Các số đặc trưng biến ngẫu nhiên 2.4 Phân vị mức xác suất p 2.5 Các phân phối đặc biệt Biến ngẫu nhiên nhiều chiều 10 3.1 Định nghĩa 10 3.2 Bảng phân phối xác suất biến ngẫu nhiên hai chiều rời rạc 10 3.3 Hàm mật độ xác suất biến ngẫu nhiên hai chiều 12 3.4 Kì vọng có điều kiện 14 3.5 Phân phối thực nghiệm hai chiều 15 3.6 Thống kê phân phối hai chiều 16 Bài toán ước lượng 17 4.1 Phương pháp ước lượng điểm 17 4.2 Phương pháp ước lượng khoảng 17 Bài toán kiểm định 18 5.1 Giả thiết thống kê 18 5.2 Kiểm định giả thiết thống kê 18 5.3 Các bước thực việc kiểm định giả thiết thống kê 19 CHƯƠNG 1: TƯƠNG QUAN VÀ HỒI QUY 20 Trang ii Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh 1.1 Tương quan 20 1.1.1 Hiệp phương sai: 20 1.1.2 Hệ số tương quan 21 1.1.3 Tỷ số tương quan 26 1.2 Hồi quy 29 1.2.1 Đường hồi quy kì vọng 29 1.2.2 Phương pháp bình phương nhỏ 30 CHƯƠNG 2: HỒI QUY TUYẾN TÍNH ĐƠN GIẢN 32 2.1.Mơ hình hồi quy tuyến tính đơn giản tổng thể 32 2.2 Phương trình hồi quy tuyến tính đơn giản thực nghiệm 33 2.3 Kiểm định giả thiết mối liên hệ tuyến tính 35 2.3.1 Hệ số xác định 35 2.3.2 Kiểm định F 37 2.3.3 Kiểm định t 38 2.4 Khoảng tin cậy hệ số hồi quy 39 2.5 Ước lượng khoảng đường hồi quy đơn giản 40 2.6 Các ví dụ minh họa 41 CHƯƠNG 3: HỒI QUY TUYẾN TÍNH BỘI 51 3.1 Mơ hình hồi quy tuyến tính bội tổng thể 51 3.2 Phương trình hồi quy tuyến tính bội thực nghiệm 52 3.3 Phân tích hồi quy dạng ma trận 54 3.4 Kiểm định giả thiết mối liên hệ tuyến tính 56 3.4.1 Hệ số xác định hệ số xác định điều chỉnh 56 3.4.2 Kiểm định F 57 3.4.3 Kiểm định t 58 3.5 Khoảng tin cậy hệ số hồi quy 59 3.6 Ước lượng khoảng hồi tuyến tính bội 60 3.7 Hồi quy tuyến tính hai biến 61 3.7.1 Phương trình hồi quy tuyến tính hai biến 61 3.7.2 Kiểm định giả thiết mối liên hệ tuyến tính 62 3.7.4 Khoảng tin cậy hệ số hồi quy 64 3.7.4 Ước lượng khoảng hồi quy hai biến 64 Trang iii Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh 3.7.5 Các ví dụ minh họa 65 3.8 Hồi quy tuyến tính ba biến 75 3.8.1 Phương trình hồi quy tuyến tính ba biến 75 3.8.2 Kiểm định giả thiết mối liên hệ tuyến tính 76 3.8.3 Khoảng tin cậy hệ số hồi quy 78 3.8.4 Ước lượng khoảng hồi quy ba biến 78 3.8.5 Các ví dụ minh họa 79 C PHẦN KẾT LUẬN 92 PHỤ LỤC …………………………………………………………………… .93 TÀI LIỆU THAM KHẢO Trang iv Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh A PHẦN MỞ ĐẦU Lí chọn đề tài Xác suất thống kê ngành Toán học giảng dạy học tập bậc cử nhân sau đại học Đây ngành học có ứng dụng nhiều thực tế Đặc biệt, thống kê, khoa học nghiên cứu phương pháp thu thập xử lý số liệu nhằm phát quy luật thống kê tự nhiên xã hội, ngày trở nên cần thiết quan trọng đời sống Từ việc phân tích số liệu có để dự đoán xu hướng tương lai quan trọng không phát triển kinh tế mà cho lĩnh vực xã hội khác gia tăng dân số, vấn đề sản xuất nông nghiệp y học Hồi quy - phần thống kê giúp ta làm điều Trong khn khổ chương trình đào tạo đại học chúng tơi giới thiệu phần nhỏ lĩnh vực này: phương trình hồi quy đơn giản Với mục đích tìm tịi học hỏi thêm phân mơn hứng thú để tích lũy kiến thức cho việc nghiên cứu sau tơi chọn đề tài “Hồi quy tuyến tính bội” Lịch sử vấn đề Xác suất thống kê ngành khoa học đời cách lâu Vì vậy, xác suất thống kê đạt nhiều thành tựu to lớn ứng dụng nhiều thực tế Các sách xác suất thống kê viết ngày nhiều Nội dung không nói kết mang tính lý thuyết tốn học mà cịn nói ứng dụng thực tế xác suất thống kê đặc biệt thống kê Vì vậy, sinh viên ngành Tốn tơi mong muốn tìm hiểu mơn học thú vị nhiều tơi nghĩ có nhiều sinh viên khác có nhu cầu Cho nên với đề tài mặt giúp làm quen với việc nghiên cứu tốn học, mặt khác làm tài liệu tham khảo cho bạn yêu thích mơn học Trang Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh Mục đích nghiên cứu Tơi nghiên cứu đề tài với mục đích:  Tổng hợp kiến thức tương quan hồi quy, chủ yếu hồi quy tuyến tính bội biểu cụ thể qua mơ hình hồi quy tuyến tính hai biến hồi quy tuyến tính ba biến  Đưa ví dụ cụ thể cho dạng, tập liên quan đến vấn đề Nội dung nghiên cứu Trong khuôn khổ đề tài, nghiên cứu vấn đề lý thuyết vài ví dụ minh họa cho mơ hình hồi quy tuyến tính đơn giản hồi quy tuyến tính bội, cụ thể hồi quy tuyến tính hai biến hồi quy tuyến tính ba biến Phương pháp nghiên cứu Trong q trình thực đề tài, tơi thực nhiều phương pháp khác để nghiên cứu Ở đây, chủ yếu tơi sử dụng phương pháp phân tích, tổng hợp, khái quát nguồn tư liệu sưu tầm có liên quan đến vấn đề Trên sở chọn lọc, thống kê lại theo hệ thống logic cho phù hợp Thêm vào đó, giúp đỡ tận tình thầy đặc biệt thầy Hồ Hữu Hịa, người tận tình hướng dẫn để tơi hồn thành tốt đề tài Trang Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh B PHẦN NỘI DUNG CHƯƠNG MỞ ĐẦU: KIẾN THỨC CƠ BẢN Định nghĩa xác suất- không gian xác suất 1.1  - đại số tập hợp Cho tập hợp   W1 , W2 , W3 ,    (hữu hạn vơ hạn) Kí hiệu P () tập hợp tất tập  Tập hợp khác rỗng F  P() với phép toán hợp, giao, phần bù tập hợp gọi  - đại số tập  nếu: i/ A  F  A  F  ii/ Ai  F , i  1, 2,   Ai  F i 1 Từ định nghĩa ta chứng minh được: F  - đại số  thì: i /   F ii /  F iii / A, B  F  A  B  F n Mở rộng: Ai  F , i  n   Ai  F i 1 iv / A, B  F  C  A \ B  F Mỗi phần tử A, B,… F kiện ngẫu nhiên Phần tử W chứa tất phần tử  (trong có  ) kiện chắn, phần tử  kiện khơng thể Khi đó, ta có định nghĩa sau: - Sự kiện A gọi kiện thuận lợi B A  B - Hai kiện tương đương nhau: A  B A  B  B  A hay A  B A  B - Sự kiện C gọi kiện tổng hai kiện A B C  A  B Trang Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh - Sự kiện C gọi kiện tích hai kiện A B C  A  B - Hai kiện A B gọi xung khắc A  B   - B gọi kiện đối lập A B  A hay A  B tức A B  W  A  B    1.2 Hàm xác suất - Không gian xác suất Cho F  - đại số tập  Hàm P : F  R A  ( A) gọi hàm xác suất P thỏa điều kiện sau: i / ( A)  A  F ii / ()  iii / Ai  F , i  1, 2, Ai  Aj   i  j      i 1  i 1     Ai    ( Ai ) Khi đó, ba  , F ,   gọi không gian xác suất Giá trị P(A) gọi xác suất kiện A Từ tiên đề chứng minh tính chất sau: i/      ii/ A  B  ( A)  ( B) iii/ Với A tùy ý    A  iv/ Với A tùy ý A kiện đối lập A thì:     A   A  Biến ngẫu nhiên 2.1 Định nghĩa Xét không gian xác suất  , F ,   F  - đại số tập  hàm xác suất P : F  R Ánh xạ X : F  R gọi đại lượng ngẫu nhiên hay biến ngẫu nhiên Với kiện A  F , xác suất P(A) = p giá trị X(A) = a, ta viết P(X = a) = p (xác suất để biến ngẫu nhiên X nhận giá trị a p).Biến ngẫu nhiên đại lượng biến thiên nhận giá trị số phụ thuộc vào kết phép thử ngẫu nhiên (một Trang Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh quy tắc cho ứng kết phép thử với số thực) biết xác suất để nhận giá trị Các biến ngẫu nhiên thường kí hiệu X, Y, Z dạng số X1, X2, X3,… Ví dụ 1: a/ Đặt X biến ngẫu nhiên nhận giá trị số chấm xuất tung xúc xắc X nhận giá trị 1, 2, , với xác suất 1/6, xác suất để xúc xắc xuất 1, 2,…, chấm b/ Đặt Y biến ngẫu nhiên nhận giá trị chiều cao học sinh nam khối 11 trường phổ thơng Y nhận giá trị 165,1305…cm; 168,5420…cm;… Ở đây, phép thử đo chiều cao học sinh nam khối 11 trường Để đơn giản hơn, ta mơ tả biến ngẫu nhiên qua hệ kiện  A1, A2 ,  đầy đủ (  Ai  W chắn) xung khắc ( Ai Aj  , i  j ) ( A1 )  p1 , ( A2 )  p2 ,… p1  p2   Như vậy, sau thực phép thử, có kiện hệ xảy Nếu kiện A1 xảy X nhận giá trị số x1 (với xác suất p1) Nếu kiện A2 xảy X nhận giá trị số x2 (với xác suất p2)… Ví dụ 2: Một thùng thuốc gồm 100 chai có 10 chai bị hư Lấy đồng thời chai để kiểm tra có từ chai hư trở lên thùng thuốc bị loại, ngược lại, thùng thuốc chấp nhận Biến ngẫu nhiên X xác định sau: thùng thuốc bị loại X nhận giá trị 0, thùng thuốc chấp nhận X nhận giá trị Khi đó, X nhận hai giá trị {0,1} với xác suất: P(X = 0) = 0,109; P(X = 1) = 0,891 Ta thấy X nhận giá trị với nhiều khả năng: lấy 2, 3,…, chai hư, X nhận giá trị với hai khả năng: lấy 0, chai hư X mô tả đơn giản hệ gồm hai kiện đầy đủ, xung khắc: {thùng thuốc bị loại, thùng thuốc chấp nhận} Các biến ngẫu nhiên chia làm hai loại: - Biến ngẫu nhiên rời rạc: biến ngẫu nhiên nhận hữu hạn vô hạn đếm giá trị Trang Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh Khi đó, ta thu ma trận sau:  X X  1 =  202,6788247 -9,726955204  -0,1829549808  -2,298885234 -9,727040952 1,12358828 -0,182966763 -0,04218908868 -0,0421896036 0,3654978482 0,004134377828 -0,01818496624 -2,299022692  0,3654781677  -0,01818444040   0,1418660396   2164,52000  32374,37230   X Y =   491201,99600    14756,51925  b0  -3,68740    -8,902743  b1  1     Suy ra: B      X X  X Y =   0,6039472  b2     b3   17,737573  Như vậy, phương trình hồi quy cần tìm là:  y  -3,68740 - 8,902743x1  0,6039472x2  17,737573x3 b/ Để tính hệ số xác định hệ số xác định điều chỉnh ta cần tính:  yi  y   i 1 n SST= 2 1 n  =Y’Y    yi  = 264395,6086   2184.52  =25789,227 n  i 1  20 2 1 n    SSR=   yi  y  = B’X’Y    yi  = 262202,7401   2184.52  =23596,359 n  i 1  20  i 1  n  SSE=  e =   yi  yi  = Y’Y- B’X’Y= 25789,227- 23596,359= 2192,868  i 1  i 1 n n 2 i Khi đó, ta tính được: Hệ số xác định: R  SSR SSE 23596,359 = =0,915  1 SST SST 25789, 227 Hệ số xác định điều chỉnh: R   (1  R ) n 1 = 0,818 n3 c/ Để kiểm định mối liên hệ tuyến tính ta kiểm tra xem có tồn mối liên hệ tuyến tính Y với biến ba biến X1, X2 , X3 hay không? Giả thiết: H: 1    3  Đối giả thiết: H : có  j  (j=1, 2, 3) Trang 81 Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh Ta có bảng ANOVA phân tích hồi quy tuyến tính ba biến sau: Tổng bình Biến thiên phương chênh lệch Trung bình bình Bậc tự phương chênh lệch MSR = Hồi quy SSR SSR = 7865,453 MSE = Sai số SSE Giá trị kiểm định F n-4=16 F3,16 = MSR MSE = 57,389 SSE n4 = 137,054 Tổng cộng SST n-1=19 Với mức ý nghĩa  =5% F3;16;0,95 = 3,24 Ta thấy F3,16 > F3;16;0,95 nên ta bác bỏ giả thiết H: 1    3  Do đó, ta kết luận có mối liên hệ tuyến tính thiết bị bán dẫn vào ba tham số: cực phát (X1), cực (X2), cực thu (X3) d/ Để biết có tồn mối liên hệ tuyến tính Y với biến X3 mức ý nghĩa  =5% ta dùng kiểm t sau: Giả thiết : H: 3 =0 Đối giả thiết: H : 3  Thống kê dùng để kiểm định: T = Với mức ý nghĩa  =5% t b3 sb3 n  4,1 = t16;0,975 =2,12 Ta có: n sXY  ei2  i 1 n4  SSE 2192,868 = 137,054 c33 = 0,1418660396  n4 16 Nên ta : sb3  s XY c33 = (137, 054 )(0,1418660396) Khi đó: T= b3 17,737573 = = 4,0226 sb3 (137, 054 )(0,1418660396) Trang 82 Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh Như vậy, mức ý nghĩa  =5%, T  t n  4,1  nên ta bác bỏ giả thiết H: 3 =0, tức tồn mối liên hệ tuyến tính Y X3 biến X3 nên thể mơ hình hồi quy e/ Khoảng tin cậy β1 , β2 β3 mơ hình hồi quy với độ tin cậy 95% Với độ tin cậy 95%, ta có: t n  4,1 = t16;0,975 =2,12 Ta có: n sXY  ei2  i 1 n4  SSE 2192,868 = 137,054;  n4 16 c11= 1,12358828 , c22 = 0,004134377828 c33= 0,1418660396 ; suy ra: sb1  s XY c11 = (137, 054 )(1,12358828) = 12,409; sb2  s XY c22 = (137, 054 )(0,004134377828) =0,753; sb3  s XY c33 = (137, 054 )(0,1418660396) = 4,409 Do đó: Khoảng tin cậy β1 với độ tin cậy 95% là: b1  t16;0,975 sb1  1  b1  t16;0,975 sb1  ( -8,902743 ) – (2,12) (12,409)  1  ( -8,902743 )+ (2,12)( 12,409) -35,209  1  17,404 hay Khoảng tin cậy β2 với độ tin cậy 95% là: b2  t16;0,975 sb2    b2  t16;0,975 sb2  ( 0,6039472 ) – (2,12) (0,753)    ( 0,6039472 ) +(2,12) (0,753) hay -0,992    2,200 Khoảng tin cậy β3 với độ tin cậy 95% là: b3  t16;0,975 sb3  3  b3  t16;0,975 sb3  ( 17,737573 ) – (2,12) (4,409)  3  ( 17,737573 ) +(2,12) (4,409) hay 8,390  3  27,085 Trang 83 Hồi quy tuyến tính bội SVTH: Trần Thụy Huế Thanh f/ Khoảng ước lượng cho giá trị thực giá trị trung bình Y với độ tin cậy 95% x1=14,5; x2=220 x3=5 1   14,5  Ta đặt: X  X 0  1 14,5 220 5 ma trận chuyển vị X  220    5  Với ước lượng điểm ta có: -3,68740  -8,902743    = 88,7790755 Y0  X 0 B = 1 14,5 220 5   0,6039472     17,737573  Với ước lượng khoảng ta có:  202,6788247 -9,726955204 1 ( X X )   -0,1829549808  -2,298885234 -9,727040952 1,12358828 -0,182966763 -0,04218908868 -0,0421896036 0,3654978482 0,004134377828 -0,01818496624 -2,299022692  0,3654781677  -0,01818444040   0,1418660396   X 0  X X  X = 0,809916342 1 2  137,054  s XY = sXY Ta có: s XY = 11,707  t n  4,1 s XY =24,81884 Do đó, với độ tin cậy 95% khoảng ước lượng giá trị thực cho Y x1=14,5; x2=220 x3=5 là:  Y0  t n  4,1  s XY  X 0  X X  X