Hồi quy tuyến tính với biến định tính và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Nguyễn Hoàng Vân Anh HỒI QUY TUYẾN TÍNH VỚI BIẾN ĐỊNH TÍNH VÀ ỨNG DỤNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Hà Nội – Năm 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Nguyễn Hoàng Vân Anh HỒI QUY TUYẾN TÍNH VỚI BIẾN ĐỊNH TÍNH VÀ ỨNG DỤNG Chuyên ngành: Toán ứng dụng KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Trần Trọng Nguyên Hà Nội – Năm 2016 Lời cảm ơn Trước trình bày nội dung khóa luận tốt nghiệp, em xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Trần Trọng Nguyên tận tình hướng dẫn để em hoàn thành đề tài Em xin bày tỏ lòng biết ơn chân thành tới toàn thể thầy cô giáo khoa Toán, Trường Đại học Sư phạm Hà Nội dạy bảo em tận tình suốt trình học tập khoa Nhân dịp em xin gửi lời cảm ơn chân thành tới gia đình, bạn bè bên em, động viên, giúp đỡ em suốt trình học tập thực đề tài thực tập Hà Nội, ngày tháng 05 năm 2016 Sinh viên Nguyễn Hoàng Vân Anh i Lời cam đoan Em xin cam đoan hướng dẫn PGS.TS Trần Trọng Nguyên khóa luận "Hồi quy tuyến tính với biến định tính ứng dụng" hoàn thành không trùng với đề tài khác Trong trình hoàn thành khóa luận, em thừa kế thành tựu nhà khoa học với trân trọng biết ơn Hà Nội, ngày tháng 05 năm 2016 Sinh viên Nguyễn Hoàng Vân Anh ii Mục lục Lời mở đầu iii Danh sách bảng v Danh sách hình vẽ vi Kiến thức chuẩn bị 1.1 1.2 1.3 Mô hình số khái niệm 1.1.1 Mô hình hồi quy 1.1.2 Hàm hồi quy tổng thể 1.1.3 Hàm hồi quy mẫu Phương pháp bình phương nhỏ (Phương pháp OLS) 1.2.1 Các giả thiết mô hình hồi quy 1.2.2 Phương pháp OLS 1.2.3 Các tham số đặc trưng ước lượng OLS Một số toán ước lượng kiểm định giả thuyết 1.3.1 Khoảng tin cậy cho hệ số hồi quy 10 1.3.2 Kiểm định giả thuyết thống kê hệ số hồi quy 11 1.3.3 Kiểm định phù hợp hàm hồi quy 13 i Khóa luận tốt nghiệp Đại học 1.3.4 Nguyễn Hoàng Vân Anh Kiểm định thu hẹp hồi quy Mô hình hồi quy chứa biến định tính biến độc lập 15 17 2.1 Khái niệm biến giả 17 2.2 Mô hình hồi quy chứa biến định tính biến độc lập 19 2.2.1 2.3 Mô hình hồi quy chứa biến định tính có hai phạm trù 19 2.2.2 Mô hình hồi quy với biến giả biến tương tác 26 2.2.3 Mô hình hồi quy với biến định tính có nhiều phạm trù 34 Ứng dụng 37 Hồi quy với biến phụ thuộc biến định tính 43 3.1 Khái niệm 43 3.2 Mô hình logit 44 3.2.1 Mô hình logit - Phương pháp Goldberger (1964) 44 3.2.2 Mô hình logit - Phương pháp Berkson (1953) 47 Ứng dụng mô hình logit 50 3.3 KẾT LUẬN 54 Tài liệu tham khảo 55 ii Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Lời mở đầu Lý chọn đề tài Phân tích hồi quy có lẽ phương pháp phân tích số liệu thông dụng thống kê học Nó nghiên cứu phụ thuộc biến (biến phụ thuộc) vào hay nhiều biến khác (biến độc lập), nhằm mục đích ước lượng (hay dự đoán) giá trị trung bình biến phụ thuộc sở giá trị biết trước biến độc lập Trong thực tế, biến phụ thuộc chịu tác động biến định lượng mà chịu tác động biến định tính biến phụ thuộc biến định lượng mà biến định tính Với mong muốn tìm hiểu sâu vấn đề này, với giúp đỡ tận tình PGS TS Trần Trọng Nguyên, chọn nghiên cứu đề tài: "Hồi quy tuyến tính với biến định tính ứng dụng" Mục đích nghiên cứu Nghiên cứu mô hình hồi quy tuyến tính chứa biến độc lập biến định tính mô hình hồi quy với biến phụ thuộc biến định tính Tìm hiểu số toán thực tế ứng dụng hai mô hình với hỗ trợ phần mềm Eviews Đối tượng phạm vi nghiên cứu - Đối tượng nghiên cứu: biến định tính, mô hình hồi quy với biến định tính - Phạm vi nghiên cứu: mô hình hồi quy tuyến tính chứa biến độc lập biến định tính, mô hình hồi quy với biến phụ thuộc biến định tính (chủ yếu tìm hiểu mô hình logit) iii Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Phương pháp công cụ nghiên cứu - Phương pháp nghiên cứu tổng hợp tài liệu tham khảo - Phương pháp nghiên cứu thực nghiệm với liệu thực tế - Sử dụng phần mềm Eviews 4.0 Cấu trúc khóa luận Khóa luận gồm ba chương Chương "Kiến thức chuẩn bị" Chương nhắc lại số kiến thức cần sử dụng để nghiên cứu phần sau Chương "Mô hình hồi quy chứa biến định tính biến độc lập" Chương nghiên cứu biến định tính, mô hình chứa biến định tính biến độc lập ứng dụng Chương "Hồi quy với biến phụ thuộc biến định tính" Chương nghiên cứu mô hình hồi quy với biến phụ thuộc biến định tính, cụ thể mô hình logit với ứng dụng iv Danh sách bảng 1.1 Các cặp giả thuyết điều kiện để bác bỏ H0 tương ứng kiểm định giả thuyết hệ số hồi quy 1.2 2.1 12 Các cặp giả thuyết điều kiện để bác bỏ H0 tương ứng kiểm định tổ hợp tuyến tính hệ số hồi quy 13 Biến định tính có nhiều hai phạm trù 35 v Danh sách hình vẽ 2.1 Hệ số biến giả cho biết khác biệt hệ số chặn hai hàm hồi quy 2.2 21 Hệ số biến giả cho biết khác biệt hệ số chặn hai hàm hồi quy 24 2.3 Hai hồi quy hoàn toàn khác (a) 28 2.4 Hai hồi quy hoàn toàn khác (b) 28 2.5 Mô hình khác hệ số góc giống hệ số chặn 29 2.6 Hai mô hình hồi quy hoàn toàn giống 29 2.7 Bảng số liệu thị trường tiêu thụ trà xanh nhân tố liên quan khác 37 2.8 Bảng số liệu biến giả 38 2.9 Bảng ước lượng giá trị liên quan đến biến giả qua phần mềm Eviews 3.1 Bảng số liệu mức thu nhập số hộ sở hữu nhà nhóm quan sát 3.2 3.3 39 51 Bảng xử lý số liệu mức thu nhập số hộ sở hữu nhà nhóm quan sát 51 Kết ước lượng mô hình phương pháp Berkson 52 vi Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh hưởng rõ rệt yếu tố mùa hay thời tiết, vào mùa hè sản lượng tiêu thụ có gia tăng đột biến, vào mùa đông hay xuân sản lượng giảm đáng kể Dựa vào điều nhà sản xuất điều chỉnh để tăng (giảm) lượng sản phẩm đáp ứng nhu cầu người tiêu dùng đảm bảo doanh thu nhà sản xuất 42 Chương Hồi quy với biến phụ thuộc biến định tính Chương trình bày mô hình hồi quy biến phụ thuộc biến giả mô hình cung cấp phương pháp ước lượng (mô hình logit) với ứng dụng mô hình 3.1 Khái niệm Các mô hình hồi quy mà ta đề cập từ trước đến có biến phụ thuộc biến định lượng Tuy nhiên thực tế gặp trường hợp biến phụ thuộc biến định tính Chẳng hạn học sinh sau tốt nghiệp phổ thông trung học cần phải lựa chọn học tiếp lên đại học học trường nghề Một người đến nơi làm việc xe máy xe buýt Biến biểu thị định lựa chọn trường học sinh hay biến biểu thị lựa chọn phương tiện giao thông mà người sử dụng biến định tính Để lượng hóa biến định tính, tìm hiểu phần trước, ta sử 43 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh dụng biến giả 3.2 Mô hình logit 3.2.1 Mô hình logit - Phương pháp Goldberger (1964) Ta có biến Y, X1 Mô hình Logit, pi xác định bằng: exp(β0 + β1 X1i ) pi = E(Y = 1|Xi ) = = + exp(β0 + β1 X1i ) + exp[−(β0 + β1 X1i )] exp(β0 + β1 X1i ) 1 − pi = − = + exp(β0 + β1 X1i ) + exp(β0 + β1 X1i ) eβ0 +β1 X1i e(Xi β) exp(Xi β) pi = = = β +β X (X β) + e 1i + exp(Xi β) 1+e i (3.1) Đặt: Xi = (1, X1i )   β0 β =   β1 Trong mô hình trên, pi hàm tuyến tính biến độc lập Phương trình (3.1) gọi hàm phân phối (tích lũy) Logistic Trong hàm (X.β) nhận giá trị từ −∞ đến +∞ pi nhận giá trị từ đến 1.pi phi tuyến với X tham số β Điều có nghĩa ta áp dụng trực tiếp OLS để ước lượng Người ta dùng phương pháp ước lượng hợp lý tối đa để ước lượng β 44 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Vì Y nhận hai giá trị 0- 1, Y có phân bố nhị thức nên hàm hợp lý với mẫu kích thước n có dạng sau đây: n pYi i (1 − pi )1−Yi L= i=1 n exp(Xi β) L= i=1 + exp(Xi β) n (exp(X β))Yi i L= i=1 + exp(Xi β) exp(β t∗ ) L= n (1 + exp(Xi β) Yi 1 + exp(Xi β) 1−Yi i=1 Trong đó: n Yi t∗ = i=1 n , X1i Yi i=1 t∗ vectơ hai chiều (số chiều hệ số hồi quy) Ta cần tìm ước lượng hợp lý tối đa β, ta có: n ∗ Ln(L) = β t − Ln(1 + exp(Xi β)) i=1 n ∂Ln(L) = S(β) = t∗ − ∂β i=1 n ˆ = t∗ − ⇒ S(β) i=1 45 exp(Xi β) Xi = + exp(Xi β) ˆ exp(Xi β) X ˆ i + exp(Xi β) (3.2) Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh với βˆ ước lượng β u Chú ý (lnu) = ; (eu ) = eu u u Phương trình phi tuyến β Để giải phương trình này, ˆ người ta dùng phương pháp Newton- Raphson để tìm β H(β) = E ∂ Ln(L) ∂β∂β n =− i=1 n =− i=1 =E ∂S(β) ∂β (1 + exp(Xi β))exp(Xi β)Xi − (exp(Xi β))2 Xi (1 + exp(Xi β))2 Xi exp(Xi β)i Xi Xi (1 + exp(Xi β))2 H(β) gọi ma trận thông tin Nếu βˆ nghiệm S(β), khai triển Taylor β, ta có ˆ = S(β) ∂Ln(L) ∂ Ln(L) ˆ (β − β) + ∂β ∂β∂β ∂ Ln(L) ma trận không suy biến Nếu ∂β∂β ∂ Ln(L) (βˆ − β) = − ∂β∂β −1 S(β) = − [H(β)]−1 S(β) Ta có trình lặp sau: Bắt đầu với giá trị ban đầu β, chẳng hạn β0 , ta tính S(β0 ) I(β0 ), sau tìm β công thức sau đây: β = β0 − [H(β0 )]−1 S(β0 ) 46 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Quá trình lặp thực hội tụ Do H(β) dạng toàn phương xác định dương, nên trình cho ước lượng hợp lý cực đại Tương ứng với βˆ ta có [H(β)]−1 ma trận hiệp phương ˆ Sử dụng ma trận để kiểm định giả thiết thực sai β suy đoán thống kê khác Sau ước lượng βˆ ta tính ước lượng xác suất pi = P (Y = 1|Xi ): ˆ exp(Xi β) pˆi = ˆ + exp(Xi β) Kết hợp với (3.2) ta có: pˆi Xi = Yi Xi Phương trình dùng để kiểm nghiệm lại pˆi Như mô hình Logit không nghiên cứu ảnh hưởng trực tiếp biến độc lập Xk Y mà xem xét ảnh hưởng Xk đến xác suất để Y nhận giá trị hay kì vọng Y Ảnh hưởng Xk đến pi trình bày sau: ˆ ∂ exp(Xi β) pi = βk = pi (1 − pi )βk ∂Xk (1 + exp(Xi β))2 3.2.2 Mô hình logit - Phương pháp Berkson (1953) Trong thực tế ta gặp liệu gom nhóm (grouped) lặp lại (replicated) Thường liệu dạng có mẫu lớn, thay dùng phương pháp Goldberger ta sử dụng phương pháp Berkson Ta có hai biến Y X 47 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Phương pháp xác định pi sau: pi = eβ0 +β1 X1i eXi β = + eβ0 +β1 X1i + eXi β − pi = − eXi β = + eXi β + eXi β pi = + eXi β + e−Xi β = eXi β − pi Ln pi − pi = Zi = β0 + β1 X1i (3.3) Li = Ln pi − pi + ui = β0 + β1 X1i + ui (3.4) Đặt L không tuyến tính biến số mà tuyến tính tham số Nhận xét: • Khi Z biến thiên từ −∞ đến +∞, p biến thiên từ đến 1, L biến thiên từ −∞ đến +∞ Nhu dù p thuộc (0, 1) L không bị giới hạn • Dù L tuyến tính X xác suất không hàm tuyến tính X pi phản ánh hội, khả Y = 1, nên β1 cho biết mức − pi thay đổi L (ln hội Y = 1) X tăng đơn vị Còn • Do β0 cho biết khả Y = X = 48 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Ước lượng mô hình Logit: Li = Ln pi − pi + ui = β0 + β1 X1i + ui Do chưa biết pi nên sử dụng ước lượng pi Giả sử mẫu có Ni giá trị Xi , Ni quan sát có ni giá ni trị mà Yi = 1, ước lượng điểm pi pˆi = Ni Chúng ta dùng pˆi để thu mô hình pi − pi Lˆi = Ln ˆ 1i = βˆ0 β1 X Ta có Yi ∼ (Ni , pi ) E(Yi ) = Ni pi phương sai: var(Yi ) = Ni pi (1 − pi ) Theo định lý giới hạn trung tâm , Ni lớn Yi tiệm cận chuẩn N 0, Ni pi (1 − pi ) Như mô hình (3.4) có phương sai sai số thay đổi Với Xi ước lượng phương sai σ ˆ2 = Ni pˆi (1 − pi ) Từ ta rút bước sau đây: 49 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh ni ˆ pˆi , Li = Ln Ni − pˆi Từ ta tính được: wˆi = Ni pˆi (1 − pˆi ) • Bước 1.Với Xi ta tính pˆi = = βˆ0 + βˆ1 Xi • Bước Thực biến đổi biến số dùng OLS để ước lượng mô hình sau: √ √ √ √ wi Li = β0 wi + β1 wi X1i + wi ui L∗ i = β0 + β1 X ∗ 1i + vi 3.3 Ứng dụng mô hình logit Bài toán Công ty bất động sản ABC nghiên cứu khả mua nhà số hộ gia đình dựa mức thu nhập Biến X thu nhập trung bình hộ gia đình (triệu đồng/ tháng) Biến Ni biến số hộ gia đình có thu nhập Xi Biến ni số hộ gia đình có nhà riêng với mức thu nhập Xi Biến Y biểu thị hộ gia đình có/ nhà riêng Yi =   1 hộ gia đình i có nhà riêng,  0 hộ gia đình i nhà riêng Ta có số liệu quan sát X, Ni ni sau: 50 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Hình 3.1: Bảng số liệu mức thu nhập số hộ sở hữu nhà nhóm quan sát Với pˆi = ni ˆ pˆi , Li = Ln Ta có bảng số liệu sau: Ni − pˆi Hình 3.2: Bảng xử lý số liệu mức thu nhập số hộ sở hữu nhà nhóm quan sát 51 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Dùng phương pháp ước lượng OLS ta thu kết sau đây: Hình 3.3: Kết ước lượng mô hình phương pháp Berkson Ta có √ ∗ Lˆi = βˆ1 wi + βˆ2 Xi∗ √ = −1.593239 wi + 0.078669Xi∗ pi giải thích mức độ "ưa thích" − pi có nhà riêng hộ gia đình có thu nhập Xi Trong toán tỷ lệ Ví dụ ta ước lượng khả mua nhà riêng hộ gia đình có mức thu nhập X = 10 (triệu đồng/ tháng) sau: ∗ Lˆi (X = 10) = −1.593239 ∗ √ 12.60 + 0.078669 ∗ 10 ∗ = −5.6554 + 2.7925 = −2.8629 52 √ 12.60 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh Do −2.8629 Lˆi = √ = −0.807 12.60 pˆi = e−0.807 = 0.446 − pˆi Từ ta có: pˆi = 0.308 Ý nghĩa hệ số hồi quy √ βˆ2 = 0.078669 mức thay đổi L có trọng số ( wi ) thay đổi √ đơn vị có trọng số ( wi ) X √ √ (βˆ2 wˆi ) mức thay đổi L có trọng số ( wi ) X thay đổi đơn vị Ý nghĩa toán Dựa vào mô hình hồi quy công ty bất động sản xác định đối tượng khách hàng tiềm năng, hoạch định kế hoạch maketing khách hàng để nâng cao doanh thu công ty 53 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh KẾT LUẬN Phân tích hồi quy công cụ hữu hiệu thông dụng phân tích dự báo kinh tế - xã hội Khóa luận nghiên cứu hai mô hình hồi quy mô hình hồi quy chứa biến độc lập biến định tính mô hình hồi quy với biến phụ thuộc biến định tính Đây hai mô hình có nhiều ứng dụng thực tiễn nhận nhiều quan tâm nghiên cứu nhà toán học Cụ thể, khóa luận làm công việc sau: (i) Tổng hợp số kiến thức phân tích hồi quy như: mô hình hồi quy, phương pháp ước lượng OLS số toán ước lượng kiểm định giả thuyết (ii) Trình bày biến giả, cách biểu diễn thông tin có hai phạm trù biến giả, mô hình hồi quy chứa biến độc lập biến định tính Mở rộng mô hình hồi quy cách thêm biến tương tác trình bày mô hình với biến định tính có nhiều phạm trù (iii) Tính toán vài ví dụ ứng dụng mô hình hồi quy với biến độc lập biến định tính (iv) Trình bày mô hình hồi quy với biến phụ thuộc biến giả mô hình Logit (v) Tính toán vài ví dụ có ý nghĩa thực tế ứng dụng mô hình logit Mặc dù cố gắng song hạn chế mặt thời gian, kiến thức kinh nghiệm nên không tránh khỏi thiếu sót 54 Khóa luận tốt nghiệp Đại học Nguyễn Hoàng Vân Anh số vấn đề chưa nghiên cứu sâu Phần "Mô hình hồi quy chứa biến độc lập biến định tính" chưa nghiên cứu đến mô hình hồi quy chứa nhiều biến định tính Phần "Mô hình hồi quy với biến phụ thuộc biến định tính" nhiều mô hình cung cấp phương pháp ước lượng "Mô hình logit" mô hình probit, mô hình xác suất tuyến tính (LMP), mô hình Tobit, mô hình Poisson Tác giả mong nhận quan tâm đóng góp ý kiến thầy cô bạn để khóa luận hoàn thiện Trân trọng cảm ơn Hà Nội, tháng 05 năm 2016 55 Tài liệu tham khảo [1] Nguyễn Quang Dong, Nguyễn Thị Minh (2012), Giáo trình Kinh tế lượng, Nhà xuất Đại học Kinh tế Quốc dân [2] Heij, C., De Bore, pmc, Franses, ph, Kloek, T., Van Dijk (2014), Econometric methods with applications in business and economics, Oxford University Press Inc, NY [3] Wooldridge, J (2009), Introductory Econometrics: a modern approach, Souh- Western, 4- th edition [4] Trang http://timtailieu.vn/tai-lieu/bai-giang-kinh-te-luong-ung- dung-16383/ [5] Trang http://tailieu.vn/doc/bai-giang-mon-kinh-te-luong-nguyenthanh-hai-647885.html 56 ... nghiên cứu: biến định tính, mô hình hồi quy với biến định tính - Phạm vi nghiên cứu: mô hình hồi quy tuyến tính chứa biến độc lập biến định tính, mô hình hồi quy với biến phụ thuộc biến định tính (chủ... Chương "Mô hình hồi quy chứa biến định tính biến độc lập" Chương nghiên cứu biến định tính, mô hình chứa biến định tính biến độc lập ứng dụng Chương "Hồi quy với biến phụ thuộc biến định tính" Chương... hình hồi quy chứa biến định tính biến độc lập 2.2.1 Mô hình hồi quy chứa biến định tính có hai phạm trù Để đặc trưng cho biến định tính có hai phạm trù ta dùng biến giả Ví dụ 2.2.1 Hồi quy thu