Hồi quy với biến định tính thực hành bằng ngôn ngữ r

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Hoàng Thị Thanh Huyền HỒI QUY VỚI BIẾN ĐỊNH TÍNH THỰC HÀNH BẰNG NGÔN NGỮ R KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Hà Nội – Năm 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA TOÁN Hoàng Thị Thanh Huyền HỒI QUY VỚI BIẾN ĐỊNH TÍNH THỰC HÀNH BẰNG NGÔN NGỮ R Chuyên ngành: Toán ứng dụng KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: Tiến sĩ: Hà Bình Minh Hà Nội – Năm 2016 LỜI CẢM ƠN Trước trình bày nội dung báo cáo thực tập chuyên ngành, em xin bày tỏ lòng biết ơn sâu sắc tới Tiến sĩ Hà Bình Minh tận tình hướng dẫn để em hoàn thành đề tài Em xin bày tỏ lòng biết ơn chân thành tới toàn thể thầy cô giáo khoa Toán, Trường Đại học Sư phạm Hà Nội dạy dỗ em tận tình suốt trình học tập khoa Nhân dịp em xin gửi lời cảm ơn chân thành tới gia đình, bạn bè bên em, động viên, giúp đỡ em suốt trình học tập thực đề tài Xuân Hòa, ngày tháng năm 2016 Sinh viên Hoàng Thị Thanh Huyền LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu khóa luận trung thực không trùng lặp với đề tài khác Tôi xin cam đoan giúp đỡ cho việc thực khóa luận cảm ơn thông tin thu trích dẫn khóa luận rõ nguồn gốc Hà Nội, ngày tháng năm 2016 Sinh viên Hoàng Thị Thanh Huyền Mục lục GIỚI THIỆU NGÔN NGỮ R 1.1 Ưu điểm hạn chế R 1.2 Cài đặt R 1.3 "Văn phạm" R 1.3.1 Cách đặt tên R 1.3.2 Hỗ trợ R Cách nhập liệu vào R 1.4.1 Nhập số liệu trực tiếp: c() 1.4.2 Nhập số liệu trực tiếp: edit (data.frame()) 1.4.3 Nhập số liệu từ text file: read table 10 1.4.4 Nhập số liệu từ Excel: read.csv 11 1.4.5 Nhập số liệu từ SPSS: read.spss 11 1.4 HỒI QUY VỚI BIẾN ĐỊNH TÍNH 2.1 12 Khái niệm hồi quy 12 2.1.1 Phân tích hồi quy 12 2.1.2 Biến phụ thuộc biến độc lập 12 2.1.3 Nhắc lại mô hình hồi quy hai biến tuyến tính 13 2.2 Khái niệm biến giả 14 2.2.1 Biến định lượng biến định tính 15 2.2.2 Hồi quy với biến định lượng biến định tính có hai phạm trù 2.2.3 Hồi quy với biến định lượng biến định tính có nhiều hai phạm trù 2.2.4 19 22 Hồi quy với biến định lượng hai biến định tính 23 2.3 Biến giả với hệ số góc khác 25 2.4 Biến giả với tung độ gốc hệ số góc khác 26 2.5 Biến giả phân tích thời vụ 28 2.6 Hồi quy tuyến tính khúc (piecewise linear regression) 34 2.7 Hồi quy với biến giả, mô hình Semi Logarit 38 2.7.1 Mô hình Log - Lin 38 2.7.2 Mô hình Lin - Log 42 Hồi quy với biến phụ thuộc biến giả 45 2.8.1 Một số ví dụ biến phụ thuộc định tính 45 2.8.2 Biến phụ thuộc nhị phân 47 2.8.3 Phân tích xác suất biểu trạng thái 2.8 biến phụ thuộc định tính 48 Mô hình xác suất tuyến tính LPM 50 Kết luận 56 2.8.4 LỜI MỞ ĐẦU 1.Lí chọn đề tài Trong thực tế để nghiên cứu tượng kinh tế, xã hội, ta xây dựng mô hình hồi quy để thể mối quan hệ biến, phản ánh chất tượng để từ đưa nhận xét, kết luận tượng Nhưng tượng lúc mô tả biến định lượng mà biến định tính Trong trường hợp hồi quy với biến định tính, ta phải lượng hóa chúng số, thường số số gọi biến giả Hồi quy nói chung hồi quy với biến định tính nói riêng ta cần đến trợ giúp phần mềm chuyên dụng Chúng ta sử dụng phần mềm thông dụng SAS, SPSS, Stata, S-Plus để phân tích số liệu biểu đồ Tuy nhiên, để sử dụng phần mềm đó, phí tương đối cao Để khắc phục hạn chế đó, năm 1996, hai nhà thống kê học Ross Ihaka Robert Gentleman thuộc trường đại học Auckland New Zealand phát họa ngôn ngữ cho phân tích thống kê mà họ đặt tên R hoàn toàn miễn phí Để hiểu hồi quy với biến định tính, sử dụng phần mềm R phân tích số liệu, em lựa chọn đề tài " Hồi quy với biến định tính: Thực hành ngôn ngữ R" 2.Mục đích nghiên cứu Nghiên cứu hồi quy với biến định tính, sử dụng ngôn ngữ R phân tích số liệu vẽ biểu đồ Phương pháp nghiên cứu Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN Sử dụng ngôn ngữ R hỗ trợ tìm mô hình hồi quy với biến định tính, thực hành ví dụ R, từ tìm tham số đưa đánh giá, kết luận với tượng nghiên cứu Phạm vi nghiên cứu Do thời gian không nhiều nên luận văn tìm hiểu số vấn đề hồi quy với biến định tính: mô hình hồi quy có chứa biến độc lập định tính mô hình hồi quy với biến phụ thuộc định tính Bố cục đề tài Đề tài bao gồm hai chương: • Chương 1: Giới thiệu ngôn ngữ R Chương 1: Trình bày kiến thức tổng quan ngôn ngữ R như: cách cài đặt, cách đặt tên, cách nhập liệu R • Chương 2: Hồi quy với biến định tính Chương 2: Trình bày kiến thức chung hồi quy, khái niệm biến giả kĩ thuật sử dụng biến giả số mô hình hồi quy Do thời gian thực đề tài không nhiều, kiến thức hạn chế nên luận văn em không tránh thiếu sót Em mong nhận góp ý ý kiến phản biện quý thầy cô bạn đọc để em hoàn thiện luận văn Em xin chân thành cảm ơn! Chương GIỚI THIỆU NGÔN NGỮ R Nói cách ngắn gọn, R phần mềm sử dụng cho phân tích thống kê biểu đồ Thật ra, chất R ngôn ngữ máy tính đa năng, sử dụng cho nhiều mục tiêu khác nhau, từ tính toán đơn giản, toán học giải trí, toán học ma trận đến phân tích thống kê phức tạp 1.1 Ưu điểm hạn chế R Phần mềm R có số ưu điểm vượt trội so với phần mềm chuyên dụng khác như: * Ưu điểm: • R phần mềm miễn phí, có sẵn web dễ dàng cài đặt • Việc nhập - xuất liệu đơn giản gọn so với phần mềm chuyên dụng khác • Với phần mềm R, tạo biểu đồ chuyên nghiệp có chất lượng hình ảnh cao Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN • Chúng ta dễ dàng giải thích kết thực phân tích thống kê R xuất thông tin cần thiết • Khi sử dụng phần mềm R để phân tích liệu, cập nhật phương pháp phân tích thống kê đại cách cài đặt package chuyên dụng • Với R sử dụng để tính toán máy tính thông thường (tính toán số học, đạo hàm, giải phương trình ) Tuy nhiên, phần mềm R tồn hạn chế chẳng hạn như: * Hạn chế • Thuật ngữ khó hiểu • Dùng lệnh • Kí hiệu 1.2 Cài đặt R Để sử dụng R ta phải cài đặt R máy tính Với máy tính kết nối mạng, truy cập địa chỉ: http://cran R-project.org Tài liệu cần tải tùy theo phiên bản, thường có tên bắt đầu mẫu tự R số phiên (version) Khi tải R xuống máy tính, bước cài đặt (set-up) vào máy tính Để làm việc nhấn chuột vào tài liệu làm theo hướng dẫn cách cài đặt hình Sau hoàn tất việc cài đặt hình destop xuất Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN Thực phẩm D2 X3 Y thịt gà 45 915 thịt lợn 68 1023 thịt lợn 73 1176 thịt gà 49 845 thịt gà 54 942 thịt lợn 81 1680 thịt lợn 70 1200 thịt gà 65 thịt lợn 85 1750 thịt gà 58 759 985 Sử dụng R theo thao tác sau: thucpham = edit (data.frame()) mreg = lm (data=thucpham, Y ~ D2 + log(X3)) summary (mreg) "thucpham" tên đối tượng Khi ta có bảng kết sau: 43 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN Vậy tìm mô hình hồi quy là: Yˆi = −2625.3 + 181.4D2i + 882 ln X3i • Vì p-value lớn nên tham số hồi quy có ý nghĩa thống kê, chứng tỏ biến độc lập có ảnh hưởng lên biến phụ thuộc • Có βˆ3 = 882 > cho thấy giá bán thịt gà thịt lợn đồng biến với lượng hàng tiêu thụ, không phù hợp quy luật cung cầu • Mức tiêu thụ thịt gà là: Yˆi = −2625.3 + 882 ln X3i Mức tiêu thụ thịt lợn là: Yˆi = −2443.9 + 882 ln X3i • βˆ2 = 181.4, bán mức giá lượng thịt lợn tiêu thụ nhiều lượng thịt gà 181.4 kg βˆ3 = 882, giá bán tăng 1% lượng thịt gà thịt lợn tăng tăng 882 kg 44 Khóa luận tốt nghiệp Đại học 2.8 2.8.1 HOÀNG THỊ THANH HUYỀN Hồi quy với biến phụ thuộc biến giả Một số ví dụ biến phụ thuộc định tính Thực tế có nhiều tượng mà biến phụ thuộc biến định tính, biến độc lập biến định lượng, biến định tính Ví dụ 2.8.1 45 Khóa luận tốt nghiệp Đại học Biến phụ thuộc HOÀNG THỊ THANH HUYỀN Các trạng thái Biến độc lập thể Chưa tìm Kết tốt việc làm; Tìm nghiệp; kinh Tình trạng viêc việc làm làm sinh viên chuyên nghiệm thực tế; ngoại ngữ; sau tốt nghiệp ngành;Làm việc tin học; động trái ngành học;học lực tiếp cao học sở thích,khả ô tô,xe máy,xe đạp tài Phương tiện lại xe buýt,máy bay, tàu hỏa sức khỏe, quãng đường di chuyển phương pháp học tập,ý thức kết học tập giỏi,khá,trung bình sách tham khảo yếu, động học tập Để cho đơn giản ta xét biến phụ thuộc định tính gồm hai trạng thái biểu 46 Khóa luận tốt nghiệp Đại học Biến phụ thuộc HOÀNG THỊ THANH HUYỀN Các trạng thái Biến độc lập thể Kết tốt nghiệp; kinh Tình trạng viêc Đang tìm việc, nghiệm thực có việc tế; ngoại ngữ; làm sinh viên sau tốt nghiệp tin học; động lực sở thích,khả phương tiện cá tài Phương tiện lại nhân, phương tiện sức khỏe, công cộng quãng đường di chuyển phương pháp Kết thi tuyển vào đại học học tập,ý thức đỗ, trượt sách tham khảo học sinh lớp 12 động học tập 2.8.2 Biến phụ thuộc nhị phân Biến phụ thuộc nhị phân sử dụng để mã hóa cho biến phụ thuộc biến định tính gồm hai trạng thái biểu Cụ thể ảnh hưởng biến độc lập Xi , biến phụ thuộc Yi có hai trạng thái: • Yi = 1, thể trạng thái A 47 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN • Yi = 0, trạng thái A Ví dụ 2.8.2 Biến Y - tôn giáo cá nhân, ta đặt: Yi = người có tôn giáo; Yi = người tôn giáo 2.8.3 Phân tích xác suất biểu trạng thái biến phụ thuộc định tính Đối với biến phụ thuộc định tính, ta cần phân tích khả biến thể trạng thái A khả thể trạng thái đối lập A ¯ Do việc thực hồi quy có liên quan tới vấn đề sử trạng thái A dụng đại lượng đo lường xác suất Chẳng hạn, ta xét ảnh hưởng hai biến độc lập chất lượng sản phẩm giá thành sản phẩm lên biến phụ thuộc khả khách hàng mua sản phẩm M Như ta cần phân tích tác động biến độc lập lên xác suất để xảy biến cố A (mua hàng) khả xảy biến cố A¯ (không mua hàng) Để đơn giản ta xét ảnh hưởng biến độc lập X (X biến định tính biến định lượng) lên biến phụ thuộc Y: Ta đặt biến giả Y = biểu trạng thái A Y = biểu ¯ trạng thái A Với quan sát thứ i, ứng với giá trị Xi biến độc lập, xác suất để xảy biến cố A điều kiện Xi Pi = P (A/Xi ) = P (Y = 1/Xi ) ¯ i) = xác suất để biến cố A không xảy điều kiện Xi P (A/X P (Y = 0/Xi ) = − Pi (vì A A¯ hai trạng thái biểu đối lập biến phụ thuộc) 48 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN Biến Yi có phân phối xác suất sau: Biến Yi Xác suất 1-Pi Pi Tổng xác suất Với tính chất trên, biến Yi tuôn theo quy luật phân phối xác suất Bernoulli Trung bình có điều kiện biến Y là: E(Y /Xi ) = × Pi + × (1 − Pi ) = Pi Đại lượng đo lường mức độ ưu (Odds), gọi tỉ lệ ưu thế, cho thấy mức chênh lệch xác suất để A xảy A không xảy ra: Odds = Pi 1−Pi = P (A/Xi ) ¯ i) P (A/X Giá trị cá biệt Yi nhận hai giá trị Từ phương trình: Yi = β1 + β2 Xi + Ui Ta xét sai số ngẫu nhiên: Ui = Yi − β1 − β2 Xi = Yi − Pi Khi sai số chênh lệch giá trị cá biệt biến Yi theo quy luật phân phối Bernoulli xác suất tương ứng Sai số ngẫu nhiên Ui biến ngẫu nhiên nhận hai giá trị 1-p với xác suất tương ứng Pi Khi đó, − E(Y /Xi ) = −p với xác suất tương ứng 1-Pi Sau bảng phân phối xác suất sai số ngẫu nhiên Ui : Ui Xác suất Khi Y=1 - β1 − β2 Xi Pi Khi Y=0 −β1 − β2 Xi − Pi Nếu E(Yi /Xi ) = f (Xi ) xác suất để biến định tính biểu trạng 49 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN thái A hàm theo Xi , có miền giá trị nằm đoạn [0; 1] Khi đó, tương ứng với điều kiện Xi , xác suất để biến cố A xảy hàm Xi : Pi = P (A/Xi ) = P (Y = 1/Xi ) = E(Yi /Xi ) = f (Xi ) 2.8.4 Mô hình xác suất tuyến tính LPM Mô hình LPM dạng tuyến tính thông thường, ước lượng phương pháp OLS Mô hình LPM với biến độc lập Dạng tổng quát: Yi = β1 + β2 Xi + Ui Với E(Ui ) = E(Yi /Xi ) = β1 + β2 Xi Do đó, Pi = P (Y = 1/Xi ) = E(Y /Xi ) = β1 + β2 Xi Ta thấy, xác suất để xảy Y = hàm tuyến tính theo biến độc lập X Theo mô hình này, X tăng đơn vị kéo theo xác suất biến cố A thay đổi lượng β2 Khi X = 0, xác suất β1 Ta dùng phương pháp OLS để ước lượng tham số hồi quy mô hình hồi quy tuyến tính theo tham số dạng: Pˆi = Yˆi = βˆ1 + βˆ2 Xi 2.Mô hình LPM với nhiều biến độc lập Với (k-1) biến độc lập X2 , X3 , , Xk mô hình LPM có dạng tổng quát : k Yi = β1 + β2 X2i + + βk Xki + Ui = βj Xji + Ui (X1 = 1) j=1 k Pi = E(Y /X2i , , Xki ) = β1 + β2 X2i + + βk Xki = βj Xji j=1 Khi yếu tố khác không đổi, Xj thay đổi đơn vị xác suất để biến cố xảy thay đổi lượng cố định βj Xác suất tăng lên hay giảm xuống tùy thuộc vào dấu hệ số góc Khi tất 50 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN biến độc lập xác suất β1 3.Những vi phạm giả thiết OLS mô hình LPM (a)Mô hình LPM vi phạm giả thiết phương sai không thay đổi Do Yi Phương sai sai số: Var(Ui ) = E(Ui ) = Pi (1 − Pi ) + (1 − Pi )2 Pi = Pi (1 − Pi ) Vì Pi hàm Xi , thay đổi theo Xi , phương sai sai số thay đổi Ước lượng điểm phương sai sai số ngẫu nhiên điều kiện Xi ωi = Pˆi (1 − Pˆi ) Cũng sai số Ui biến ngẫu nhiên rời rạc nên phân phối theo quy luật phân phối chuẩn giả thiết OLS yêu cầu (b)Hàm LPM có thỏa mãn điều kiện xác suất không? Theo điều kiện xác suất, Pi phải thuộc đoạn [0; 1] Tuy nhiên mô hình LPM không thỏa mãn điều kiện Thật X tiến đến vô nhận giá trị đủ lớn, giá trị hàm Pi = β1 + β2 Xi vượt đoạn [0; 1], vượt khoảng giá trị xác suất 4.Các giải pháp khắc phục vi phạm giả thiết OLS mô hình LPM Để khắc phục tượng phương sai sai số thay đổi, ta chia phương trình hồi quy gốc (Yi = β1 + β2 Xi + Ui ) cho bậc hai √ phương sai sai số ωi = Pi (1 − Pi ) Mô hình biến đổi sau: √Yi ωi = β1 √1ωi + β2 √Xωii + √Ui ωi Thực tế ta điều tra tổng thể nên biết giá trị Pi Từ biết giá trị ωi Để ước 51 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN lượng giá trị ωi , ta thực hai bước sau đây: • Bước 1: Thực hồi quy theo OLS, ta có Yˆi ước lượng không chệch E(Yi /Xi ) Sau tính ω ˆ i = Yˆi (1 − Yˆi ) = Pˆ (1 − Pˆ ) ước lượng ωi • Bước 2: Sử dụng ω ˆ i để khắc phục tượng phương sai thay đổi: √Yi ω ˆi = β1 √1ωˆ + β2 √Xωˆi + √Uωˆi Trong phép biến đổi này, quan i i i sát có xác suất Pˆi = Yˆi thuộc khoảng [0; 1] sử dụng Ngoài loại bỏ bớt quan sát phương pháp không bảo đảm ước lượng thỏa mãn điều kiện xác suất Ví dụ Ví dụ 2.8.3 Giả sử ta có bảng khảo sát 40 hộ gia đình tình trạng sở hữu nhà Trong đó: Y = tình trạng sở hữu nhà; Y = có sở hữu nhà; Y = sở hữu nhà; X = Thu nhập gia đình (1000 USD) 52 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN Hộ Y X Hộ Y X Hộ Y X Hộ Y X 11 17 21 22 31 17 16 12 18 22 16 32 13 18 13 14 23 12 33 21 11 14 20 24 11 34 20 12 15 25 16 35 11 19 16 19 26 11 36 20 17 16 27 20 37 17 13 18 10 28 18 38 16 9 19 29 11 39 10 10 20 18 30 10 40 17 Phương trình hồi quy biến Y theo biến X có dạng: Yˆi = βˆ1 + βˆ2 Xi Để tìm hệ số βˆ1 βˆ2 ta sử dụng phần mềm R với thao tác sau: thunhap = edit(data.frame()) thunhap / enter reg = lm(data=thunhap,Y ~ X) / enter summary(reg) / enter thunhap tên đối tượng Khi ta có kết sau: 53 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN Vậy phương trình hồi quy cần tìm là: Yˆi = −0, 94569 + 0, 102231Xi Trong trường hợp yếu tố khác không đổi, với kết ta có nhận xét sau: • Nhận xét ý nghĩa kinh tế βˆ1 = −0, 9457: Nếu thu nhập hộ gia đình 0, xác suất để hộ gia đình sở hữu nhà -0,9457 Vì xác suất số âm, âm ta quy xác suất Vậy cho rằng, thu nhập, hộ gia đình có xác suất để sở hữu nhà nghĩa khả sở hữu nhà • Nhận xét ý nghĩa kinh tế βˆ2 = 0, 102231 = 10%: Khi thu nhập hộ gia đình tăng lên đơn vị (1000 USD), khả sở hữu nhà tăng thêm bình quân khoảng 10% 54 Khóa luận tốt nghiệp Đại học HOÀNG THỊ THANH HUYỀN • Cụ thể, với mức thu nhập hộ gia đình 12.000 USD (X=12), ta dự báo khả sở hữu nhà hộ là: (Yˆi /X = 12) = −0, 9457 + 12 × 0, 1021 = 0, 2795 ≈ 28% 55 Kết luận chung Trong đề tài em trình bày vấn đề liên quan đến hồi quy với biến định tính ví dụ mô hình hồi quy thực hành ngôn ngữ R Nội dung luận văn trình bày về: Giới thiệu ngôn ngữ R Hồi quy với biến định tính: Các ví dụ thực hành R Hơn nữa, sau thời gian tìm hiểu phần mềm soạn thảo văn Latex, luận văn trình bày hoàn thiện phần mềm Tuy nhiên thời gian thực đề tài không nhiều, có thiếu sót em mong nhận góp ý quý thầy cô bạn đọc 56 Tài liệu tham khảo [1] Đào Hữu Hồ, Xác suất thống kê, Nhà xuất Đại học Quốc gia Hà Nội [2] Huỳnh Đạt Hùng, Nguyễn Khánh Bình, Phạm Xuân Giang, Kinh tế lượng, Nhà xuất Phương Đông [3] Nguyễn Văn Tuấn, Phân tích số liệu biểu đồ R, NXB Tổng hợp TP Hồ Chí Minh (2010) 57 ... lượng mà biến định tính Trong trường hợp hồi quy với biến định tính, ta phải lượng hóa chúng số, thường số số gọi biến giả Hồi quy nói chung hồi quy với biến định tính nói riêng ta cần đến trợ giúp... dụng phần mềm R phân tích số liệu, em lựa chọn đề tài " Hồi quy với biến định tính: Thực hành ngôn ngữ R" 2.Mục đích nghiên cứu Nghiên cứu hồi quy với biến định tính, sử dụng ngôn ngữ R phân tích... hình hồi quy hai biến tuyến tính 13 2.2 Khái niệm biến giả 14 2.2.1 Biến định lượng biến định tính 15 2.2.2 Hồi quy với biến định lượng biến định tính có hai phạm trù