Chương 3 cung cấp những kiến thức về suy diễn thống kê và dự báo từ mô hình hồi quy. Nội dung chính trong chương này gồm có: Ý nghĩa của suy diễn thống kê, quy luật PPXS của một số thống kê mẫu, 2 ước lượng khoảng tin cậy cho các hệ số hồi quy, kiểm định giả thuyết thống kê về hệ số hồi quy, đánh giá sai số dự báo.
PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số CHƯƠNG SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Vũ Duy Thành thanhvu.mfe.neu@gmail.com Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân Hà Nội, 2015 Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MÔ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Ý nghĩa suy diễn thống kê Câu hỏi tình Để đánh giá tác động số năm học số năm kinh nghiệm lên lương người lao động Thu thập thông tin 100 công nhân, ước lượng mơ hình thu hàm hồi quy mẫu: wage i = 2, + 0.25educi + 0.2experi Ý nghĩa hệ số hàm hồi quy mẫu trên? Các hệ số phản ánh mối quan hệ mẫu có phản ánh đầy đủ mối quan hệ tổng thể? Trong mẫu này, gia tăng năm học mang lại nhiều tiền lương thêm năm kinh nghiệm? Điều có toàn tổng thể? Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Ý nghĩa suy diễn thống kê Câu hỏi tình Mẫu 1: wage i = 2, + 0.25educi + 0.2experi Ước lượng mơ hình với mẫu 100 cơng nhân khác thu được: Mẫu 2: wage i = 2, + 0.21educi + 0.24experi Kết từ mẫu có khác mẫu 1? Trong thực tế tổng thể, liệu tăng năm học có thực mang lại nhiều lương thêm năm kinh nghiệm? Trong tổng thể, thêm năm kinh nghiệm tác động đến mức lương? Tăng năm kinh nghiệm, có làm lương tăng nhiều 220 nghìn đồng? Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Ý nghĩa suy diễn thống kê Từ câu hỏi tình nhận thấy: Các hệ số ước lượng từ hàm hồi quy mẫu phản ánh quy luật mẫu Để biết mối quan hệ tổng thể, cần thực suy diễn thống kê cho tổng thể từ thông tin mẫu Có hai dạng suy diễn thống kê ước lượng khoảng tin cậy kiểm định.giả thuyết Bài toán ước lượng cho biết khoảng tác động biến hay nhóm biến tổng thể với độ tin cậy định Bài toán kiểm định giả thuyết kiểm tra tính đắn giả thuyết thống kê tồn tổng thể dựa thơng tin mẫu với mức ý nghĩa định Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Nội dung QUY LUẬT PPXS CỦA MỘT SỐ THỐNG KÊ MẪU ƯỚC LƯỢNG KHOẢNG TIN CẬY CHO CÁC HỆ SỐ HỒI QUY KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ VÊ HỆ SỐ HỒI QUY ĐÁNH GIÁ SAI SỐ DỰ BÁO Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Nội dung QUY LUẬT PPXS CỦA MỘT SỐ THỐNG KÊ MẪU ƯỚC LƯỢNG KHOẢNG TIN CẬY CHO CÁC HỆ SỐ HỒI QUY KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ VÊ HỆ SỐ HỒI QUY ĐÁNH GIÁ SAI SỐ DỰ BÁO Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Nhắc lại giả thiết phương pháp OLS Giả thiết Giả thiết 1: Việc ước lượng dựa sở mẫu ngẫu nhiên Giả thiết 2: Kỳ vọng sai số ngẫu nhiên giá trị (X2i , , Xki ) 0: E (u|X2i , , Xki ) = 0, ∀i Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Nhắc lại giả thiết phương pháp OLS Giả thiết Giả thiết 3: Phương sai sai số ngẫu nhiên giá trị (X2i , , Xki ) nhau: Var (u|X2i , , Xki ) = σ , ∀i Giả thiết 4: Giữa biến độc lập Xj , j = 2, , k khơng có mối quan hệ tuyến tính, nghĩa không tồn số (λ2 , , λk ) không đồng thời cho: λ X2 + · · · + λ k Xk = Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Định lý Gauss - Markov Định lý (Định lý Gauss – Markov) Khi giả thiết 1- thỏa mãn ước lượng thu từ phương pháp OLS ước lượng tuyến tính, khơng chệch có phương sai nhỏ lớp ước lượng tuyến tính khơng chệch (BLUE - Best Linear Unbiased Estimator) Từ định lý Gauss - Markov, thu được: E (βˆj ) = βj (βˆj ước lượng không chệch βj ) Sai số chuẩn βˆj , kí hiệu se(βˆj ): Se(βˆj ) = σ ˆ2 (1 − Rj2 ) Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY xji2 = RSS/(n − k) (1 − Rj2 ) xji2 Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Quy luật phân phối βˆj - Giả thiết số Với mơ hình HQTT k biến: Y = β1 + β2 X2 + + βk Xk + u Từ mẫu kích thước n: (X2i , , Xki , Yi ), i = 1, 2, , n thu được: Hàm hồi quy mẫu: Yˆi = βˆ1 + βˆ2 X2i + + βˆk Xki Để đưa suy diễn cho hệ số hồi quy tổng thể cần biết quy luật phân phối βˆj Để có quy luật phân phối βˆj , giả thiết thứ đề xuất Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 10 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Giá trị xác suất P thống kê kiểm định: P-value Bản chất mức xác xuất p kiểm định: Khi kiểm định cặp giả thuyết: H0 : βj = β ∗ H1 : βj = β ∗ Khi đó, H0 đúng, thì: P(|T | > tqs ) = αqs (p–value kiểm định) → Với mức ý nghĩa α thì: Nếu αqs < α coi H0 khơng xảy Nếu αqs > α coi H0 xảy → Nếu mức ý nghĩa lớn xác xuất kiểm định bác bỏ H0 Nếu mức ý nghĩa nhỏ xác xuất kiểm định thừa nhận H0 Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân 65 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Giá trị xác suất P thống kê kiểm định: P-value Ví dụ Kiểm định cặp giả thuyết: H0 : βj = β ∗ H1 : βj = β ∗ Giả sử có: tqs = 2.3 n − k = 26 Khi mức xác suất p kiểm định là: P(|T (26)| > 2.3) = × 0.148 = 0.0296 Kết cho thấy: với mức ý nghĩa lớn 2.96% bác bỏ H0 Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân 66 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Giá trị xác suất P thống kê kiểm định: P-value Quy tắc kiểm định sử dụng xác xuất: Nếu giá trị xác suất p kiểm định nhỏ mức ý nghĩa α ta bác bỏ H0 Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 67 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Kiểm định nhiều ràng buộc hệ số Ví dụ Ước lượng mơ hình suất lao động (prod) phụ thuộc vào độ tuổi (age), học vấn (edu) kinh nghiệm (exp), giới tính (gen) tiền lương (wage): proc = β1 + β2 age + β3 edu + β4 exp + β5 gen + β6 wage + u Chúng ta muốn kiểm định xem biến wage biến gen có tác động lên proc Kiểm định cặp giả thuyết: H0 : β5 = β6 = H1 : β52 + β62 > Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MÔ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 68 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Kiểm định nhiều ràng buộc hệ số Xét hai mơ hình: Mơ hình khơng có ràng buộc (U - unrestricted): proc = β1 + β2 age + β3 edu + β4 exp + β5 gen + β6 wage + u Mơ hình có ràng buộc (R - restricted): proc = β1 + β2 age + β3 edu + β4 exp + u Nếu H0 hai mơ hình Do đó, dùng RSS để kiểm tra Nếu RSS nhỏ H0 Nếu RSS đủ lớn có sai khác hai mơ hình Bài tốn gọi toán kiểm định mở rộng (thu hẹp) hàm hồi quy Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 69 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Các bước kiểm định nhiều ràng buộc hệ số Bước 1: Thiết lập cặp giả thuyết thống kê Bước 2: Ước lượng hàm hồi quy khơng có ràng buộc có ràng buộc; sau đó, tính giá trị RSS(U) RSS(R) (hoặc R (U) R (R))tương ứng Bước 3: Tính giá trị quan sát thống kê F: Fqs = (R (U) − R (R))/m (RSS(R) − RSS(U))/m = RSS(U)/(n − k(U)) (1 − R (U))/(n − k(U)) Trong đó: m số ràng buộc H0 , k(U) số hệ số có mơ hình khơng có ràng buộc Bước 4: So sánh với giá trị tới hạn, Fqs > fα (m; n − k(U)) bác bỏ H0 , trường hợp ngược lại chấp nhận H0 với mức ý nghĩa α cho trước Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 70 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Các bước kiểm định nhiều ràng buộc hệ số Ví dụ Hồi quy tiền lương (wage) theo trình độ học vấn (educ), trình độ học vấn người mẹ (medu) số anh chị em gia đình (ssib) thu được: wage i = 2404 + 86.12edui + 14.88medui − 30.25ssibi RSS = 3649563 n = 32 Nếu nghi ngờ rằng: trình độ học vấn người mẹ số anh chị em gia đình khơng tác động đến mức lương Kiểm định: H0 : β3 = β4 = H1 : β32 + β42 = Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân 71 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Các bước kiểm định nhiều ràng buộc hệ số Ví dụ Ước lượng mơ hình có ràng buộc: wage = α1 + α2 edu + u thu được: RSS(R) = 3770332 Khi đó, giá trị quan sát thống kê F: Fqs = (3770332 − 3649563)/2 = 0.46 3649563/28 Nhận thấy: Fqs < f0.05 (2, 28) = 3.49 Do đó, khơng đủ sở bác bỏ H0 hay thừa nhận H0 tức hai biến medu ssib khơng có tác động đến biến wage Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân 72 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Kiểm định phù hợp hàm hồi quy Với mơ hình HQTT k biến: Y = β1 + β2 X2 + + βk Xk + u Mơ hình hồi quy phù hợp (hay có ý nghĩa) biến độc lập có tác động lên biến phụ thuộc Nói khác, hệ số βj khác với j > Kiểm định cặp giả thuyết: H0 : β2 = β3 = = βk = H1 : β22 + β32 + + βk2 > Đây trường hợp đặc biệt toán kiểm định thu hẹp hàm hồi quy Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân 73 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Kiểm định phù hợp hàm hồi quy Sử dụng giá trị quan sát thống kê F: Fqs = R /(k − 1) (1 − R )/(n − k) Trong đó: R hệ số xác định mơ hình (đầy đủ biến) k số hệ số mơ hình Nếu: Fqs > fα (k − 1, n − k) → bác bỏ H0 thừa nhận H1 tức hàm hồi quy phù hợp Trong trường hợp ngược lại, thừa nhận H0 hay hàm hồi quy không phù hợp Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MÔ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 74 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Kiểm định phù hợp hàm hồi quy Ví dụ Hồi quy tiền lương (wage) theo trình độ học vấn (educ), trình độ học vấn người mẹ (medu) số anh chị em gia đình (ssib) thu được: wage i = 2404 + 86.12edui + 14.88medui − 30.25ssibi R = 0.169; Fqs = 1.89; P(F − stat) = 0.15 n = 32 Do: Fqs = 1.89 < f0.05 (3.28) = 2.95 Như vậy, không đủ sở bác bỏ H0 hay ta thừa nhận H0 tức hàm hồi quy không phù hợp Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 75 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Kiểm định t kiểm định F Trong toán kiểm định hệ số hồi quy: H0 : βj = β ∗ H1 : βj = β ∗ Người ta chứng minh được: (tqs )2 = Fqs (tα/2 (n − k))2 = Fα (1; n − k) Do đó, tốn có ràng buộc, kiểm định t kiểm định F cho kết mức xác suất kiểm định Tuy nhiên, kiểm định t đơn giản Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MÔ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 76 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Nội dung QUY LUẬT PPXS CỦA MỘT SỐ THỐNG KÊ MẪU ƯỚC LƯỢNG KHOẢNG TIN CẬY CHO CÁC HỆ SỐ HỒI QUY KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ VÊ HỆ SỐ HỒI QUY ĐÁNH GIÁ SAI SỐ DỰ BÁO Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân 77 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Đánh giá sai số dự báo mơ hình Các tiêu đánh giá sai số dự báo mơ hình Căn bậc hai trung bình bình phương sai số: n RMSE = (Yˆi − Yi )2 i=1 n Sai số trung bình tuyệt đối n MAE = Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY |Yˆi − Yi | i=1 n Khoa Toán Kinh tế - Trường Đại học Kinh tế Quốc dân 78 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Đánh giá sai số dự báo mơ hình Sai số trung bình tuyệt đối tính theo phần trăm n MAPE = i=1 Yˆi − Yi Yi n Giá trị RMSE MAE phụ thuộc vào đơn vị đo Y giá trị MAPE không phụ thuộc Thông thường với số liệu KTXH, MAPE thường yêu cầu < 5%, số biến số khác yêu cầu dự báo với sai số thấp nhiều VNINDEX hay CPI theo tháng, Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 79 ... = 95% P(a3 < 3 < b3 ) = 95% không suy được: P(a2 + a3 < β2 + 3 < b2 + b3 ) = 95% Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân... (βˆj )) Định lý 3. 2: Khi giả thiết từ 1-5 thỏa mãn thì: t= βˆj − βj ∼ Tn−k se(βˆj ) Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MÔ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân... DỰ BÁO Vũ Duy Thành SUY DIỄN THỐNG KÊ VÀ DỰ BÁO TỪ MƠ HÌNH HỒI QUY Khoa Tốn Kinh tế - Trường Đại học Kinh tế Quốc dân 15 PPXS CỦA TK MẪU Ước lượng KTC Kiểm định giả thuyết đánh giá sai số Bài toán