rrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr
9/3/2014 Chương 2: Phân tích mơ hình hồi qui tuyến tính đa biến Khái niệm phân tích hồi quy Mơ hình hồi qui hai biến Phương pháp bình phương nhỏ Mơ hình hồi quy đa biến Các giả định mơ hình hồi qui đa biến Độ xác sai số chuẩn ước lượng Kiểm định giả thuyết mô hình Ví dụ mơ hình hồi qui đa biến Khái niệm phân tích hồi quy Phân tích hồi quy đề cập đến việc nghiên cứu phụ thuộc biến số, biến phụ thuộc, vào hay nhiều biến số khác, biến độc lập, với ý định ước lượng và/hoặc dự đoán giá trị trung bình (tổng thể) biến phụ thuộc dựa giá trị biết hay cố định biến độc lập Ví dụ Chúng ta quan tâm đến việc dự báo chiều cao trung bình người biết chiều cao người cha Dùng biểu đồ phân tán để biểu diễn phân phối chiều cao người tổng thể tương ứng với chiều cao người cha cho trước hay cố định 9/3/2014 Giá trị trung bình Chiều cao người (tính inch) Chiều cao người cha (tính inch) Hình 1.1 Phân phối giả thiết chiều cao người trai tương ứng với chiều cao người cha cho trước Mơ hình hồi qui hai biến Hàm hồi qui tổng thể (population regression function – PRF) có dạng: E(Y|Xi) = f (Xi) Nếu PRF có biến độc lập gọi hàm hồi qui đơn (hồi qui hai biến), có từ biến độc lập trở lên gọi hàm hồi qui bội Hàm hồi qui tổng thể cho biết giá trị trung bình biến Y thay đổi biến X nhận giá trị khác Một ví dụ giả thiết Giả sử có tổng thể gồm 60 hộ gia đình, có thu nhập (X) chi tiêu (Y) hàng tuần sau 9/3/2014 Một ví dụ giả thiết Mặc dù có biến động lớn Y ứng với giá trị X, nhưng, cách tổng quát , X Y Giá trị kỳ vọng Y ứng với giá trị X đgl Giá trị kỳ vọng có điều kiện, ký hiệu: E(Y|X) Ví dụ: E(Y|X = 80) = 65; E(Y|X = 260) = 173 Giá trị kỳ vọng khơng có điều kiện : E(Y) = 7273/60 = 121,20 Phân phối có điều kiện chi tiêu ứng với mức thu nhập khác Hàm hồi quy tổng thể Đường nối điểm tròn đen hình đường hồi quy tổng thể , biểu diễn hồi quy Y vào X Về mặt hình học, đường hồi quy tổng thể quỹ tích giá trị trung bình có điều kiện biến phụ thuộc ứng với giá trị cố định biến giải thích 9/3/2014 Mơ hình hồi quy tuyến tính Vậy kỳ vọng có điều kiện E(Y|Xi) hàm số Xi: E(Y|Xi) = f (Xi) Dạng hàm f(Xi) phụ thuộc vào mối quan hệ kinh tế (thường xác định dựa vào lý thuyết kinh tế) Hàm hồi quy tuyến tính: hàm số f (X) có dạng hàm số bậc 10 Mơ hình hồi qui hai biến Thuật ngữ “tuyến tính” hiểu theo hai nghĩa: tuyến tính tham số tuyến tính biến - Tuyến tính tham số: E(Y|Xi) = β1+ β2Xi2 - Tuyến tính biến số: E(Y|Xi) = β1+ β22Xi Chỉ phân tích hàm hồi qui tuyến tính tham số!!! 11 Các hàm số tuyến tính tham số 12 9/3/2014 Mơ hình sau tuyến tính??? Y K L e u y i xi Yi e 1 X i u i Yi 12 X i ui Yi X i ui ui zi 13 Mơ hình hồi qui hai biến PRF tuyến tính với tham số biến số: E(Y|Xi) = β1+ β2Xi β1, β2 tham số chưa biết cố định – tham số hồi qui β1 hệ số tự do, cho biết giá trị trung bình biến phụ thuộc Y biến X nhận giá trị 2 EY | X : tác động biên X lên Y: hệ số X góc, cho biết giá trị trung bình biến phụ thuộc Y thay đổi (tăng or giảm) đơn vị giá trị biến độc lập X tăng đơn vị với điều kiện yếu tố khác không thay đổi 14 Tác động biên X lên Y ??? yi 1 xi xi2 ui ln yi 1 ln x1i 2 x2i ui yi 1 ln x1i 2x2i ui yi xi ui y i xi ui zi 15 9/3/2014 Mơ hình hồi qui hai biến Ứng với giá trị X, giá trị Y số quan sát có độ lệch so với giá trị kỳ vọng Giá trị quan sát thứ i biến phụ thuộc Y ký hiệu làYi - Ký hiệu ui chênh lệch Yi E(Y|Xi) ui = Yi - E(Y|Xi) Yi = E(Y|Xi) + ui (dạng ngẫu nhiên PRF) ui đgl đại lượng ngẫu nhiên hay sai số ngẫu nhiên, hay phần nhiễu, phần dư ngẫu nhiên 16 Mơ hình hồi qui hai biến Tại quan sát có sai số so với E(Y|X)??? Lý cho tồn ui Yếu tố đại diện cho biến khơng đưa vào mơ hình: biến khơng rõ, khơng có số liệu, ảnh hưởng q nhỏ, mơ hình tiết kiệm, dùng dạng sai, … 17 Mơ hình hồi qui hai biến Trong thực tế, ta không thu thập số liệu tổng thể Không tìm hàm PRF, Phải dựa hệ số hồi quy mẫu để suy diễn cho hệ số PRF Hàm hồi qui mẫu (sample regression function – SRF): xác định từ số liệu mẫu rút từ tổng thể 18 9/3/2014 Mô hình hồi qui hai biến Nếu hàm PRF có dạng tuyến tính: E(Y|Xi) = β1+ β2Xi, Ta có SRF: Yi 1 X i Y i ước lượng điểm E(Y|Xi) ước lượng điểm β1; ước lượng điểm β2; 19 Hàm hồi qui mẫu Do Ŷi ước lượng E(Yi|Xi) nên có chênh lệch ûi với Yi, hay: Yi = Ŷi + ûi (ûi ký hiệu ei: ước lượng điểm ui gọi phần dư hay sai số ngẫu nhiên) Dạng ngẫu nhiên SRF: Yi 1 2 X i ei 20 Hàm hồi qui mẫu Do 1 , ước lượng β1 β2 nên: ˆ1 1 ˆ2 Các đường hồi quy mẫu không trùng với đường hồi quy tổng thể Các giá trị ước lượng có chênh lệch với giá trị tổng thể 21 9/3/2014 Hàm hồi qui mẫu SRF PRF 600 (PRF) 500 Tiêu dùng, Y (X D) (SRF) E(Y/Xi) 400 i Yi ei Yi 300 2 200 1 2 100 1 Xi 0 100 200 300 400 500 600 700 800 900 22 Hàm hồi qui mẫu Rõ ràng, ước lượng từ hàm hồi quy mẫu ước lượng cao (overestimate) hay ước lượng thấp (underestimate) giá trị thực tổng thể Vấn đề đặt SRF xây dựng để gần i thực tốt, ta i thực 23 Phương pháp bình phương nhỏ (OLS) Ta có hàm SRF: Yi 1 2 X i ei Yˆi ei ei Yi Yˆi Yi 1 2 X i ˆ Ta muốn tìm ˆ cho Yˆ gần với Y nhất, hay ei nhỏ Tiêu chuẩn 1: tìm ˆ cho ei nhỏ ei thường nhỏ chí sai số âm, dương triệt tiêu lẫn 24 9/3/2014 Phương pháp bình phương nhỏ (OLS) Tiêu chuẩn : tìm ˆ cho ei2 nhỏ Khắc phục triệt tiêu sai số âm, dương Tìm ˆ từ số liệu mẫu Phương pháp “Bình phương nhỏ nhất” thông thường OLS: Ordinary Least Squares 25 Phương pháp OLS e Y i i ei2 f ˆ1, ˆ2 ˆ ˆ X i Tìm ˆ1 ˆ 2sao cho hàm số: đạt cực tiểu Làm tìm giá trị cực tiểu biểu thức ??? Tính đạo hàm f theo ˆ1 ˆ2và cho đạo hàm = Giải hệ phương trình để tìm ˆ 26 Phương pháp OLS Ta hệ phương trình chuẩn: Giải hệ ta được: 27 9/3/2014 Phương pháp OLS Các hệ số ước lượng OLS không tồn trường hợp nào??? Khi X số!!! 28 Phương pháp OLS ˆ1 ˆ đgl ước lượng bình phương nhỏ Các thuộc tính ˆ1 ˆ I Ứng với mẫu cho trước, ước lượng OLS II Các ước lượng OLS ước lượng điểm, có nghĩa là, với mẫu cho trước, ước lượng cho biết giá trị tham số tổng thể nghiên cứu III Một thu ước lượng từ mẫu, ta vẽ đường hồi quy mẫu đường có đặc tính sau: 29 Đặc điểm đường hồi quy mẫu Nó qua giá trị trung bình mẫu X Y, 30 10 9/3/2014 Đặc điểm đường hồi quy mẫu Giá trị ước lượng trung bình Y với giá trị trung bình Y quan sát Giá trị trung bình sai số ei 0: ei = Sai số ei khơng có tương quan với giá trị dự báo Yi Chứng minh!!! Sai số ei khơng có tương quan với Xi Chứng minh!!! 31 Mơ hình hồi quy bội (đa biến) Giả sử ta có mơ hình Yi ˆ1 ˆ2 X2i ˆ3 X3i ei hồi quy biến mẫu: Những quy tắc tương tự dùng cho minei2 min Yi ˆ1 ˆ2 X2i ˆ3 X3i mơ hình đa biến: Các hệ số tính cơng thức: 32 Độ xác hay sai số chuẩn ước lượng OLS Các giá trị ước lượng OLS phụ thuộc vào số liệu mẫu Số liệu mẫu khác lại khác => cần đo lường độ xác ước lượng Nếu ˆ ước lượng không chệch , ta có E(ˆ ) = , ˆ Sự phân tán ˆ quanh đo lường sai số chuẩn (standard error – s.e.) 33 11 9/3/2014 Phương sai Sai số chuẩn ước lượng OLS mơ hình biến Trong đó: var: phương sai; se: sai số chuẩn 2: phương sai sai số, ước lượng công thức: e2 ˆ i n2 i e : Tổng bình phương sai số (Residual sum of squares – RSS) e ( Y Yˆ ) y i i i i ˆ 22 x i2 34 Phương sai Sai số chuẩn ước lượng OLS mơ hình biến ˆ e i Sai số chuẩn hồi quy (se): • Độ lệch giá trị Y so với n đường hồi quy • “Độ tin cậy mơ hình ” (goodness of fit) 35 Phương sai Sai số chuẩn ước lượng OLS mơ hình biến 2: phương sai sai số, ước lượng cơng thức: ˆ e i n3 36 12 9/3/2014 Một số đặc điểm phương sai hay se ước lượng OLS Phương sai ước lượng 2 tỷ lệ với 2, nghịch biến với xi2 Do vậy, X biến động lớn, se nhỏ => ước lượng xác; n lớn, xác Phương sai ước lượng 1 tỷ lệ với 2 Xi2, nghịch biến với xi2 cở mẫu 37 Hệ số xác định R2: thước đo Độ tin cậy mơ hình Gọi TSS (Tổng bình phương sai số tổng cộng): TSS = (Yi -Y)2 ESS: bình phương sai số giải thích ESS = ( Yˆi -Y)2 RSS: tổng bình phương sai số: RSS = ei2 Ta chứng minh được: TSS = ESS + RSS R2 ESS RSS 1 TSS TSS 38 Hệ số xác định R2 R2 cho biết % biến động Y giải thích biến số X mơ hình < R2 < R2 1: mơ hình giải thích nhiều biến động Y mơ hình đáng tin cậy Một nhược điểm R2 giá trị tăng số biến X đưa vào mơ hình tăng, bất chấp biến đưa vào khơng có liên quan Cần sử dụng R2 điều chỉnh (adjusted R2 -R2) để định việc đưa thêm biến vào mơ hình 39 13 9/3/2014 Hệ số xác định điều chỉnhR2 R 1 (1 R2 ) n 1 nk • Khi k > 1, R2 < R2 Do vậy, số biến X tăng,R2 tăng R2 • Khi đưa thêm biến vào mơ hình mà làm choR2 tăng nên đưa biến vào ngược lại 40 Giả định mơ hình hồi qui đa biến (1) Giả định 1: Tuyến tính tham số hồi qui (linear in parameters) (2) Giả định 2: Các giá trị mẫu Xj ước lượng đúng, khơng có sai số (random sampling): Giá trị biến giải thích số xác định (3) Giả định 3: Kỳ vọng trung bình số học sai số (zero conditional mean) E(u|xi) = 41 Giả định 3: E(ui|xi) = 42 14 9/3/2014 Giả định mơ hình hồi qui đa biến (4) Giả định 4: Các sai số u độc lập với biến giải thích Cov(ui, Xi) = (5) Giả định 5: Các sai số ui có phương sai (homoscedasticity) tất giá trị Xi Var(ui|Xi) = σ2 43 Giả định 5: Var(u|Xi) = σ2 44 Phương sai sai số không đồng nhất: var(ui|Xi) = i2 45 15 9/3/2014 Giả định mơ hình hồi qui đa biến (6) Giả định 6: Các sai số u cặp độc lập với Cov(ui, ui’) = E(uiui’) = 0, i i’ 46 Giả định mô hình hồi qui đa biến (7) Giả định: Khơng có biến độc lập số, không tồn mối liên hệ tuyến tính hồn tồn xác biến độc lập (no perfect multicollinearity) (8) Số quan sát n phải lớn số biến độc lập (9) Mơ hình hồi quy xác định đắn: khơng có sai lệch dạng mơ hình 47 Sai lệch dạng mơ hình 48 16 9/3/2014 Định lý Gauss-Markov Một ước lượng gọi “ước lượng khơng chệch tuyến tính tốt nhất” (BLUE) thỏa điều kiện: Nó tuyến tính, có nghĩa i hàm tuyến tính biến ngẫu nhiên, chẳng hạn Y Nó khơng chệch, E ˆ i i Nó có phương sai nhỏ nhất, hay gọi ước lượng hiệu (efficient estimator) Định lý : Với giả định mơ hình hồi quy cổ điển, ước lượng bình phương bé có phương sai nhỏ nhất, nhóm ước lượng tuyến tính khơng chệch, tức là, chúng BLUE 49 Chứng minh định lý Gauss-Markov xi yi xi Yi Y xiYi xi Y ˆ xi2 xi2 xi2 x Y Y X X x Y x x x k Y i i i i i i i i Y X X x Y i i x i i i x i i Trong đó: ki xi i x Vậy hàm tuyến tính Y 50 Một số thuộc tính ki Do Xi không ngẫu nhiên nên ki không ngẫu nhiên ki = ki2 = 1/xi2 kixi = kiXi = Chứng minh: x 0 x k x k X X k X x x x x x k i i i i i i i i i i i i i i X ki ki X i 51 17 9/3/2014 Chứng minh: không chệch ˆ k i Yi k i X i u i 1 k i k i X i k i ui ki ui E ˆ ki E ui Lấy kỳ vọng vế: (Do ki phi ngẫu nhiên nên xem đại lượng cố định) 52 Phương sai ˆ E ˆ var ˆ E ˆ E ˆ 2 2 E k iu i E k12 u12 k 22 u22 k n2u n2 2k1k u1u 2k n 1k n u n 1u n Theo giả thiết: E(ui2) = 2 với i E(uiuj) = 0, ta có: 2 var ˆ k i2 xi2 Chứng minh phương sai ˆ nhỏ nhất, xem Gujarati (2004), trang 104 53 Kiểm định giả thuyết mơ hình Kiểm định giả thuyết giá trị Tại lại cần kiểm định tìm ˆ ??? ˆ tính từ mẫu, Mỗi mẫu cho ˆ khác nhau, Cần xây dựng khoảng tin cậy cho tổng thể: Pr ˆ ˆ 54 18 9/3/2014 Kiểm định giả thuyết mơ hình CLRM cịn giả định ui theo phân phối chuẩn: ui ~ N(0, 2) Yi ~ N( + 2Xi, 2) Do ui theo phân phối chuẩn, ước lượng OLS theo phân phối chuẩn chúng hàm số tuyến tính ui Chúng ta áp dụng kiểm định t, F, 2 để kiểm định giả thuyết ước lượng OLS 55 Xây dựng khoảng tin cậy Xây dựng khoảng tin cậy cho Pr( - + ) = - ( - , + ): khoảng tin cậy, - : hệ số tin cậy, với (0 < < 1): mức ý nghĩa Ví dụ: = 0,05 = 5%, ta đọc “xác suất để khoảng tin cậy chứa giá trị thực 95% 56 Khoảng tin cậy Do 2 trước, ta thường dùng ước lượng khơng chệch 2, ta có: Biến t theo phân phối t với bậc tự n – k (số tham số ước lượng kể hệ số tự do) Khoảng tin cậy từ phân phối t: Pr(-t/2 < t < t/2) 57 19 9/3/2014 Kiểm định đuôi Giả sử ta muốn kiểm định giả thuyết: H0: K = H1: K Quy tắc định: Xây dựng khoảng tin cậy 100(1-) cho Nếu giá trị nằm khoảng tin cậy này, ta chấp nhận H0, Nếu nằm ngồi, ta bác bỏ H0 Hay so sánh |t | với t/2, n - k 58 Kiểm định giả thuyết mơ hình Kiểm định giả thuyết phần tử Thông thường, đặt giả thuyết H0: k = 0, nghĩa biến Xk không ảnh hưởng đến Y, đó: t ˆ k ~ t ( nk ) se ( ˆ k ) Nếu |t| < t/2, (n-k): chấp nhận H0: k = mức ý nghĩa , có nghĩa Xk khơng có ảnh hưởng đến Y Nếu |t| > t/2, (n-k): bác bỏ H0 chấp nhận H1: i mức ý nghĩa , có nghĩa Xk có ảnh hưởng đến Y 59 Kiểm định đuôi Nếu: t nk ˆ k t n k , / se ˆ k • Chấp nhận H0: k = 0, hay bác bỏ H1 • Ngược lại, bác bỏ H0, chấp nhận H1: k 60 20 9/3/2014 Kiểm định giả thuyết mơ hình Kiểm định ảnh hưởng tất biến độc lập lúc Giả thuyết kiểm định là: H0: = = = k = F ESS n k k RSS Bác bỏ H0 F > F(k-1, n-k),, nghĩa có tham số khác ; có biến có ảnh hưởng đến Y F < F(k - 1, n – k), chấp nhận H0, nghĩa tất tham số 2, 3, , k 0; khơng có biến độc lập ảnh hưởng đến Y 61 Phương pháp dự đốn mơ hình hồi qui Cho trước giá trị X0, ta dùng mơ hình hồi quy để dự báo giá trị Y ứng với mức tin cậy Cơng thức: ( X o x) ( ˆ1 ˆ2 X ) t / s n xi s: sai số chuẩn ước lượng s ˆ e i n2 62 Ví dụ: Có số liệu chi tiêu thu nhập hộ gia đình VN 1998 sau: Variable Obs Mean Std.Dev Totalexp 5999 rincome 5999 hhsize 5999 dur_asset5999 14178.5 15274 4.77196 1841.79 11859.6 678.37 219548 18534.7 -29524.4 445334 1.9651 19 3211.03 81398.3 Min Max Label total expenditures Real Total Income Household size Consumer durable Ta cần kiểm định mối quan hệ mức chi tiêu hộ gia đình với thu nhập hộ gia đình, số nhân khẩu, giá trị tài sản hộ 63 21 9/3/2014 Kết ước lượng mơ hình hồi quy reg totalexp rincome hhsize dur_asset Source | SS df MS -+ -Model | 5.9149e+11 1.9716e+11 Residual | 2.5214e+11 5995 42057950.5 -+ -Total | 8.4362e+11 5998 140651047 Number of obs = 5999 F( 3, 5995) = 4687.88 Prob > F = 0.0000 R-squared = 0.7011 Adj R-squared = 0.7010 Root MSE = 6485.2 -totalexp | Coef Std Err t P>|t| [95% Conf Interval] -+ -rincome | 0.1632861 0058562 27.88 0.000 1518057 1747664 hhsize | 1142.227 43.80872 26.07 0.000 1056.346 1228.107 dur_asset | 2.237371 0330819 67.63 0.000 2.172518 2.302224 _cons | 2113.036 221.9352 9.52 0.000 1677.963 2548.109 -64 Trình bày Kết Dạng phương trình: totalex p 2113 0,163rincome 1142hhsize 2,237dur _ asset se (222) (0,006) (20,222) (0,033) t 9,52*** 27,88*** N = 5999 R2 43,81*** 67, 63*** = 0,70 65 Trình bày Kết Dạng bảng: Mơ hình totalexp t rincome 0.163*** (27.88) hhsize 1142.2*** (26.07) dur_aaset 2.237*** (67.63) Hằng số 2113.0*** (9.52) Số quan sát 5999 R2 0.701 * p