Chương 2: Mô hình hồi quy đơn

Chương 2: Mô hình hồi quy đơn

Chương 2: Mơ hình hồi quy đơn I Bản chất phân tích hồi quy: Khái niệm: Phân tích hồi quy nghiên cứu phụ thuộc biến (biến phụ thuộc) vào hay nhiều biến khác (các biến giải thích) để ước lượng hay dự đốn giá trị trung bình biến phụ thuộc sở giá trị biết trước biến giải thích Ví dụ: 1- Quan hệ chiều cao học sinh nam tính theo độ tuổi cố định 2- Sự phụ thuộc chi tiêu cho tiêu dùng vào thu nhập thực tế 3- Tỷ lệ thay đổi tiền lương mối quan hệ với tỷ lệ thất nghiệp Hình 2.1: Phân phối giả thiết chiều cao theo độ tuổi Hình 2.2: Đường cong Phillips giả thiết 4- Mức lạm phát tỷ lệ thu nhập người dân giữ dạng tiền mặt Các mối quan hệ phân tích hồi quy a Quan hệ thống kê quan hệ hàm số:  Quan hệ thống kê thể phụ thuộc thống kê biến phụ thuộc vào biến giải thích  Biến phụ thuộc đại lượng ngẫu nhiên có phân phối xác suất  Các biến giải thích có giá trị biết trước  Ứng với giá trị biến giải thích có nhiều giá trị khác biến giải thích  Quan hệ hàm số:  Các biến ngẫu nhiên  Ứng với giá trị biến giải thích có giá trị biến phụ thuộc  Phân tích hồi quy khơng nghiên cứu quan hệ hàm số Ví dụ: Sự phụ thuộc suất lúa vào nhiệt độ, lượng mưa, lượng phân bón … quan hệ thống kê Tính chu vi hình vng lần chiều dài y = 4x quan hệ hàm số 5- Giám đốc tiếp thị công ty muốn biết mức cầu sản phẩm công ty có quan hệ với chi phí quảng cáo 6- Một nhà nông học quan tâm tới việc nghiên cứu phụ thuộc sản lượng lúa vào nhiệt độ, lượng mưa, nắng, phân bón… Ký hiệu: Y – Biến phụ thuộc (biến giải thích) X – Biến giải thích (biến độc lập) b Hồi quy quan hệ nhân quả: Phân tích hồi quy nghiên cứu quan hệ phụ thuộc Y vào X => Khơng địi hỏi Y X phải có quan hệ chiều (nhân quả) c Hồi quy tương quan:  Phân tích tương quan đo mức độ kết hợp tuyến tính hai biến  Phân tích hồi quy ước lượng, dự báo biến sở giá trị cho biến khác  Trong phân tích hồi quy, khác với tương quan, biến khơng có tính đối xứng Nguồn số liệu cho phân tích hồi quy 3.1 Các loại số liệu: Gồm: Số liệu theo thời gian (chuỗi TG), số liệu chéo số liệu hỗn hợp  Số liệu theo TG: số liệu thu thập thời kỳ định  Số liệu chéo: số liệu thu thập thời điểm, thời kỳ nhiều địa phương, đơn vị khác  Số liệu hỗn hợp theo thời gian không gian II Các khái niệm hồi quy đơn Hàm hồi quy tổng thể: Ví dụ 2: Nghiên cứu phụ thuộc Y – chi tiêu tiêu dùng hàng tuần X – thu nhập khả dụng hàng tuần gia đình địa phương có 60 gia đình 4.2 Nguồn số liệu:  Do quan nhà nước, tổ chức quốc tế, công ty cá nhân thu thập  Gồm số liệu thực nghiệm phi thực nghiệm 4.3 Nhược điểm số liệu:  Hầu hết số liệu khoa học xã hội số liệu phi thực nghiệm  Các số liệu thực nghiệm có sai số phép đo  Trong điều tra không nhận câu trả lời không trả lời hết  Các mẫu điều tra có cỡ mẫu khác nên khó khăn so sánh kết điều tra  Các số liệu kinh tế thường mức tổng hợp cao không cho phép sâu vào đơn vị nhỏ  Số liệu bí mật quốc gia khó tiếp cận Mức TN 100 120 140 160 180 200 220 240 260 55 65 79 80 102 110 120 135 137 150 60 70 84 93 107 115 136 137 145 152 65 Các mức chi tiêu 80 74 90 95 110 120 140 140 155 175 70 80 94 103 116 130 144 152 165 178 75 85 98 108 118 135 145 157 175 180 113 125 140 160 189 185 88 115 162 191 Tổng 325 462 445 707 678 750 685 1043 966 1211 TB 65 77 89 101 113 125 137 149 161 173 Bảng 2.1 Ví dụ thu nhập chi tiêu 60 hộ gia đình Trung bình có điều kiện mức chi tiêu tuần nằm đường thẳng có hệ số góc dương: E(Y/Xi) = ∑Yj P(Y = Yj /X = Xi ) Hàm PRF cho biết giá trị trung bình Y biến X nhận giá trị định Để xác định dạng hàm hồi quy tổng thể người ta dựa vào đồ thị biểu diễn biến thiên kết hợp với phân tích chất vấn đề nghiên cứu Nếu PRF có dạng tuyến tính: E (Y / X i )  1   X i β1 hệ số tự do, cho biết giá trị trung bình Y X β2 hệ số góc, cho biết giá trị trung bình biến Y thay đổi đơn vị X tăng đơn vị  E(Y/Xi) hàm X: E(Y/Xi) = f(Xi): Hàm hồi quy tổng thể PRF CM: X’i = Xi + Khi đó: E(Y/X’i) = β1 + β2X’i = β1 + β2 (Xi + 1) = β1 + β2 Xi +β2 = E(Y/Xi)+β2 “Tuyến tính” hiểu theo hai nghĩa: Tuyến tính tham số: E(Y/Xi)=β1+β2X2i Tuyến tính biến: E (Y / X i )  1   X i Hàm hồi quy tuyến tính hiểu tuyến tính tham số Sai số ngẫu nhiên:  Ui = Yi – E(Y/Xi) hay Yi = E(Y/Xi) + Ui Ui đại lượng ngẫu nhiên gọi sai số ngẫu nhiên  Ui tồn lý sau: Ui sử dụng yếu tố đại diện cho tất biến giải thích khơng đưa vào mơ hình - Các biến khơng biết rõ - Các biến khơng có số liệu - Các biến có ảnh hưởng nhỏ - Các biến khơng đưa vào lý muốn có mơ hình đơn giản Hàm hồi quy mẫu: Hàm hồi quy xây dựng sở mẫu gọi hàm hồi quy mẫu SRF Bảng 2.3 Mẫu thứ Y 70 65 90 95 110 115 120 140 155 150 X 80 100 120 140 160 180 200 220 240 260 Bảng 2.4 Mẫu thứ hai Y 55 88 90 80 118 120 145 157 X 80 100 120 140 160 180 200 220 Từ hai mẫu xây dựng hai hàm hồi quy mẫu SRF1 SRF2 ˆ ˆ ˆ Hàm hồi quy mẫu tuyến tính có dạng: Yi  1   X i III Ước lượng kiểm định giả thiết hồi quy đơn Phương pháp bình phương nhỏ OLS Giả sử có mẫu gồm n cặp quan sát (Yi, Xi), i = n ˆ ˆ ˆ Cần tìm hàm Yi  1   X i cho sát với giá trị thực tốt ˆ ˆ ˆ  Tức là: ei  Yi  Yi  Yi  1   X i  Do ei dương âm nên ta lấy tổng bình n n ˆ ˆ phương ei đạt min:  ei2   (Yi  1   X ) i 1 i 1 ˆ ˆ ˆ Dạng ngẫu nhiên: Yi  1   X i  ei  Yi  ei n n ˆ Do Yi, Xi biết nên  e  (Y  ˆ  ˆ X ) hàm ˆ1,  n ˆ ˆ ˆ => Ta có: f ( 1 ,  )   (Yi  1  ˆ2 X ) i 1 i i 2 i 1 i 1 n ˆ ˆ f ( 1 ,  )  ˆ  n   nˆ1  ˆ2  X i Yi  2Yi ˆ1  ˆ2 X i  10     n i1 n i 12 n  f ( ˆ1 , ˆ2 ) n  ˆ2  2Yi ˆ1  ˆ2 X i   Xi  0  ˆ1  Xi ˆ2  Xi Yi Xi  i 1  i 1 i 1 i 1 ˆ  2   X Y  nXY i i X i ˆ ˆ ; 1  Y   X  n( X ) ˆ xi  X i  X ; yi  Yi  Y    Ví dụ 2: Bảng sau cho số liệu mức chi tiêu tiêu dùng (Y-USD/tuần) thu nhập hàng tuần (X-USD/tuần) 10 gia đình Hãy ước lượng hàm hồi quy tuyến tính Y theo X Yi 70 65 90 95 110 115 120 140 155 150 Xi 80 100 120 140 160 180 200 220 240 260 Y i  1110;  X i  1700;  X  322000;  X iYi  205500 Y  1110 /10  111; X  1700 /10  170 ˆ  2  i i i Các giả thiết mơ hình hồi quy tuyến tính Chất lượng ước lượng phụ thuộc: - Dạng hàm mơ hình lựa chọn - Phụ thuộc vào Xi Ui - Phụ thuộc vào kích thước mẫu  Các giả thiết liên quan đến Xi Ui gồm:  GT1: Biến giải thích phi ngẫu nhiên  GT2: Kỳ vọng yếu tố ngẫu nhiên Ui 0, tức là: E(Ui/Xi) =  GT3: Các Ui có phương sai nhau: Var(Ui/Xi) = Var(Uj/Xj) = σ2  GT4: Khơng có tương quan Ui: Cov(Ui,Uj)=0  GT5: Ui Xi không tương quan với nhau: Cov(Ui,Xj)=0  Định lý Gauss-Markov: Với giả thiết 1-5 ước lượng OLS ước lượng tuyến tính, khơng chệch có phương sai nhỏ Y X i i  nXY X yx x i i  n( X )  205500 10 x170 x111  0,5091 322000  10 x(170)2 ˆ 1  1111  0,5091x170  24,4545 ˆ  Yi  24, 4545  0,5091X i Phương sai sai số chuẩn ước lượng Các ước lượng hệ số tự hệ số góc đại lượng ngẫu nhiên, với mẫu khác ta có giá trị ước lượng khác   ˆ var 1  X i n xi2     ˆ ˆ  ; se 1  var 1 ; 2 ˆ ˆ ˆ var(  )  ; se(  )  var(  )  xi ei2 n2  ˆ Trong đó:   var(U i ) ước lượng bằng:   TSS   yi2   Yi  Y  Hệ số xác định hệ số tương quan TSS tổng bình phương tất sai lệch Yi n n với giá trị trung bình 2 TSS   yi   Yi  Y    Yi  n Y  i1 i1 ESS tổng bình phương tất sai lệch giá trị biến Y tính theo hàm hồi quy mẫu với giá trị trung bình n n n ˆ ˆ ˆ ESS   Yi  Y   yi2  22  xi2 i 1   i i 1 RSS tổng bình phương tất sai lệch giá trị quan sát biến Y giá trị nhận từ hàm hồi quy mẫu ˆ RSS   ei2   Yi  Yi TSS = ESS + RSS    Hệ số xác định: R2 = ESS/TSS => đo mức độ phù hợp hàm hồi quy =>     xi yi   R2     2   xi    yi      ≤ R2 ≤ =>Nếu tất giá trị quan sát Y nằm SRF RSS = 0, ESS = TSS R2 = 1(hàm hồi quy phù hợp) =>Nếu hàm hồi quy phù hợp RSS lớn R2 tiến tới  Vd2: ∑Yi2 = 132100, TSS = 132100 – 10.(111)2 = 8890, ESS = (0,509091)2.33000 = 8552,73 => R2 = 8552,73/8890 = 0,9621  Hệ số tương quan: đo mức độ chặt chẽ quan hệ tuyến tính X Y: xy i  (X i r i  X )(Yi  Y ) ; r   R2   2 2   xi    yi      (X i  X)  (Y  Y ) i Khoảng tin cậy β1, β2 σ2 5.1 Một số khái niệm:  Ước lượng điểm khơng phải giá trị thực => xây dựng khoảng xung quan giá trị ước ˆ ˆ lượng điểm: P      2         ˆ ˆ  Khoảng  2   ;    : khoảng ngẫu nhiên; – α: hệ số tin cậy; α (0 < α < 1): mức ý nghĩa, ε: độ xác ước lượng ˆ ˆ 2   : giới hạn dưới;    :giới hạn ˆ • Thay t vào: P ( t / ( n  2)  2    t / (n  2))      ˆ se    ˆ ˆ ˆ ˆ  P   t / se( )  2    t / 2se( )    • Với hệ số tin cậy – α, khoảng tin cậy β2 là:  ˆ  t  /2 ˆ ˆ ˆ se( );   t / se(  )  5.3 Khoảng tin cậy β1 ˆ ˆ ˆ ˆ • Tương tự:  P  1  t /2 se (1 )  1  1  t / se(1 )     • Khoảng tin cậy β1 là:  ˆ  t  /2 ˆ ˆ ˆ se( 1 ); 1  t / se( 1 )  5.2 Khoảng tin cậy β2 ˆ    Chứng minh được: t  se(ˆ )  T (n  2)  Thiết lập khoảng tin cậy: P(-tα/2 ≤ t ≤ tα/2) = 1- α tα/2 thoả mãn: P(|t|< tα/2)=1- α  Minh hoạ: 2 • Để tìm tα/2 ta tra bảng phần phụ lục dùng hàm excel Vd: với số bậc tự n – = 8, α = 5% t0,025 = TINV(0,05,8) = 2,306 • Vd2: RSS = TSS – ESS = 8890 – 8552,73 = 337,27 337, 27 42,15875 ˆ  42,15875; var( 2 )   0, 0012775 10  33000 ˆ ˆ se ( )  v ar( )  0, 0012775  0, 035742 ˆ 2  322000 ˆ Var(1 )  42,15875  41,13672 10 x 33000 ˆ ˆ se ( )  var( )  41,13672  6, 4138; t  /2 (n  2)  t0 ,025 (8)  2,306  1  (24, 4545  2, 306 x 6, 4138)  9, 6643  1  39, 2448    (0, 5091  2, 306 x 0, 035 742)  0, 4268    0, 5914 5.4 Khoảng tin cậy σ2: • CM được: ˆ  ˆ   2   ( n  2)   ( n  2)  P  12 /  ( n  2)   /          ( n  2) ˆ ˆ (n  2)   P     1  12 /    / • Để tìm giá trị tra bảng phần phụ lục dùng hàm CHIINV excel: CHIINV(0,025,7)=16,0128 Kiểm định giả thiết hệ số hồi quy: • KĐGT nhằm trả lời câu hỏi: “Kết tìm dựa số liệu thu thập có phù hợp với giả thiết nêu hay khơng?” • Có hai cách KĐGT: Dựa vào khoảng tin cậy dựa vào kiểm định ý nghĩa 6.1 Kiểm định giả thiết - Phương pháp khoảng tin cậy: • Từ số liệu Vd 2, kiểm định GT: H0: β2 = 0,3 với H1: β2 ≠ 0,3 => Căn vào khoảng tin cậy, ta thấy: 0,4268 < β2 < 0,5914 Quy tắc KĐ: Thiết lập khoảng tin cậy với hệ số tin cậy – α cho β2 Nếu β2 nằm khoảng khơng bác bỏ H0; ngược lại nằm ngồi bác bỏ H0 • Nếu β2 = β*2 thì: P( t /  ˆ    *2  t /2 )    ˆ se    6.2 Kiểm định giả thiết: Phương pháp kiểm định ý nghĩa • KĐGT: H0: β2 = β*2 với H1: β2 ≠ β*2 ˆ • Ta có: P ( t /      t / )    ˆ se     Như vậy: (-tα/2; tα/2) gọi miền chấp nhận;  Vùng nằm gọi miền bác bỏ;  tα/2: giá trị tới hạn; α: mức ý nghĩa kiểm định  Quy tắc định: ˆ • Tính t   2   *2  se  ˆ2  • Nếu t thuộc khoảng (-tα/2; tα/2) chấp nhận H0 • Nếu t ngồi khoảng (-tα/2; tα/2) bác bỏ H0  Do sử dụng phân phối t nên thủ tục KĐ gọi kiểm định t  Minh hoạ: • Kiểm định phía: H0: β2 = β*2 với H1: β2 < β*2 β2 > β*2  Nếu H1: β2 > β*2 miền bác bỏ nằm bên phải;  Nếu H1: β2 < β*2 miền bác bỏ nằm bên trái  VD2: H0: β2 = 0,3 với H1: β2 ≠ 0,3 Số bậc tự n - = 8; với α = 5% tra bảng ta có tα/2 = 2,306 Vậy miền chấp nhận H0 -2,306 < t < 2,306  ˆ t  2   *2  se  ˆ   (0, 509091 0,3) / 0, 035742  5,85 Vì giá trị t nằm miền bác bỏ nên ta bác bỏ giả thiết H0 Tóm tắt quy tắc KĐGT với β2: Tương tự ta có quy tắc KĐGT với β1: • KĐGT: H0: β2 = với H1: β2 ≠ kiểm định GT cho biến X không ảnh hưởng tới biến Y VD2: KĐGT H0: β2 = với H1: β2 ≠ với α = 5% t = (0,509091 – 0)/0,035742=14,243 t0,025 = 2,306 t > t0,025 nên bác bỏ H0 biến thu nhập X có ảnh hưởng thực tới biến chi tiêu Y 10 6.3 Kiểm định giả thiết σ2 KĐGT: H0: σ2 = σ20; H1: σ2 ≠ σ20 với mức ý nghĩa α ˆ 2  Quy tắc KĐ: Tính   (n  2) Kiểm định phù hợp hàm hồi quy • CM được: ˆ     x2 F 2  2  i ˆ 2  F (1, n  2) R2 • Kđ phù hợp: H0: = ; H1: R2 > H0: β2 = 0; H1: β2 ≠ • Quy tắc kđ: Tính  ˆ2   xi2 R2 (n  2) F ˆ 2  1 R2 Nếu F > Fα(1, n-2) bác bỏ H0 • Vd2: H0: β2 = 0; H1: β2 ≠ F=R2(n-2)/(1-R2)=0,96206(10-2)/(1-0,96206) = 202,86  giá trị p tương ứng với F nhỏ ( không thuộc miền bác bỏ nên ta chấp nhận H0 2  /2  0,025 (8)  CHIINV(0.025,8) 17,5345; 12 /2  0,975 (8) CHIINV(0.975,8)  2,1797 ˆ 2 Dự báo  • Vd2: Ta có hàm HQ mẫu: Yi  24, 4545  0,5091X i Có loại dự báo:  Dự báo trung bình có điều kiện Y với X = X0;  Dự báo giá trị cá biệt Y với X = X0 • Dự báo giá trị trung bình: E(Y/X0) = β1 + β2X0 Ước lượng điểm khơng chệch, có phương sai ˆ ˆ ˆ nhỏ E(Y/X0) là: Y0  1   X ˆ có phân phối chuẩn với kỳ vọng β1 + β2X0  Y0 phương sai:   X  X 2  ˆ Var (Y0 )     n  i x    σ2 chưa biết nên sử dụng UL khơng chệch ˆ  Ta có: t ˆ Y0  E (Y / X )  T (n  2) ˆ se(Y0 ) ˆ   Y  E (Y / X )  P  t /   t /     ˆ) se (Y0   ˆ ˆ ˆ ˆ  P Y0  t / se(Y0 )  E (Y / X )  Y0  t / se(Y0 )       ˆ ˆ ˆ ˆ  Y0  t / se(Y0 )  E (Y / X )  Y0  t / se(Y0 ) 11 • Dự báo giá trị riêng biệt: ˆ ˆ ˆ Ước lượng Y0 Y0  1  2 X Phương sai Y0:   X  X 2   Var (Y0 )   1    n  xi2    ˆ ˆ Khoảng tin cậy Y0: Y0  t / se(Y0 )  Y0 )  Y0  t / se(Y0 ) Vd2: Đánh giá kết phân tích HQ Các tiêu chí đánh giá: • Tiêu chí 1: dấu hệ số hồi quy có phù hợp với lý thuyết khơng? • Tiêu chí 2: hệ số hồi quy phải có ý nghĩa mặt thống kê • Tiêu chí 3: Mơ hình giải thích biến thiên biến phụ thuộc tốt đến đâu => dùng R2 • Tiêu chí 4: Kiểm tra xem mơ hình có thoả mãn giả thiết mơ hình hồi quy tuyến tính khơng? 12 ... thập thời điểm, thời kỳ nhiều địa phương, đơn vị khác  Số liệu hỗn hợp theo thời gian không gian II Các khái niệm hồi quy đơn Hàm hồi quy tổng thể: Ví dụ 2: Nghiên cứu phụ thuộc Y – chi tiêu tiêu... khơng đưa vào mơ hình - Các biến khơng biết rõ - Các biến khơng có số liệu - Các biến có ảnh hưởng nhỏ - Các biến khơng đưa vào lý muốn có mơ hình đơn giản Hàm hồi quy mẫu: Hàm hồi quy xây dựng sở... 200 220 Từ hai mẫu xây dựng hai hàm hồi quy mẫu SRF1 SRF2 ˆ ˆ ˆ Hàm hồi quy mẫu tuyến tính có dạng: Yi  1   X i III Ước lượng kiểm định giả thiết hồi quy đơn Phương pháp bình phương nhỏ OLS