Đang tải... (xem toàn văn)
CHƯƠNG 1 MÔ HÌNH HỒI QUY TUYẾN TÍNH HAI BIẾN 8/21/2013 1 CHƢƠNG 1 MÔ HÌNH HỒI QUY TUYẾN TÍNH HAI BIẾN 1 NỘI DUNG CHƢƠNG 1 I Mô hình hồi quy và một số khái niệm II Phương pháp ước lượng OLS III Tính kh[.]
8/21/2013 CHƢƠNG MƠ HÌNH HỒI QUY TUYẾN TÍNH HAI BIẾN NỘI DUNG CHƢƠNG I Mơ hình hồi quy số khái niệm II Phương pháp ước lượng OLS III Tính khơng chệch độ xác ước lượng OLS IV Độ phù hợp hàm hồi quy mẫu – Hệ số xác định R2 V Một số vấn đề bổ sung 8/21/2013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Mơ hình hồi quy Mơ hình hồi quy hai biến (mơ hình hồi quy đơn) mơ hình có biến phụ thuộc biến độc lập Tổng quát Giả sử Y X hai biến số thể tổng thể đó, mơ hình hồi quy tuyến tính hai biến thể mối quan hệ phụ thuộc biến Y biến X có dạng sau: Y 1 2 X u (1.1) I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Các thành phần mơ hình hồi quy: Các biến số: mơ hình hồi quy gồm hai loại biến số: Biến phụ thuộc: biến số mà ta quan tâm đến giá trị nó, thường ký hiệu Y nằm vế trái phương trình Biến độc lập: biến số cho có tác động đến biến phụ thuộc, thường ký hiệu X nằm vế phải phương trình 8/21/2013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Sai số ngẫu nhiên: • Sai số ngẫu nhiên, thƣờng đƣợc ký hiệu u, yếu tố đại diện cho yếu tố có tác động đến biến Y, ngồi X • Thành phần mang tính ký hiệu mà khơng xem biến số • Khơng có quan sát u => cịn gọi sai số ngẫu nhiên không quan sát • Giả thiết giá trị X kỳ vọng u E(u/X) = (1.2) I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Các hệ số hồi quy: Bao gồm β1 β2 , thể mối quan hệ biến X Y yếu tố bao hàm u khơng đổi 8/21/2013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Hàm hồi quy tổng thể • Với giả thiết (1.2); viết lại (1.1) sau: E (Y | X ) 1 2 X (1.3) E(Y|X) kỳ vọng biến Y biết giá trị biến X, hay gọi kỳ vọng Y với điều kiện X • (1.3) cịn gọi hàm hồi quy tổng thể (PRF – population regression function) I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM • Hàm hồi quy có biến độc lập gọi hàm hồi quy đơn (hàm hồi quy hai biến) • Hàm hồi quy có từ hai biến độc lập trở lên gọi hàm hồi quy bội (hàm hồi quy đa biến) 8/21/2013 I MÔ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Các hệ số hồi quy β1 β2 gọi tham số tổng thể • β1 : đƣợc gọi hệ số chặn, Ý nghĩa: Khi biến độc lập X nhận giá trị giá trị trung bình biến phụ thuộc Y β1 đơn vị • β2 :đƣợc gọi hệ số góc, thể quan hệ biến độc lập giá trị trung bình biến phụ thuộc Ý nghĩa: Khi biến độc lập X tăng (giảm) đơn vị giá trị trung bình biến phụ thuộc Y tăng (giảm) β2 đơn vị Dấu hệ số góc thể chiều mối quan hệ (cùng chiều/ ngược chiều) I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Hàm hồi quy mẫu Nếu có tồn tổng thể => thu giá trị βj Tuy nhiên thường khơng thu thập tồn tổng thể => Thu số liệu mẫu => Hàm hồi quy mẫu Mẫu ngẫu nhiên kích thước n: (Yi, Xi), i = 1,2, , n pp ƢL thu giá trị ước lượng β1 β2 ; ^ ^ ký hiệu 1 10 8/21/2013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM ^ ^ ≠ 1 X E(Y/X) ^ Giá trị ước lượng E(Y/X) từ mẫu, ký hiệu Y => (1.4) Yˆ ˆ ˆ X (1.4) gọi hàm hồi quy mẫu (SRF: sample regression function) cho hàm hồi quy tổng thể (1.3) Có thể viết chi tiết cho quan sát sau: Yˆi ˆ1 ˆ2 X i , (i = 1,2, , n) (1.4)’ 11 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Ký hiệu mũ đầu ngụ ý giá trị ước lượng từ mẫu giá trị thực tổng thể ˆ1 , ˆ2 gọi hệ số hồi quy mẫu, hay hệ số ƣớc lƣợng ^ 1 giá trị ước lượng hệ số chặn β1 giá trị ước lượng hệ số góc β2 ^ 12 8/21/2013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Tính tuyến tính mơ hình hồi quy Tính tuyến tính hàm hồi quy hiểu tuyến tính theo tham số (theo hệ số hồi quy), tuyến tính phi tuyến theo biến X biến Y Ví dụ mơ hình hồi quy tuyến tính: Y 1 X u Ln(Y ) 1 Ln( X ) u Ví dụ mơ hình hồi quy dạng phi tuyến: Y 0 u 1 X ; Y e1 2 X u 13 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS • Xét mơ hình hồi quy tổng thể: Yi 1 2 X i ui • Giả sử có mẫu ngẫu nhiên kích thước n thu từ tổng thể: (Yi, Xi) (i = 1,2, , n) pp ƢL Hàm hồi quy mẫu: Yˆi ˆ1 ˆ2 X i 14 8/21/2013 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Gọi sai lệch giá trị thực tế Yi giá trị ước lượng từ hàm hồi quy mẫu phần dƣ (residuals), ký hiệu ei Yi Yˆi ei: Lưu ý: Khi 𝒀𝒊 = 𝜷𝟏 + 𝜷𝟐 𝑿𝒊 + 𝒆𝒊 gọi Mơ hình hồi quy mẫu Mục tiêu: tìm giá trị ước lượng ˆ1 ; ˆ2 cho sai lệch tổng hợp giá trị thực tế Yi giá trị ước lượng tương ứng từ hàm hồi quy mẫu nhỏ 15 e II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Hàm hồi quy mẫu phần dƣ Yˆi ˆ1 ˆ2 X i Y Y1 • • e1 Yn en • ^ • e2 Y1 • Y2 X1 X2 Xn X 16 8/21/2013 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Sai lệch tổng hợp định nghĩa bởi: n (1) Tổng phần dư e i 1 i n (2) Tổng giá trị tuyệt đối phần dư | ei | (3) Tổng bình phương phần dư => n i 1 ei2 i 1 Phương pháp bình phương bé (Odinary Least Squares): Phương pháp xác định ˆ1; ˆ2 dựa tiêu chuẩn cực tiểu tổng bình phương phần dư 17 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS => Bài tốn cực trị: Tìm ˆ1 , ˆ2 n cho: n n i 1 i 1 e (Yi ˆ1 ˆ2 X i )2 1 ,2 (Yi 1 2 X i )2 i 1 i với 1 , số thực 18 8/21/2013 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS ˆ1 , ˆ2 nghiệm hệ phương trình: => n ei2 ˆ (Yi ˆ1 ˆ2 X i )2 i 1 ˆ1 0 e ˆ (Yi ˆ1 ˆ2 X i )2 i 1 n i 1 i 1 n i n nˆ1 ˆ2 X i Yi ˆ2 0 n n n i 1 i 1 i 1 ˆ1 X i ˆ2 X i2 X iYi 19 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS => Kết quả: n ˆ2 x y i 1 n i i x i 1 ˆ1 Y ˆ2 X với (1.5) i (1.6) xi X i X ; yi Yi Y X ; Y trung bình mẫu X Y ˆ1 , ˆ2 gọi ước lượng bình phương nhỏ (ước lượng OLS) => 20 10 8/21/2013 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Các hàm hồi quy mẫu từ mẫu khác hàm hồi quy tổng thể E(Y|X) SRFm SRF2 PRF SRF1 X 21 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS Nhận xét: ˆ1 , ˆ2 xác định cách ứng với n cặp quan sát (Xi;Yi) ˆ1 , ˆ2 ƣớc lƣợng điểm β1 ; β2 ˆ1 , ˆ2 biến ngẫu nhiên, nhận giá trị khác với mẫu khác (Lưu ý: Các hệ số tổng thể β1 ; β2 - tham số, nhận giá trị cho tổng thể) 22 11 8/21/2013 II PHƢƠNG PHÁP ƢỚC LƢỢNG OLS => Các giá trị ước lượng ˆ1 , ˆ2 thu từ mẫu khác tổng thể nói chung khác nhau, khác biệt so với hệ số hồi quy tổng thể Vậy: (1) Khi ˆ1 , ˆ2 ước lượng đáng tin cậy cho giá trị chưa biết β1 ; β2 ? (2) Nếu ước lượng ˆ1 , ˆ2 đáng tin cậy mức độ xác ước lượng ? 23 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Các giả thiết phƣơng pháp OLS Giả thiết 1: Mơ hình ước lượng sở mẫu ngẫu nhiên kích thước n: {(Xi,Yi), i = 1,2, ,n} 24 12 8/21/2013 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Giả thiết 2: Kỳ vọng sai số ngẫu nhiên với điều kiện X E(ui| Xi) = Nếu giả thiết thỏa mãn có: E(u) = cov(X, u) = 25 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Minh họa giả thiết 2: Y • • • E (Yi | X i ) 1 X i • u1: E(u1|X1) =0 • ui: E(ui|Xi) =0 • • X1 Xi Xn X Trung bình sai số ngẫu nhiên giá trị Xi: E(u/X=Xi)=0 26 13 8/21/2013 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Giả thiết 3: Phương sai sai số ngẫu nhiên 𝑉𝑎𝑟 𝑢 𝑋𝑖 = 𝜎 , với i giá trị Xi Minh họa: Phân phối u X2 Phân phối u X1 f(u|X) Phân phối u Xn Y E (Yi | X i ) 1 2 X i X1 X2 Xn 27 X III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Giả thiết bị vi phạm: Phân phối u X2 Phân phối u X1 f(u|X) Phân phối u Xn Y E (Yi | X i ) 1 2 X i X1 X2 Xn X 28 14 8/21/2013 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Tính khơng chệch ƣớc lƣợng OLS Định lý 1.1: Khi giả thiết thỏa mãn ước lượng ˆ1 , ˆ2 ước lượng không chệch β1 ; β2 , nghĩa là: E ( ˆ1 ) 1; E ( ˆ2 ) 2 => Khi lấy mẫu khác nhau, ˆ j nhận khác trung bình chúng xấp xỉ giá trị cần tìm βj 29 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS Độ xác ƣớc lƣợng OLS • Độ xác ước lượng đo độ phân tán ˆ j xung quanh βj tương ứng, nghĩa là: E (ˆ j j )2 • Khi j E (ˆ j ) độ xác phương sai ước lượng: E (ˆ j j )2 E[(ˆ j E(ˆ j ))2 ] var( ˆ j ) 30 15 8/21/2013 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS • Định lý 1.2: Khi giả thiết → thỏa mãn phương sai hệ số ước lượng bằng: var( ˆ2 ) 2 n x i 1 n var( ˆ1 ) X i 1 n (1.7) i i n xi2 2 (1.8) i 1 31 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS • Ƣớc lƣợng điểm phƣơng sai sai số ngẫu nhiên: Trong σ2 công thức (1.7) (1.8) σ2 = Var(ui) chưa biết; giá trị ước lượng điểm σ2 là: n ˆ e i 1 i n2 ; ˆ ˆ ˆ ước lượng không chệch σ2 ˆ gọi sai số chuẩn hồi quy (standard error of regression) 32 16 8/21/2013 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS • Khi σ2 cơng thức (1.7) & (1.8) thay ước lượng ˆ nhận giá trị ƣớc lƣợng phƣơng sai hệ số ƣớc lƣợng • Sai số chuẩn (standard error) hệ số ƣớc lƣợng: bậc hai var( ˆ ) với σ2 thay giá trị ước j lượng ˆ n se( ˆ2 ) ˆ n x i 1 i ; X se( ˆ1 ) i 1 n i ˆ n x i 1 i 33 III TÍNH KHƠNG CHỆCH VÀ ĐỘ CHÍNH XÁC CỦA CÁC ƢỚC LƢỢNG OLS • Một số tính chất đại số hàm hồi quy mẫu: Khi mơ hình có hệ số chặn, hàm hồi quy mẫu thỏa mãn số tính chất sau: n e 0 TC1: Tổng phần dư 0, tức TC2: Hiệp phương sai mẫu biến độc lập phần dư i 1 i cov( X , e) ; e = (e1, , en) X = (X1, , Xn) TC3 Đường hồi quy mẫu ln qua giá trị trung bình mẫu ( X , Y ) TC4: Trung bình giá trị ước lượng biến phụ thuộc trung bình mẫu nó: Yˆ Y 34 17 8/21/2013 IV ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 (a) (b) Độ phù hợp hàm hồi quy mẫu với số liệu mẫu 35 IV ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 Ký hiệu: • TSS (Total Sum of Squares): Tổng bình phương tất sai lệch giá trị quan sát giá trị trung bình mẫu biến phụ thuộc n TSS (Yi Y ) i 1 • ESS (Explained Sum of Squares): Tổng bình phương tất sai lệch giá trị ước lượng biến phụ thuộc giá trị trung bình 𝑛 (𝑌𝑖 − 𝑌)2 = 𝛽2 𝐸𝑆𝑆 = 𝑖=1 𝑛 𝑥𝑖 𝑖=1 • RSS (Residual Sum of Squares): Tổng bình phương tất sai lệch giá trị quan sát giá trị ước lượng biến phụ thuộc 𝑛 𝑛 (𝑌𝑖 − 𝑌𝑖 )2 = 𝑅𝑆𝑆 = 𝑖=1 36 𝑒𝑖 𝑖=1 18 8/21/2013 IV ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 Chứng minh được: => 1 TSS = ESS + RSS ESS RSS TSS TSS Hệ số xác định hàm hồi quy: R2 ESS RSS 1 TSS TSS R2 37 IV ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 Ý nghĩa R2 : R2 cho biết % biến đổi biến phụ thuộc đƣợc giải thích mơ hình R2 = 1: Mơ hình giải thích 100% cho biến động biến phụ thuộc => Mơ hình hồi quy phù hợp hồn hảo R2 = 0: Mơ hình hồn tồn khơng giải thích cho thay đổi biến phụ thuộc Y => Giữa Y X mối liên hệ 38 => Mơ hình khơng phù hợp 19 8/21/2013 IV ĐỘ PHÙ HỢP CỦA HÀM HỒI QUY MẪU – HỆ SỐ XÁC ĐỊNH R2 Nhận xét: • Cùng nhóm biến giải thích, dạng hàm có hệ số xác định lớn coi phù hợp • Với mơ hình hồi quy hai biến, có chứa hệ số chặn hệ số xác định R2 bình phương hệ số tương quan mẫu biến độc lập biến phụ thuộc: • n xi yi R n i 1 n r X ,Y 2 xi yi i 1 i 1 Nếu mơ hình khơng có hệ số chặn phát biểu R2 khơng nữa; R2 39 nhận giá trị âm V MỘT SỐ VẤN ĐỀ BỔ SUNG (*) Đơn vị đo lƣờng phân tích hồi quy • Khi thay đổi đơn vị đo lường, độ lớn hệ số ước lượng nói chung thay đổi • Độ lớn hệ số thay đổi thay đổi đơn vị đo lường biến số, ý nghĩa số khơng thay đổi • Phân tích hồi quy quan tâm đến ý nghĩa hệ số độ lớn hệ số này, => phân tích hồi quy khơng bị tác động đơn vị đo lường 40 20 ... 12 8/ 21/ 2 013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Tính tuyến tính mơ hình hồi quy Tính tuyến tính hàm hồi quy hiểu tuyến tính theo tham số (theo hệ số hồi quy) , tuyến tính phi tuyến theo biến. .. Hàm hồi quy có biến độc lập gọi hàm hồi quy đơn (hàm hồi quy hai biến) • Hàm hồi quy có từ hai biến độc lập trở lên gọi hàm hồi quy bội (hàm hồi quy đa biến) 8/ 21/ 2 013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ...8/ 21/ 2 013 I MƠ HÌNH HỒI QUY VÀ MỘT SỐ KHÁI NIỆM Mơ hình hồi quy Mơ hình hồi quy hai biến (mơ hình hồi quy đơn) mơ hình có biến phụ thuộc biến độc lập Tổng quát Giả sử Y X hai biến số