CHƯƠNG 2 HỒI QUY ĐƠN BIẾN potx

CHƯƠNG 2 CHƯƠNG 2 HỒI QUY ĐƠN BIẾN HỒI QUY ĐƠN BIẾN 2 1. Bi t đ c ph ng pháp c ế ượ ươ ướ l ng bình ph ng nh nh t ượ ươ ỏ ấ đ c l ng hàm h i quy ể ướ ượ ồ t ng th d a trên s li u m uổ ể ự ố ệ ẫ 2. Hi u các cách ki m đ nh ể ể ị nh ng gi thi tữ ả ế 3. S d ng mô hình h i quy đ ử ụ ồ ể d báoự M C Ụ TIÊU HỒI QUY ĐƠN BIẾN HỒI QUY ĐƠN BIẾN NỘI DUNG Mô hình 1 Phương pháp bình phương nhỏ nhất (OLS) 2 3 Kiểm định giả thiết4 Dự báo 5 Khoảng tin cậy 3 Mô hình hồi quy tuyến tính hai biến PRF dạng xác định  E(Y/X i ) = f(X i )= β 1 + β 2 X i dạng ngẫu nhiên  Y i = E(Y/X i ) + U i = β 1 + β 2 X i + U i SRF dạng xác định  dạng ngẫu nhiên 4 ii XY 21 ˆˆ ˆ ββ += iiiii eXeYY ++=+= 21 ˆˆ ˆ ββ 2.1 MÔ HÌNH 2.1 MÔ HÌNH Trong đó  : Ước lượng cho β 1  : Ước lượng cho β 2  : Ước lượng cho E(Y/Xi)  Sử dụng phương pháp bình phương nhỏ nhất thông thường (OLS) để tìm , 2 ˆ β 1 ˆ β 2 ˆ β 1 ˆ β 5 i Y ˆ 2.1 MÔ HÌNH Y X 1 β 2 ˆ β 1 ˆ β PRF 2 β SRF Hình 2.1: Hệ số hồi quy trong hàm hồi quy PRF và SRF 6 2.2 PHƯƠNG PHÁP OLS Giả sử có n cặp quan sát (X i , Y i ). Tìm giá trị Ŷ i sao cho Ŷ i gần giá trị Y i nhất, tức e i = |Y i - Ŷ i | càng nhỏ càng tốt.  Hay, với n cặp quan sát, muốn 7 ( ) min ˆˆ 2 1 21 1 2 ⇒−−= ∑∑ == n i ii n i i XYe ββ  Bài toán thành tìm , sao cho f  min Điều kiện để đạt cực trị là: 2.2 PHƯƠNG PHÁP OLS 2 ˆ β 1 ˆ β 8 ( ) 0X ˆˆ Y2 ˆ e n 1i i21i 1 n 1i 2 i =β−β−−= β∂       ∂ ∑ ∑ = = ( ) XX ˆˆ Y2 ˆ e i n 1i i21i 2 n 1i 2 i =β−β−−= β∂       ∂ ∑ ∑ = = 0 9 ∑ ∑∑ ∑ ∑ = == = = =+ =+ n i i n i i n i ii n i n i ii YXXX YXn 1 11 2 21 1 1 21 ˆˆ ˆˆ ββ ββ Hay 2.2 PHƯƠNG PHÁP OLS  Giải hệ, được 10 XY 21 ˆˆ ββ −= ∑ ∑ = = − − = n i i n i ii XnX YXnXY 1 22 1 2 ).( ˆ β XXx ii −= YYy ii −= ∑ ∑ = = =β n 1i 2 i n 1i ii 2 x xy ˆ 2.2 PHƯƠNG PHÁP OLS [...]... (α /2, n -2) : giá trị tới hạn (tìm bằng cách tra bảng số t-student)  n: số quan sát 31 2. 4 KHOẢNG TIN CẬY CỦA 2 ˆ (n − 2) σ 2 2 P( χ 1−α / 2 ≤ ≤ χ 2 / 2 ) = 1 − α 2 hay χ ˆ ˆ (n − 2) σ 2 (n − 2) σ 2 2 P( ≤σ ≤ ) = 1− α 2 2 χα / 2 χ 1−α / 2 χ , : giá trị của đại lượng ngẫu χ 2 với bậc nhiên phân phối theo quy luật tự do n -2 thỏa điều kiện 2 1−α / 2 2 α /2 P( χ > χ 2 2 1−α / 2 ) = 1 − α ; P( χ > χ 2 32 2... biết được giá trị 2 -> dùng ước lượng không chệch ˆ σ 2 ∑e = 2 i n− 2 26 Sai số chuẩn của các ước lượng OLS βˆ1 β 2 X i2 σ 2 ∑ ˆ var(β1 ) = n xi2 ∑ ˆ )= σ var(β 2 ˆ ˆ se( β 1 ) = var(β 1 ) 2 ˆ ˆ se( β 2 ) = var(β 2 ) ∑x 2 i 27 Sai số chuẩn của các ước lượng OLS ˆ σ= ∑e 2 i n 2 Sai số chuẩn của hồi quy: là độ lệch tiêu chuẩn các giá trị Y quanh đường hồi quy mẫu 28 Tính chất đường hồi quy mẫu SRF ˆ ˆ... R2: đo mức độ phù hợp của hàm hồi quy mẫu 14 HỆ SỐ XÁC ĐỊNH R2 n ESS RSS R = = 1− = 1− TSS TSS 2 ∑e i=1 n 2 i ∑y i=1 2 i Trong mô hình 2 biến 2 β R = 2 2 n ∑x 2 i i= 1 n ∑y i= 1 2 i 15 TÍNH CHẤT CỦA HỆ SỐ XÁC ĐỊNH R2 0≤ R2≤1 Cho biết % sự biến động của Y được giải thích bởi các biến số X trong mô hình R2 =1: đường hồi quy phù hợp hoàn hảo R2 =0: X và Y không có quan hệ Nhược điểm: R2 tăng khi số biến. .. tới hạn t( n − 2, α / 2 ) Bước 3: Quy tắc quy t định Nếu t > t( n − 2, α / 2 ) bác bỏ H0 Nếu t ≤ t( n − 2, α / 2 ) chấp nhận H0 34 -4 f(t) 1−α α /2 α /2 Miền chấp nhận Ho Miền bác bỏ Ho Miền bác bỏ Ho -t α /2 -3 -2 t -1 0 t 1 α /2 2 3 35 4 1 Kiểm định giả thiết về hệ số hồi quy Cách 2: Phương pháp khoảng tin cậy Khoảng tin cậy của βi: ˆ ˆ β i ∈ ( β i − ε i ; β i + ε i ) ε i = t( n− 2, 1−α / 2) SE ( βˆi ) với... dù biến đưa vào không có ý nghĩa =>Sử dụng R2 điều chỉnh (adjusted R2 -R2) để quy t định đưa thêm biến vào mô hình 16 HỆ SỐ XÁC ĐỊNH ĐIỀU CHỈNHR2 n −1 R = 1 − (1 − R ) n−k 2 2 • Khi đưa thêm biến vào mô hình màR2 tăng thì nên đưa biến vào và ngược lại 17 HỆ SỐTƯƠNG QUAN r Hệ số tương quan r: đo mức độ chặt chẽ của quan hệ tuyến tính giữa 2 đại lượng X và Y n r= ∑y x i i= 1 n i n x ∑y ∑ i= 1 2 i... Squares - Bình phương sai số được giải thích) ˆ ˆ ESS = ∑ (Yi − Y ) 2 = ( β ) 2 ∑ xi2 RSS: (Residual Sum of Squares - Tổng bình phương sai số) ˆ ˆ )2 = ∑ y 2 − β 2 ∑ x 2 RSS = ∑ e = ∑ (Yi − Yi i 2 i 2 i 12 CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH Y ˆ Yi SRF ESS TSS RSS Yi Xi X Hình 2. 3: Ý nghĩa hình học của TSS, RSS và ESS 13 HỆ SỐ XÁC ĐỊNH R2 Ta chứng minh được: TSS = ESS + RSS hay ESS RSS 1= + TSS TSS Hàm... P( χ > χ 2 32 2 α /2 )=α /2 2.5 KIỂM ĐỊNH GIẢ THIẾT 1 Kiểm định giả thiết về hệ số hồi quy Hai phía: H 0 : β i = β i* Phía phải: H 0 : β i ≤ β i* H1 : β i ≠ β i* H1 : β i > β i * Phía trái: H 0 : βi ≥ β i * H1 : β i < β i* 33 1 Kiểm định giả thiết về hệ số hồi quy H 0 : βi = β i* H 1 : βi ≠ β i* Cách 1: Phương pháp giá trị tới hạn Bước 1: Tính t * ˆ 2 − 2 t= ˆ SE ( 2 ) Bước 2: Tra bảng t-student... quy mẫu SRF ˆ ˆ 1 SRF đi qua trung bình mẫu Y = β 1 + β 2 X ˆ 2 Y = Y 3 4 5 ∑e i =0 ∧ ∑Y e = 0 ∑e X =0 i i i 29 2. 4 KHOẢNG TIN CẬY CỦA HỆ SỐ HỒI QUY ∧ ∧ Xác suất của khoảng (βi - εi, βi + εi) chứa giá trị thực của βi là 1 - α hay: ∧ ∧ P(βi - εi ≤ βi ≤ βi + εi) = 1 - α với ˆ ε =t (α/ 2 , n − ) SE ( β) i 2 i 30 2. 4 KHOẢNG TIN CẬY CỦA HỆ SỐ HỒI QUY ∧ ∧  (βi - εi, βi + εi) : khoảng tin cậy,  εi : độ... số U độc lập với biến giải thích Cov(Ui, Xi) = 0 Giả thiết 6: Đại lượng sai số ngẫu nhiên có phân phối chuẩn Ui ~ N(0, 2 ) 23 Định lý Gauss-Markov Định lý: Với những giả thiết (từ 1 đến 5) của mô hình hồi quy tuyến tính cổ điển, mô hình hồi quy tuyến tính theo phương pháp bình phương nhỏ nhất là ước lượng tuyến tính không chệch tốt nhất 24 2. 4 TÍNH CHẤT CÁC ƯỚC LƯỢNG OLS ˆ βˆ1 , 2 được xác định một.. .2. 2 PHƯƠNG PHÁP OLS Với ∑ Yi Y= ∑ Xi X= − − n n là trung bình mẫu (theo biến) − xi = X i − X − yi = Yi − Y gọi là độ lệch giá trị của biến so với giá trị trung bình mẫu 11 CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH TSS (Total Sum of Squares - Tổng bình phương sai số tổng cộng) TSS = ∑ (Yi − Y ) 2 = ∑ Yi 2 − n.(Y ) 2 = ∑ yi2 ESS: (Explained Sum of Squares - Bình phương . CHƯƠNG 2 CHƯƠNG 2 HỒI QUY ĐƠN BIẾN HỒI QUY ĐƠN BIẾN 2 1. Bi t đ c ph ng pháp c ế ượ ươ ướ l ng bình ph ng nh nh t ượ ươ ỏ ấ đ c l ng hàm h i quy ể ướ ượ ồ t ng th d. PHƯƠNG ĐỘ LỆCH ∑∑∑ =−=−= 22 22 ).()( iii yYnYYYTSS ∑∑ =−= 22 2 ) ˆ () ˆ ( ii xYYESS β ∑∑ ∑∑ −=−== 22 2 222 ˆ ) ˆ ( iiiii xyYYeRSS β ESS RSS SRF TSS Y X Y i X i i Y ˆ Hình 2. 3: Ý nghĩa hình học của. RSS hay 15 Trong mô hình 2 biến ∑ ∑ = = = n i i n i i y x R 1 2 1 22 2 2 ˆ β HỆ SỐ XÁC ĐỊNH R 2 ∑ ∑ = = −=−== n i i n i i y e TSS RSS TSS ESS R 1 2 1 2 2 11 Nhược điểm: R 2 tăng khi số biến X đưa vào