BÀI 3: MÔ HÌNH HỒI QUY TUYẾN TÍNH pdf

Bài 3: Mơ hình hồi quy tuyến tính đơn BÀI MƠ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN Mục tiêu Sau kết thúc bài, học viên hiểu vấn đề sau đây: • Ý tưởng phương pháp bình phương • • • • • • tối thiểu (OLS) cách sử dụng OLS để ước lượng hệ số hồi quy Ý nghĩa hệ số hồi quy ước lượng Các giả thiết phương pháp OLS Hệ số xác định r2 đo độ phù hợp hàm hồi quy Khoảng tin cậy kiểm định giả thuyết cho hệ số hồi quy Phân tích phương sai – kiểm định phù hợp mơ hình Dự báo Nội dung Hướng dẫn học • Phương pháp OLS • Đề nghị học viên ơn lại phần ước lượng • Các giả thiết phương pháp bình phương tối thiểu kiểm định giả thiết môn lý thiết xác suất thống kê tốn • Theo dõi kỹ giảng • Xem ví dụ cho phần giảng • Làm ví dụ trả lời câu hỏi trắc nghiệm • Hệ số xác định r2 đo độ phù hợp hàm hồi quy mẫu • Ước lượng khoảng cho hệ số hồi quy • Kiểm định giả thuyết hệ số hồi quy • Phân tích phương sai mơ hình hồi quy • Dự báo Thời lượng • 12 tiết 23 Bài 3: Mơ hình hồi quy tuyến tính đơn TÌNH HUỐNG DẪN NHẬP Tình Công ty dầu ăn Tường An xem xét việc giảm giá bán sản phẩm (loại bình lít) để tăng lượng hàng bán ra, đồng thời quảng bá sản phẩm đến khách hàng Người quản lí cơng ty muốn tính tốn xem sản phẩm giảm giá 1000 đồng/lít lượng hàng trung bình bán thay đổi Đồng thời, giảm giá 1000 đồng cho lít mà lượng hàng bán thêm nhiều 50000 sản phẩm cơng ty tiến hành chiến dịch khuyến mại tháng với giá giảm 10000/lít Để tiến hành nghiên cứu này, phịng marketing công ty dựa vào số liệu bán hàng cơng ty vịng 15 tháng qua (n =15 quan sát) để thu thập số liệu giá bán (P) lượng bán (Q) cho loại dầu ăn Nghiên cứu viên sau tiến hành thống kê mô tả định dùng hàm cầu dạng tuyến tính để xem xét ảnh hưởng giá đến lượng bán: Qi = β1 + β2 Pi + u i Dùng số liệu mẫu, ước lượng hàm hồi quy mẫu có dạng ˆ Qi = 6227 − 30.43Pi Câu hỏi • Theo kết mơ hình, giá giảm đơn vị, lượng hàng bán thay đổi nào? • Liệu giá giảm 1000 đồng lít lượng hàng bán thêm lớn 50000 sản phẩm nhà nghiên cứu muốn kiểm tra khơng? • Giá bán định % thay đổi lượng bán? • Nếu giá bán 150000 đồng bình lượng bán dự báo bao nhiêu? 24 Bài 3: Mơ hình hồi quy tuyến tính đơn Nội dung giới thiệu mơ hình hồi quy đơn giản đưa phương pháp ước lượng, kiểm định giả thiết dự báo Đó mơ hình hồi quy tuyến tính đơn hay cịn gọi mơ hình hồi quy biến, mơ hình đề cập đến biến độc lập X biến phụ thuộc Y Trong ước lượng hàm hồi quy tổng thể PRF dựa thông tin mẫu Mặc dù có nhiều phương pháp ước lượng hàm hồi quy tổng thể sử dụng phương pháp thường dùng phương pháp bình phương tối thiểu (OLS) (Ordinary Least Square) 3.1 Ước lượng tham số hồi quy phương pháp bình phương tối thiểu BÀI TOÁN Cho biến độc lập X biến phụ thuộc Y, giả sử ta có hàm hồi quy tổng thể (PRF) có dạng tuyến tính: Yi = E(Y | X i ) + u i = β1 + β2 X i + u i (3.1) Với mẫu quan sát (X1 , Y1 ),(X , Y2 ), ,(X n , Yn ) Ta có: hàm hồi quy mẫu (SRF) ˆ ˆ ˆ Yi = β1 + β2 X i (3.2) ˆ ˆ ˆ ˆ ˆ và: Yi = β1 + β2 X i + u i = Yi + u i (3.3) ⎧x = Xi − x ˆ ˆ ˆ , u i ước lượng β1 , β2 ước lượng ⎨ i ⎩ yi = Yi − y ˆ u i , u i coi phần dư ˆ ˆ Từ (3.3) ta có: u i = Yi − Yi Vấn đề đặt sử dụng liệu X Y để tìm ước lượng tốt cho β1 , β2 thỏa mãn tổng bình phương phần dư đạt giá trị nhỏ ˆ ˆ Tức ta cần phải xác định β1 , β2 cho: n n i =1 i =1 ˆ ˆ ˆ ˆ ˆ f (β1 , β2 ) = ∑ u i = ∑ (Yi − β1 − β2 X i ) đạt Trong giảng giải tích nhiều biến ta trang bị phương pháp tìm giá trị cực tiểu, cực đại ˆ ˆ hàm f (X, Y) Vậy để hàm f (β , β ) đạt giá trị nhỏ ˆ ˆ β1 , β2 phải nghiệm hệ phương trình ˆ ˆ ⎧ ∂f (β1 , β2 ) n ˆ ˆ = ∑ 2(Yi − β1 − β2 X i ) = ⎪ ˆ i =1 ⎪ ∂β1 ⎨ n ˆ ˆ ⎪ ∂f (β1 , β2 ) = −2X (Y − β − β X ) = ∑ i i ˆ1 ˆ i ⎪ ∂β ˆ i =1 ⎩ Suy ra: (3.4) n ⎧ ˆ ˆ n nβ1 + β2 ∑ X i =∑ Yi ⎪ ⎪ i =1 i =1 ⎨ n n n ⎪β ˆ ˆ ∑ Xi + β2 ∑ Xi2 = ∑ Xi Yi ⎪ i =1 ⎩ i =1 i =1 (3.5) 25 Bài 3: Mơ hình hồi quy tuyến tính đơn Ta có: n n n X i ; Y = ∑ Yi ; XY = ∑ X i Yi ∑ n i =1 n i =1 n i =1 n n 1 X = ∑ X i2 ; Y = ∑ Yi2 n i =1 n i =1 X= Phương trình (3.5) dẫn đến: ⎧β1 + β2 X = Y ⎪ˆ ˆ ⎨ ˆ ˆ ⎪β1X + β2 X = XY ⎩ (3.6) Giải hệ phương trình (3.6) ta thu nghiệm ⎧ˆ XY − (X)(Y) ⎪β2 = X − (X) ⎨ ⎪ˆ ˆ ⎩β1 = Y − β2 X (3.7) n n i =1 i =1 n n i =1 Ta đặt i =1 SYY = ∑ (Yi − Y) = ∑ Yi2 − n(Y) = nY − n(Y) SXX = ∑ (X i − X) = ∑ X i2 − n(X) = nX − n(X) n n i =1 i =1 SXY = ∑ (X i − X)(Yi − Y) = ∑ X i Yi − n(X)(Y) = nXY − n(X)(Y) Khi (3.7) viết lại SXY ⎧ˆ ⎪β2 = S XX ⎨ ⎪β = Y − β X ˆ ˆ ⎩ ˆ ˆ Phương pháp tìm ước lượng β1 , β2 gọi phương pháp bình phương tối thiểu 3.1.1 Tính chất tham số hồi quy mẫu ước lượng phương pháp bình phương tối thiểu Phương pháp bình phương tối thiểu đem lại ước lượng với tính chất sau: ˆ ˆ • Ứng với mẫu ((X , Y ), (X , Y ), (X , Y )) cho trước, hệ số β , β xác 1 2 n n định ˆ ˆ ˆ • Đường thẳng phương trình hồi quy mẫu (SRF) Yi = β1 + β2 X i qua điểm có toạ độ giá trị trung bình (X, Y) ˆ • Giá trị trung bình ước lượng Yi giá trị trung bình quan sát ˆ Yi tức là: Yi = Y hay n ˆ n ∑ Yi = n ∑ Yi n i =1 i =1 26 Bài 3: Mơ hình hồi quy tuyến tính đơn ˆ • Giá trị trung bình phần dư u i n ˆ ∑u i =1 i = ˆ ˆ • Các phần dư u i Yi khơng tương quan, tức là: n ˆ ˆ ∑ u Y = i i =1 i ˆ • Các phần dư u i X i không tương quan, tức là: n ˆ ∑u X i i =1 i = Bây ta chứng minh số tính chất trên: o Hiển nhiên hệ phương trình (3.6) có nghiệm ˆ ˆ Hiển nhiên giá trị β , β hàm mẫu o Thay điểm (X, Y) vào phương trình hồi quy mẫu, ta có: o ˆ ˆ Y = β1 + β2 X ˆ ˆ ⇒ β1 = Y − β2 X o ( n n ˆ ˆ ˆ ˆ Ta có: Y = ∑ Yi = ∑ β1 + β2 X i n i =1 n i =1 ) ˆ ˆ = β1 + β2 X = Y o ˆ ˆ Ta có: u i = Yi − Yi Suy n n n n i =1 i =1 i =1 i =1 ˆ ˆ ˆ ˆ ∑ u i = ∑ (Yi − Yi ) = ∑ Yi − ∑ Yi = nY − nY = o Rõ ràng từ: n n n n i =1 i =1 i =1 i =1 ˆ ˆ ˆ ˆ ˆ ˆ ∑ u i Yi = ∑ (Yi − Yi )Yi = ∑ Yi Yi − ∑ Yi2 n n i =1 i =1 ˆ ˆ ˆ ˆ = ∑ Yi (β1 + β2 X i ) − ∑ (β1 + β2 X i ) ˆ ˆ ˆ2 ˆ ˆ ˆ = nβ1Y + nβ2 XY − n(β1 + 2β1β2 X + β2 X ) ⇒ Vậy n ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ∑ u i Yi = β1 (β1 + β2 X) + β2 (β1X + β2 X ) − (β12 + 2β1β2X + β22 X ) = n i =1 n ˆ ˆ ∑ u Y = i =1 i i (3.8) 27 Bài 3: Mơ hình hồi quy tuyến tính đơn n Dễ dàng thấy n i =1 o i =1 ˆ ˆ ˆ ˆ ˆ ∑ u i Yi = ∑ u i (β1 + β2 Xi ) n n i =1 i =1 ˆ ˆ ˆ ˆ = β1 ∑ u i + β2 ∑ u i X i Từ tính chất ta có n n ˆ ˆ ˆ ∑u = ∑u Y = i =1 i i i =1 n ˆ ∑u X Vậy ta có: i =1 i i i = VÍ DỤ 3.1 Thu thập số liệu điểm học tập học sinh mức thu nhập hàng năm bố mẹ ta có bảng số liệu sau: Thu nhập (x) (triệu/năm) 45 60 30 90 75 45 105 60 Điểm trung bình (y) 8.75 7.5 6.25 8.75 7.5 5.0 9.5 6.5 Hãy tìm hàm hồi quy mẫu tính đặc trưng 3.1.2 Các giả thiết phương pháp bình phương tối thiểu Khi phân tích hồi quy, mục đích tìm phương trình hồi quy mẫu thông qua việc ước lượng hệ số β1 , β2 Dựa vào liệu mẫu ta thu ước lượng ˆ ˆ ˆ ˆ tương ứng β1 , β2 Nhưng β1 , β2 ước lượng điểm β1 , β2 Vì ta chưa biết chất lượng ước lượng Ta cần đưa số giả thiết phương trình bình phương tối thiểu để thu ước lượng tốt cho β1 , β2 Từ ta thu ˆ giá trị Yi ước lượng tốt cho E(Y | X i ) Chất lượng ước lượng phụ thuộc vào yếu tố sau: • Dạng hàm mơ hình chọn • Phụ thuộc vào X i u i • Phụ thuộc vào cỡ mẫu Vấn đề dạng hàm mơ hình lựa chọn xem xét Ta đưa giả thiết cho X i u i để ước lượng thu khơng chệch có phương sai nhỏ • Giả thiết 1: Biến giải thích X có giá trị quan sát Xi khác với giá trị lại, tức phương sai mẫu hiệu chỉnh không suy biến: S'2 = X 28 n ∑ (Xi − X)2 ≠ n − i =1 Bài 3: Mơ hình hồi quy tuyến tính đơn • Giả thiết 2: Giá trị trung bình sai số mang dấu âm dương giá trị quan sát mặt trung bình • Giả thiết 3: Các giá trị X cho trước không ngẫu nhiên, tức X i cho trước khơng phải biến ngẫu nhiên Điều có nghĩa X i u i không tương quan với CoV(Xi , u i ) = E(X i u i ) − E(X i ) × E(u i ) = X i E(u i ) − X i E(u i ) = Giả thiết có ý nghĩa quan trọng X u có tương quan X thay đổi, u thay đổi Vì giá trị kỳ vọng Y khác β1 + β2 X • Giả thiết 4: Phương sai sai số (không đổi) Var(u i ) = Var(u j ) = σ2 ∀i ≠ j • Giả thiết 5: Khơng có tương quan u i , tức là: CoV(u i , u j ) = ∀i ≠ j Với giả thiết nêu, ta có tính chất ước lượng theo phương pháp bình phương tối thiểu sau: Định lý Gauss-Markov Giả sử ta có mơ hình hồi quy tuyến tính, với giả thiết 1-5 ta có ước lượng bình phương tối thiểu ước lượng tuyến tính khơng chệch có phương sai nhỏ lớp ước lượng tuyến tính khơng chệch Định lý Gauss-Markov cho khẳng định ˆ ˆ ước lượng β1 , β2 β1 , β2 có phương pháp bình phương tối thiểu ước lượng khơng chệch có phương sai tối thiểu ước lượng không chệch β1 , β2 3.1.3 Sai số phương pháp bình phương tối thiểu ˆ ˆ Trong phần 3.1 ta có ước lượng β1 , β2 β1 , β2 theo phương pháp bình phương tối thiểu XY − (X)(Y) ˆ β2 = X − (X) ˆ ˆ β = Y −β X Đặt: ⎧ x i = Xi − X ⎪ ⎨ ⎪ yi = Yi − Y ⎩ 29 Bài 3: Mơ hình hồi quy tuyến tính đơn Khi ta có: ˆ ˆ β1 = Y − β2 X n n ˆ β2 = ∑ x i yi ∑x i =1 i =1 i Với giả thiết 1-5 phương pháp bình phương nhỏ nhất, ta có phương sai độ lệch chuẩn ước lượng σ2 ˆ ; Var(β2 ) = n ∑ xi ˆ se(β2 ) = i =1 n∑ x i =1 ∑x n ∑ Xi2 i =1 n n i =1 n ˆ Var(β1 ) = σ i ˆ σ ; se(β1 ) = ; i ∑X i =1 n i n∑ x i =1 σ, i với σ = Var(u i ) , se: sai số tiêu chuẩn (standard error) Do σ2 chưa biết nên dựa vào liệu mẫu cho ta ˆ thu ước lượng σ2 σ2 xác định công thức sau: n ˆ σ2 = ˆ ∑u i =1 n i ˆ ∑u ˆ ⇒σ= n−2 i =1 i n−2 ˆ σ sai số tiêu chuẩn ước lượng (standard error of the estimate) 3.2 Hệ số xác định r đo độ phù hợp hàm hồi quy mẫu: Cho hai biến X Y, để xác định mối quan hệ X Y có dạng tuyến tính hay khơng ta đưa đại lượng để đo mức độ phụ thuộc tuyến tính X Y ˆ ˆ Ta có: Y =Y +u i i i ˆ ˆ ˆ ˆ ˆ ⇒ Yi − Y = Yi − Y + u i = Yi − Y + u i ˆ ˆ ⇒ yi = yi + u i (3.9) Bình phương hai vế (3.9) ta có: n n n n i =1 i =1 i =1 i =1 n n i =1 i =1 ˆ ˆ ˆ ˆ ∑ yi2 = ∑ yi2 + ∑ u i2 + 2∑ yi u i ˆ ˆ = ∑ yi2 + ∑ u i2 n n i =1 i =1 ˆ ˆ = β2 ∑ x i2 + ∑ u i2 30 (3.10) Bài 3: Mô hình hồi quy tuyến tính đơn n n i =1 Đặt: i =1 TSS = ∑ yi2 = ∑ (Yi − Y) (3.11) TSS (Total sum of squares) gọi tổng bình phương sai lệch Yi với giá trị trung bình Y n n n i =1 i =1 i =1 ˆ ˆ ˆ ˆ ESS = ∑ (Yi − Yi ) = ∑ yi2 = β2 ∑ x i2 (3.12) ESS (Explained sum of squares) tổng bình phương ˆ sai lệch giá trị Y trung bình i n ˆ RSS = ∑ u i2 (3.13) (3.12) i =1 RSS (Residual sum of squares) tổng tất bình ˆ phương sai lệch giá trị quan sát Yi giá trị Yi nhận từ hàm hồi quy hay gọi tổng phần dư Từ (3.10), (3.11), ( 3.12), (3.13) ta có: TSS = ESS + RSS (3.14) Chia hai vế cho TSS ta có: 1= ESS RSS + TSS TSS n = ˆ ∑ (Yi − Y)2 i =1 n n ˆ ∑u + i =1 n ∑ (Y − Y) ∑ (Y − Y) i i =1 n ESS ∑ Đặt: r = = i =1 TSS n ˆ (Yi − Y) i =1 i Từ (3.14) (3.15) ta có: r = − n Ta có: r = ˆ ∑ yi i =1 n ∑y i =1 đó: S2 = X (3.15) i i =1 ∑ (Y − Y) 2 i i RSS TSS n = ˆ β2 ∑ x i2 i =1 n ∑y i =1 i (3.16) n = ˆ β2 ∑ (X i − X) 2 i =1 n ∑ (Y − Y) i =1 i ˆ = β2 S2 X SY (3.17) n n ∑ (Xi − X)2 ; S2Y = n − ∑ (Yi − Y)2 n − i =1 i =1 31 Bài 3: Mơ hình hồi quy tuyến tính đơn n ˆ phương sai mẫu X Y Ngồi β2 = ∑x y i =1 n i ∑x i =1 i nên (3.17) viết i lại sau: ⎛ n ⎞ ⎜ ∑ x i yi ⎟ r = ⎝n i =1 n ⎠ ∑ x i2 ∑ yi2 i =1 (3.18) i =1 Từ (3.18) ta có: n r= n ∑ x i yi = i =1 n ∑x i =1 i n ∑y i =1 n n X i Yi − (∑ X i )(∑ Yi ) ∑ n i =1 i =1 i =1 n n i =1 i =1 ∑ (Xi − X)2 ∑ (Yi − Y)2 i n = n n n ∑ X i Yi − (∑ X i )(∑ Yi ) i =1 i =1 i =1 n ⎡ ⎤⎡ ⎤ n ∑ X i2 − (∑ X i ) ⎥ ⎢ n ∑ Yi2 − (∑ Yi ) ⎥ ⎢ i =1 i =1 ⎣ i =1 ⎦ ⎣ i =1 ⎦ n n n Ta thấy r hệ số tương quan mẫu X Y Các tính chất hệ số tương quan: • r âm dương • −1 ≤ r ≤ • r có tính chất đối xứng r(X, Y) = r(Y, X) • Nếu X′ = aX + c Y′ = bY + d, a, b > 0, c, d số ta có r(X′, Y′) = r(Y, X) • Nếu X,Y độc lập r = • r đo độ phụ thuộc tuyến tính X Y 3.3 Phân bố xác suất tham số hồi quy mẫu Trong phần trước ta thu ước lượng điểm β1 β2 theo phương pháp bình phương nhỏ (OLS) dựa giả thiết sai số ngẫu nhiên u i là: • • Var(u i ) = σ2 • 32 E(u i ) = Cov(u i , u j ) = , ∀i ≠ j Bài 3: Mơ hình hồi quy tuyến tính đơn ˆ ˆ Khi ước lượng điểm thu tương ứng β1 , β2 có tính chất khơng chệch có phương sai nhỏ Tuy nhiên, ước lượng điểm không cho ta biết độ sai lệch chúng so với giá trị thực, ước lượng khoảng cho ta nhiều thông tin so với ước lượng điểm Để tìm ước lượng khoảng cho tham số β1 , β2 ˆ ˆ cần xác định phân phối xác suất β1 β2 Các phân phối xác suất phụ thuộc vào phân phối xác suất u i Vậy ta đưa thêm giả thiết phân phối xác suất u i sau: Giả thiết: u i có phân phối chuẩn N(0; σ2 ) , ˆ ˆ Với giả thiết thêm vào đó, β1 , β2 cịn có tính chất sau: • ˆ ˆ β1 , β2 ước lượng vững, tức cỡ mẫu đủ lớn chúng hội tụ đến giá trị β1 , β2 • ˆ β1 có phân phối chuẩn với n ˆ ˆ E(β1 ) = β1 , Var(β1 ) = σ1 = ∑X i =1 n i n∑ x i =1 σ2 (3.19) i ˆ tức β1 ≈ N(β1 ; σ1 ) Từ biến ngẫu nhiên Z= ˆ β1 − β1 σ1 có phân phối chuẩn tắc N(0;1) • β2 có phân phối chuẩn với: ˆ ˆ E(β2 ) = β2 , Var(β2 ) = σ = σ2 n ∑x i =1 (3.20) i ˆ β − β2 ˆ tức β2 ≈ N(β2 ; σ2 ) Do biến ngẫu nhiên Z = có phân phối chuẩn tắc σ2 N(0;1) ˆ (n − 2)σ có phân phối khi-bình phương với n − bậc tự σ ˆ ˆ • Các ước lượng β1 , β2 có phương sai nhỏ số ước lượng không chệch • Thống kê χ = β1 , β2 Ta có Yi = β1 + β2 X i + u i Từ giả thiết u i ta thu thống kê Z χ có quy luật phân phối chuẩn tắc bình phương với (n − 2) bậc tự Vậy ta tìm khoảng ước lượng cho tham số β1 , β2 σ 33 Bài 3: Mơ hình hồi quy tuyến tính đơn 3.4 Ước lượng khoảng cho hệ số hồi quy Trong mục 3.3 với giả thiết phân phối chuẩn N(0; σ ) u i ta có: ˆ β1 ≈ N(β1 ; σ1 ) ˆ β2 ≈ N(β2 ; σ2 ) 2 với phương sai σ1 , σ2 xác định (3.19) (3.20) Tuy nhiên phương sai σ chưa biết, nên phương sai σ1 , σ chưa biết, ta dùng ước lượng khơng chệch σ là: n ˆ σ2 = ˆ ∑u i =1 i n−2 = RSS n−2 Khi thống kê: T1 = ˆ ˆ β1 − β1 β − β2 T2 = ˆ ˆ Se(β1 ) Se(β2 ) ˆ ˆ ˆ ˆ với: Se(β1 ) = Var(β1 ) ; se(β2 ) = Var(β2 ) Các thống kê có phân phối student với (n – 2) bậc tự Đồng thời, thống kê ˆ σ2 χ = (n − 2) σ có phân phối bình phương với (n – 2) bậc tự 3.4.1 Khoảng ước lượng cho β1 Với độ tin cậy 1− α cho trước, ta có: { } (n P − t α − 2) < T1 < t (n − 2) = − α , α 2 với t (n2 − 2) phân vị mức α α phân phối Student T1 , tức là: P{− t (n2 − 2) < α ˆ β1 − β1 (n − 2) < tα2 } = 1− α ˆ se(β1 ) Từ dẫn đến ˆ ˆ ˆ ˆ P{β1 − t (n2 − 2)se(β1 ) < β1 < β1 + t (n2 − 2)se(β1 )} = − α α α Vậy với mẫu cụ thể ta có khoảng ước lượng cho β1 là: ˆ ˆ ˆ ˆ β1 ∈ (β1 − t (n2 − 2)se(β1 ); β1 + t (n2 − 2)se(β1 )) α α 34 Bài 3: Mơ hình hồi quy tuyến tính đơn 3.4.2 Khoảng ước lượng cho β Tương tự ta có, với độ tin cậy 1− α cho trước thì: ˆ ⎧ (n ⎫ β − β2 ⎪ ⎪ < t (n − 2) ⎬ = − α P ⎨− t α − 2) < T2 = α ˆ ⎪ Se(β2 ) ⎪ ⎩ ⎭ Từ đó, { } (n ˆ ˆ ˆ ˆ P β2 − t α − 2)Se(β2 ) < β2 < β2 + t (n − 2)Se(β2 ) = − α α 2 Vậy với mẫu cụ thể ta có khoảng ước lượng cho β2 là: ( (n ˆ ˆ ˆ ˆ β2 ∈ β2 − t α − 2)Se(β2 ); β2 + t (n − 2)Se(β2 ) α 3.4.3 2 ) Khoảng ước lượng cho σ Ta thấy thống kê ˆ (n − 2)σ χ = σ có phân phối khi-bình phương với (n-2) bậc tự Do đó: P{χ 1−α / 2;n − ˆ (n − 2)σ2 β1 H1 : * β1 < β1 Chú ý giả thiết H0 thì: thống kê ˆ β −β T1 = 1 có phân phối Student với n – bậc ˆ Se(β1 ) tự Ta dựa vào thống kê để tiến hành kiểm định giả thuyết cho β1 Ta có tốn kiểm định giả thuyết sau: Bài tốn 1: Kiểm định hai phía * ⎧H : β1 = β1 ⎪ ⎨ * ⎪H1 : β1 ≠ β1 ⎩ Miền bác bỏ: W = (−∞; − t (n-2) ) ∪ (t (n-2) ; +∞) với t (n-2) phân vị mức p (p = α /2) p α/2 α/2 phân phối Student T1 Bài toán 2: Kiểm định phía (phải) * ⎧H : β1 = β1 ⎪ ⎨ * ⎪H1 : β1 > β1 ⎩ Miền bác bỏ: W= ( t (n-2) ; +∞ ) , với t (n-2) phân vị α α mức α phân phối Student T1 Bài tốn 3: Kiểm định phía (trái) * ⎧H : β1 = β1 ⎪ ⎨ * ⎪H1 : β1 < β1 ⎩ Miền bác bỏ: W = (−∞; − t (n-2) ) α 3.5.2 Kiểm định giả thuyết cho β Ta có giả thuyết H : β2 = β* với đối thuyết H1 : β2 ≠ β* H1 : β2 > β* 2 H1 : β2 < β* 36 Bài 3: Mơ hình hồi quy tuyến tính đơn Trong mục 3.4 ta thấy giả thuyết H thống kê T2 = ˆ β2 − β2 ˆ Se(β2 ) có phân phối Student với n – bậc tự Do đó, ta tiến hành toán kiểm định giả thuyết sau cho β2 : Bài tốn 1: Kiểm định hai phía ⎧H : β2 = β* ⎪ ⎨ * ⎪H1 : β2 ≠ β2 ⎩ Miền bác bỏ: W = (−∞; − t (n-2) ) ∪ (t (n-2) ; +∞) α/2 α/2 t (n-2) phân vị mức p phân phối Student T2 p Bài toán 2: Kiểm định phía (phải) ⎧H : β2 = β* ⎪ ⎨ * ⎪H1 : β2 > β2 ⎩ Miền bác bỏ: W = (t (n-2) ; +∞) , với t (n-2) phân vị mức α phân phối Student T2 α α Bài toán 3: Kiểm định phía (trái) ⎧H : β2 = β* ⎪ ⎨ * ⎪H1 : β2 < β2 ⎩ Miền bác bỏ: W = (−∞; − t (n-2) ) α 3.5.3 Kiểm định giả thuyết cho phương sai σ 2 Giả thuyết H : σ = σ0 , với đối thuyết 2 H1 : σ ≠ σ0 , H1 : σ2 > σ0 , H1 : σ < σ0 Ta có H thống kê χ2 = ˆ (n − 2)σ 2 σ có phân phối bình phương với n – bậc tự Áp dụng kết đó, ta giải toán kiểm định σ sau: Bài tốn 1: Kiểm định hai phía ⎧ H : σ = σ0 ⎪ ⎨ 2 ⎪H1 : σ ≠ σ0 ⎩ 37 Bài 3: Mơ hình hồi quy tuyến tính đơn 2 Miền bác bỏ: W = (0; χ1-α / 2;n − ) ∪ (χ α / 2;n − ; +∞) χ − phân vị mức p phân phối χ p;n Bài tốn 2: Kiểm định phía (phải) ⎧ H : σ = σ0 ⎪ ⎨ 2 ⎪H1 : σ > σ0 ⎩ Miền bác bỏ W= ( χα;n − ;+∞ ) Bài toán 3: Kiểm định phía (trái) ⎧H : σ = σ0 ⎪ ⎨ 2 ⎪H1 : σ < σ0 ⎩ Miền bác bỏ: W= ( 0; χ1- α ;n − ) CHÚ Ý Phương pháp kiểm định gọi phương pháp kiểm định theo miền tiêu chuẩn mà ta biết giáo trình xác suất thống kê Ngồi phương pháp ta cịn có phương pháp kiểm định giả thuyết theo p-value xác suất ý nghĩa, phương pháp giới thiệu giáo trình xác suất-thống kê 3.5.4 Phương pháp xác suất ý nghĩa (p-value) Với mẫu cụ thể ta có giá trị quan sát thống kê Ti (i = 1, 2) là: t iqs = Ta có: p-value = P {Ti > t iqs } ˆ βi − β* i ˆ) Se(βi i = 1, Xác suất gọi xác suất ý nghĩa, xác suất mắc sai lầm loại (tức xác suất để bác bỏ H H đúng) Ta thấy xác suất ý nghĩa cao hậu việc bác bỏ H H nghiêm trọng, xác suất ý nghĩa nhỏ hậu việc bác bỏ sai H nghiêm trọng Vậy cho trước mức ý nghĩa α (đây xác suất giới hạn để bác bỏ H ), xác suất ý nghĩa không vượt α ta bác bỏ H mà khơng sợ phạm sai lầm nghiêm trọng, cịn xác suất ý nghĩa lớn α chưa có sở để bác bỏ H Bây ta sử dụng xác suất ý nghĩa để tiến hành toán kiểm định tham số β1 , β2 • Kiểm định hai phía ⎧H : βi = β* ⎪ i ⎨ * ⎪H1 : βi ≠ βi ⎩ 38 i = 1, Bài 3: Mơ hình hồi quy tuyến tính đơn Bước 1: Tính t iqs = ˆ βi − β* i ; ˆ Se(β ) i Bước 2: Tính p-value p-value = P {Ti > t iqs Ti < − t iqs } { } = 2P Ti > t iqs Bước 3: So sánh xác suất ý nghĩa với mức ý nghĩa α xác định từ trước, p-value ≤ α bác bỏ H , cịn p-value > α chấp nhận giả thuyết H • Kiểm định phía (phải) ⎧H : βi = β* ⎪ i ⎨ * ⎪H1 : βi > βi ⎩ i =1, Bước 1: Từ mẫu số liệu có được, thành lập thống kê t iqs = ˆ βi − β* i ; ˆ) Se(βi Bước 2: Từ thống kê đó, tính xác suất ý nghĩa p-value = P {Ti > t iqs } Bước 3: So sánh xác suất ý nghĩa với mức ý nghĩa α xác định từ trước, p-value ≤ α bác bỏ giả thuyết H , cịn p-value > α chấp nhận giả thuyết H • Kiểm định phía (trái) ⎧ H : βi = β* ⎪ i ⎨ * ⎪ H1 : βi < βi ⎩ Bước 1: Tính t iqs = i = 1, ˆ βi − β* i ; * Se(βi ) Bước 2: Tính p-value = − P {T > t iqs } Bước 3: So sánh xác suất ý nghĩa với mức ý nghĩa α xác định từ trước, p-value ≤ α bác bỏ giả thuyết H , p-value > α chấp nhận giả thuyết H VÍ DỤ 3.2 Từ ví dụ 3.1 hãy: a) Tìm khoảng ước lượng cho hệ số hồi quy với độ tin cậy 95% b) Với mức ý nghĩa 5% kết luận thu nhập bố, mẹ có ảnh hưởng tới kết học tập hay không? c) Tính ESS, TSS 39 Bài 3: Mơ hình hồi quy tuyến tính đơn Giải: Theo báo cáo Eviews cho ví dụ 3.1 ta có: ˆ a) Ta có giá trị ước lượng β1 , β2 β1 = 4.785256, ˆ β2 = 0.042094 sai số ˆ ˆ chuẩn là: Se(β1 ) = 1.195385, Se(β2 ) = 0.017601 Vì cỡ mẫu n = 8, với mức tin cậy α = 0.05 , tra bảng phân phối student ta có: t (7) = 2.364624 Vậy ta có 0.025 khoảng ước lượng cho β1 , β2 là: β1 ∈ ( 4.785265 − 2.364624x1.195385; 4.786265 + 2.36462x1.195385 ) ⇒ β1 ∈ (1.958629; 7.611901) Tương tự ta có: β2 ∈ ( −2.78634; 2.86693 ) b) Ta cần kiểm định toán sau: ⎧H : β2 = ⎨ ⎩H1 : β2 ≠ Cách 1: Ta có giá trị tiêu chuẩn thống kê toán là: t2 = ˆ β2 0.042094 = = 0.0539 ˆ Se(β2 ) 0.017601 Với mức ý nghĩa 5%, tra bảng phân phối student ta có: t (7) = 2.364624 0.025 Vậy miền bác bỏ toán là: W = ( −∞; − 2.364624 ) ∪ ( 2.364624; + ∞ ) Ta thấy giá trị tiêu chuẩn thống kê t ∉ W , chưa bác bỏ H0 Như kết luận thu nhập bố mẹ không ảnh hưởng đến kết học tập cách có ý nghĩa Cách 2: Ta thấy giá trị p- value = 0.0539 > 0.05 chưa thể bác bỏ H0 40 Bài 3: Mơ hình hồi quy tuyến tính đơn c) Từ kết bảng ta có r2 = 0.488035, RSS = 8.155499, theo cơng thức r2 = 1− RSS TSS ta có : TSS = RSS/(1– r2) = 8.155499/ (1– 0.488035) = 15.9288 Đồng thời ta lại có cơng thức: TSS = ESS + RSS, ta có: ESS = TSS – RSS = 15.9288 – 8.155499 = 7.774301 3.6 Phân tích phương sai phương trình hồi quy Trong phần xét toán kiểm định giả thuyết hệ số hồi quy β2 theo phương pháp khác, phương pháp phân tích phương sai ⎧H : β = Ta xét toán kiểm định ⎨ ⎩H1 : β2 ≠ (*) Giả thuyết H nói lên biến X khơng ảnh hưởng tới Y, ta bác bỏ giả thuyết H có nghĩa ta bác bỏ giả thuyết cho biến X khơng có ảnh hưởng tới biến Y Trong phần trước ta thấy giả thuyết H đúng, tức là: β2 = , thống kê ˆ (n − 2)σ2 RSS = 2 σ σ có phân phối - bình phương với n – bậc tự do, thống kê ESS σ2 có có phân phối khi-bình phương với bậc tự Mặt khác hai thống kê độc lập với nhau, thống kê F= ESS TSSr r2 n−2 = = × 2 TSS RSS 1− r (1 − r ) n−2 n−2 có phân phối Fisher với số bậc tự là: (1; n − ) Từ đó, với mức ý nghĩa α cho trước, miền bác bỏ cho toán kiểm định xét W= ( f α (1; n − ) ; +∞ ) Ý nghĩa: Cách tiếp cận theo hướng phân tích phương sai cho phép ta đưa phán đốn độ phù hợp mơ hình hồi quy xét Cụ thể, thống kê F có giá trị lớn (ứng với xác suất ý nghĩa nhỏ) ta kết luận mơ hình lập phù hợp với số liệu quan sát Còn thống kê F có giá trị nhỏ đến mức xác suất ý nghĩa tương ứng lớn mức ý nghĩa định (bằng 5% chẳng hạn) rõ ràng mơ hình khơng phù hợp với số liệu, lúc cần tìm mơ hình khác Ta có bảng phân tích phương sai ngắn gọn sau: 41 Bài 3: Mơ hình hồi quy tuyến tính đơn Nguồn biến thiên Tổng bình phương X Bậc tự ˆ ESS = β2 ∑ x i2 Phương sai n ESS i =1 RSS = Phần dư n i =1 Tổng 3.7 n−2 ∑u i TSS RSS n−2 n −1 Ứng dụng phân tích hồi quy, tốn dự báo Một ứng dụng phân tích hồi quy dự báo cho biết giá trị X X , ta cần dự báo giá trị Y Y0 , thay giá trị X vào phương trình hồi quy mẫu ˆ ta nhận giá trị ước lượng Y Y0 thỏa mãn ˆ ˆ ˆ phương trình: Y0 = β1 + β2 X Giá trị thực Y0 thỏa mãn phương trình Y0 = β1 + β2 X + u , với u sai số ˆ ˆ ˆ Ta có : Y0 − Y0 = (β1 − β1 ) + (β2 − β2 )X − u Đồng thời ˆ ˆ E(β1 ) = β1 ; E(β2 ) = β2 E(u ) = ˆ ˆ Do đó: E(Y0 − Y0 ) = ⇒ E(Y0 ) = Y0 ˆ Vậy ước lượng Y0 ước lượng không chệch Y0 ˆ Ngoài ra, phương sai Y0 − Y0 tính theo ˆ ˆ ˆ Var(Y0 − Y0 ) = Var[(β1 − β1 ) + (β2 − β2 )X − u ] ˆ ˆ ˆ ˆ = Var(β1 − β1 ) + (X ) Var(β2 − β2 ) + 2X Cov(β1 − β1 ; β2 − β2 ) + Var(u ) ⎛ X2 = σ2 ⎜ + ⎝ n Sxx ⎞ x2 X + σ2 − 2x σ + σ2 ⎟ Sxx Sxx ⎠ ⎡ (X − X) ⎤ = σ ⎢1 + + ⎥X Sxx ⎣ n ⎦ n n n i =1 i =1 i =1 đó: Sxx = ∑ X i2 = ∑ (X i − X) = ∑ X i2 − n(X) ˆ Do phương sai σ2 chưa biết, ta thay σ2 ước lượng khơng chệch σ2 Khi ta có thống kê t = ˆ Y0 − Y0 có phân phối Student với n – bậc tự ˆ Se(Y0 − Y0 ) Vậy với mức ý nghĩa α cho trước ta có khoảng ước lượng Y0 là: 42 Bài 3: Mơ hình hồi quy tuyến tính đơn ỨNG DỤNG n n ˆ ˆ ˆ ˆ Y0 − t α− 2Se(Y0 − Y0 ) < Y0 < Y0 + t α− 2Se(Y0 − Y0 ) (3.21) Công thức (3.21) cho ta khoảng ước lượng giá trị Y0 Y cho biết trước giá trị X X Bài tốn phát biểu dạng tương đương khác sau (Bài toán dự báo giá trị trung bình): Cho trước giá trị X X, cần ước lượng giá trị trung bình Y X = X , tức ước lượng giá trị E(Y | X = X ) Ta có: E(Y | X ) = β1 + β2 X , ˆ ˆ ˆ Y0 = β1 + β2 X Từ đó, kết hợp với (3.19) (3.20), ta thấy ˆ ˆ ˆ Y0 − E(Y | X ) = (β1 − β1 ) + (β2 − β2 )X ˆ − E(Y | X )) = σ ⎡ + (X − X) ⎤ Var(Y0 ⎢ ⎥ Sxx ⎣n ⎦ ˆ Do σ chưa biết, ta dùng ước lượng σ , dẫn đến: ⎡ (X − X) ⎤ ˆ ˆ Var(Y0 − E(Y | X )) = σ ⎢ + ⎥ Sxx ⎣n ⎦ Ký hiệu: ˆ S2ˆ = Var(Y0 − E(Y | X )) , Y thống kê t= ˆ Y0 − E(Y | X ) SY ˆ có phân phối Student với n – bậc tự Áp dụng kết trên, ta ước lượng giá trị trung bình có điều kiện E(Y | X ) biểu thức sau: ỨNG DỤNG n n ˆ ˆ Y0 − t α− 2SY < E(Y | X ) < Y0 + t α− 2SY ˆ ˆ 2 (3.22) 43 Bài 3: Mơ hình hồi quy tuyến tính đơn TĨM LƯỢC CUỐI BÀI • Phương pháp OLS Giả sử có mẫu biến X Y Ta cần ước lượng tham số mơ hình PRF: Yi = E ( Y | X i ) + u i = β1 + β2 X i + u i ˆ ˆ ˆ ˆ ˆ tức tìm hệ số mơ hình: Yi = βi + βi X i + u i = Yi + u i ˆ Ý tưởng phương pháp OLS tìm đường SRF cho giá trị ước lượng Yi gần với giá trị quan sát Yi tốt Vì vậy, ta tìm cho hàm sau: ( ) n n i =1 i =1 ˆ ˆ ˆ ˆ f β1 , β2 = ∑ u i2 = ∑ (Yi − β1 − β2 X i ) Như phương pháp OLS tối thiểu hóa tổng bình phương phần dư: n ˆ RSS = ∑ u i2 ⇒ i =1 n ˆ ˆ ˆ Ta có cơng thức cho hệ số ước lượng là: β1 = Y − β2 X ; β2 = ∑x y i =1 n i ∑x i =1 i i với x i = X i − X, yi = Yi − Y • Các hệ số ước lượng mơ hình ˆ ˆ Hệ số β1 , β2 xác định ứng với mẫu ( Xi , Yi ) ˆ ˆ β1 , β2 ước lượng điểm β1 , β2 • Các giả thiết phương pháp OLS khuyết tật tương ứng mô hình Dưới giả thiết cần lưu ý: Giả thiết 1: Mơ hình hồi quy phải có dạng tuyến tính Giả thiết 2: Các giá trị X giả thiết phi ngẫu nhiên không tương quan với sai số ngẫu nhiên, tức : CoV ( X i , u i ) = E ( X i u i ) − E ( X i ) × E ( u i ) = X i E ( u i ) − X i E ( u i ) = Giả thiết 3: Trung bình nhiễu ngẫu nhiên 0: E( u i /Xi) = Giả thiết 4: Phương sai nhiễu ngẫu nhiên không đổi: Var ( u i ) = Var ( u j ) = σ Chú ý: Giả thiết không thoả mãn, ta nói có tương phương sai sai số thay đổi Giả thiết 5: Khơng có tương quan nhiễu ngẫu nhiên: CoV ( u i , u j ) = Chú ý: Giả thiết khơng thoả mãn, ta nói có tương tự tương quan Giả thiết 6: Số quan sát n phải lớn tổng số tham số mơ hình 44 Bài 3: Mơ hình hồi quy tuyến tính đơn • Định lí Gaus-Markov: Với giả thiết cho phương pháp bình phương tối thiểu thoả mãn, ước lượng bình phương tối thiểu ước lượng tuyến tính khơng chệch có phương sai nhỏ lớp ước lượng tuyến tính khơng chệch • r2 đo độ phù hợp hàm hồi quy, giá trị r2 cho biết phần trăm biến thiên biến Y giải thích biến X hàm hồi quy mẫu • Ý nghĩa khoảng tin cậy: KTC cho β1: ( ( ) ( )) ˆ ˆ ˆ ˆ β1 ∈ β1 − t n − 2Se β1 ; β1 + t n − Se β1 a a 2 KTC cho β1 cho biết trung bình Y thay đổi X = KTC cho β2: ( ( ) ( )) ˆ ˆ ˆ ˆ β2 ∈ β2 − t n2− 2Se β2 ; β2 + t n2− Se β2 a a KTC cho β2 cho biết trung bình Y thay đổi biến X thay đổi đơn vị • Kiểm định giả thiết: Trong mơ hình E(Y/Xi) = β1 + β2Xi: Ta muốn kiểm tra H0: βj = βj* (j = 1,2) Kiểm định Gt cho β1 = β1* cho biết trung bình Y có β1* X = hay không Kiểm định Gt cho β2 = β2* cho biết tốc độ thay đổi trung bình Y biến X thay đổi đơn vị có β2* hay khơng • Phân tích phương sai – kiểm định phù hợp mơ hình Để kiểm định phù hợp mơ hình hồi quy tuyến tính so với số liệu, ta tính tổng bình phương sai số ESS, RSS TSS, từ xác định thống kê F có phân phối Fisher tiến hành kiểm định giả thuyết thống kê • Dự báo Từ số liệu mẫu, ta ước lượng mô hình hồi quy thực nghiệm, từ dự báo giá trị biến phụ thuộc có giá trị biến độc lập 45 Bài 3: Mơ hình hồi quy tuyến tính đơn CÂU HỎI THƯỜNG GẶP Ngồi phương pháp OLS có phương pháp khác để ước lượng mơ hình hồi quy mẫu không? Trong phương pháp OLS, trường hợp, ta phải giải hệ phương trình để tìm ước lượng khơng? Nếu mơ hình hồi quy bội với nhiều biến việc dùng phương pháp OLS có thuận tiện khơng? Khi ước lượng hệ số OLS, làm để đánh giá chất lượng chúng? Tại phải xem xét giả thiết phương pháp OLS? Để đánh giá độ phù hợp mơ hình hồi quy với số liệu mẫu, ta dùng tiêu chí nào? Có thiết phải xây dựng mơ hình hồi quy mẫu với r2 phải lớn? Trong kiểm định giả thiết, việc dùng phương pháp xác suất ý nghĩa (p-value) thay cho phương pháp kiểm định thông thường hay không? CÂU HỎI TRẮC NGHIỆM Công thức sau thể phương pháp bình phương tối thiểu (OLS)? n n i =1 i =1 n n i =1 i =1 ( ) ˆ ˆ A ∑ u i = ∑ Yi − Yi → ( ˆ ˆ C ∑ u i2 = ∑ Yi − Yi ) → n n i =1 i =1 n n i =1 i =1 ( ) ˆ ˆ B ∑ u i = ∑ Yi − Yi → ( ˆ ˆ D ∑ u i2 = ∑ Yi − Yi ) → max ˆ Cho mơ hình hồi quy: Y = 20 + 0.75X Tính giá trị phần dư điểm X = 100, Y = 90 A B–5 C D 15 Bậc tự kiểm định t với mơ hình biến có 20 quan sát là: A 20 B 22 C 18 D R2 cho biết: A Tương quan X Y B Sự biến thiên Y C Hiệp phương sai X Y D Phần biến thiên Y giả thích X Cho mơ hình với TSS = 0.9243, RSS = 0.2137 Tìm r2 A 0.7688 C 0.3007 46 B 0.2312 D ... 24 Bài 3: Mơ hình hồi quy tuyến tính đơn Nội dung giới thiệu mơ hình hồi quy đơn giản đưa phương pháp ước lượng, kiểm định giả thiết dự báo Đó mơ hình hồi quy tuyến tính đơn hay cịn gọi mơ hình. .. có quy luật phân phối chuẩn tắc bình phương với (n − 2) bậc tự Vậy ta tìm khoảng ước lượng cho tham số β1 , β2 σ 33 Bài 3: Mơ hình hồi quy tuyến tính đơn 3.4 Ước lượng khoảng cho hệ số hồi quy. .. 38 i = 1, Bài 3: Mơ hình hồi quy tuyến tính đơn Bước 1: Tính t iqs = ˆ βi − β* i ; ˆ Se(β ) i Bước 2: Tính p-value p-value = P {Ti > t iqs Ti < − t iqs } { } = 2P Ti > t iqs Bước 3: So sánh