CHƯƠNG 2: MÔ HÌNH HỒI QUY BỘI GV: Trương Bích PhươngI. 1. MOÂMô HÌNH HOÀI hình QUY TUYEÁN hồi quy TÍNH 3 BIEÁN 3 biến Yi = β1 + β2 X 2i + β3X 3i +Ui Trong đó •Y là biến phụ thuộc •X 2,X3 là các biến độc lập •X 2i, X3i là giá trị thực tế của X2, X3 •Ui là các sai số ngẫu nhiên 1.1. Hàm hồi quy tổng thể (PRF)1.2. Các giả thiết của mô hình Giá trị trung bình của đại lượng ngẫu nhiên U i bằng 0 Phương sai của Ui không thay đổi Không có sự tương quan giữa các Ui Không có sự tương quan (cộng tuyến) giữa X 2 và X3 Không có sự tương quan giữa các Ui và X 2,X31.3. Ước lượng các tham số Chúng ta sử dụng phương pháp bình phương nhỏ nhất OLS Hàm hồi quy mẫu tương ứng sẽ là : Y ˆi = β ˆ1 + β ˆ2 X 2i + β ˆ3X 3i SRF :Yi = β ˆ1 + β ˆ2 X 2i + β ˆ3X 3i + ei Hay: PRF :Yi = β1 + β2 X 2i + β3X 3i +Ui I. Moâ hình hoài quy tuyeán tính 3 bieánei = Yi −Y ˆi = Yi − β ˆ1 − β ˆ2 X 2i − β ˆ3X 3i Theo phương pháp OLS thì các tham số 1 2 3 ˆ , ˆ , β ˆ β β được chọn sao cho ∑ ei2 = ∑(Yi − β ˆ1 − β ˆ2 X 2i − β ˆ3 X 3i )2 → min Như vậy , công thức tính của các tham số như sau : I. Moâ hình hoài quy tuyeán tính 3 bieán= 2 ˆ β = 3 ˆ β = 1 ˆ β Ký hiệu: yi = Yi −Y x2i = X 2i − X 2 x3i = X 3i − X 3 I. Moâ hình hoài quy tuyeán tính 3 bieánNgười ta chứng minh được ∑ x2 2i = ∑ X 2 2i − n(X 2 )2 ∑ x3 2i = ∑ X 3 2i − n(X 3)2 ∑ yi2 = ∑Yi 2 − n(Y )2 ∑ x2ix3i = ∑ X 2i X 3i − nX 2 X 3 ∑ yix2i = ∑Yi X 2i − nYX 2 ∑ yix3i = ∑Yi X 3i − nYX 3 I. Moâ hình hoài quy tuyeán tính 3 bieánVí dụ Bảng dưới đây cho các số liệu về doanh số bán (Y), chi phí chào hàng (X2) và chi phí quảng cáo (X3) của một công ty Hãy ước lượng hàm hồi quy tuyến tính của doanh số bán theo chi phí chào hàng và chi phí quảng cáo I. Moâ hình hoài quy tuyeán tính 3 bieánThs. Tran Van Hoang Doanh số bán Yi (trđ) Chi phí chào hàng X2 Chi phí quảng cáo X3 1270 100 180 1490 106 248 1060 60 190 1626 160 240 1020 70 150 1800 170 260 1610 140 250 1280 120 160 1390 116 170 1440 120 230 1590 140 220 1380 150 150Từ số liệu trên, ta tính được các tổng như sau : I. Moâ hình hoài quy tuyeán tính 3 bieánI. Moâ hình hoài quy tuyeán tính 3 bieán1.4. Hệ số xác định của mô hình TSS = = R2 ESS = RSS == R 2 1.4. Hệ số xác định của mô hình Đối với mô hình hồi quy bội, người ta tính R2 có hiệu chỉnh như sau : k là số tham số trong mô hình I. Moâ hình hoài quy tuyeán tính 3 bieán Khi k>1 thì:1.4. Hệ số xác định của mô hình Ví dụ : Tính hệ số xác định của mô hình hồi quy theo số liệu của ví dụ trước1.4. Hệ số xác định của mô hình1.5. Phương sai của hệ số hồi quy Phương sai của các tham số hồi quy được tính theo các công thức sau: ( ) − + − = + ∑ ∑ ∑ ∑ ∑ ∑ 2 2 3 23 22 2 3 2 3 22 23 23 22 2 2 ˆ 1 2 ˆ ˆ 1 i i i i i i i i x x x x X x X x X X x x n σ σ β 2ˆ 1 1 ( ˆ ) ˆ se β = σ β I. Moâ hình hoài quy tuyeán tính 3 bieán 3 ˆ 2 − = n RSS Với σ( ) − = ∑ ∑ ∑ ∑ 2 2 3 23 22 23 2 2 ˆ ˆ ˆ 2 i i i i i x x x x x σ σ β 2ˆ 2 2 ( ˆ ) ˆ se β = σ β I. Moâ hình hoài quy tuyeán tính 3 bieán 3 ˆ 2 − = n RSS Với σ 1.5. Phương sai của hệ số hồi quy( ) − = ∑ ∑ ∑ ∑ 2 2 3 23 22 22 2 2 ˆ ˆ ˆ 3 i i i i i x x x x x σ σ β 2ˆ 3 3 ( ˆ ) ˆ se β = σ β 3 ˆ 2 − = n RSS Với σ I. Moâ hình hoài quy tuyeán tính 3 bieán 1.5. Phương sai của hệ số hồi quy1.6. Khoảng tin cậy của các hệ số hồi quy Khoảng tin cậy của β1 ˆ − × ( ˆ ); ˆ + × ( ˆ2) 2 2 2 2 β2 tα se β β tα se β Khoảng tin cậy của β 2 ˆ − × ( ˆ ); ˆ + × ( ˆ1) 2 1 1 2 β1 tα se β β tα se β Với độ tin cậy là 1α I. Moâ hình hoài quy tuyeán tính 3 bieán1.6. Khoảng tin cậy của các hệ số hồi quy ˆ − × ( ˆ ); ˆ + × ( ˆ3) 2 3 3 2 β3 tα se β β tα se β Khoảng tin cậy của β3 Lưu ý khi tra bảng TStudent, trong trường hợp hàm hồi quy 3 biến thì bậc tự do là (n3) I. Moâ hình hoài quy tuyeán tính 3 bieán1.6. Khoảng tin cậy của các hệ số hồi quy Ví dụ : Tính khoảng tin cậy của β2 và β3 mô hình hồi quy theo số liệu của ví dụ trước với độ tin cậy 95%1.6. Khoảng tin cậy của các hệ số hồi quy1.7. Kiểm định giả thiết a) Kiểm định giả thiết về β1, β2 β3 Bước 1 : Lập khoảng tin cậy Bước 2 : Nếu β0 thuộc khoảng tin cậy thì chấp nhận Ho. Nếu β0 không thuộc khoảng tin cậy thì bác bỏ Ho Ví dụ : (theo số liệu trước), yêu cầu kiểm định các giả thiết β2 , β3 Với độ tin cậy 95% H o:βi= βo H 1:βi≠ βo I. Moâ hình hoài quy tuyeán tính 3 bieánb) Kiểm định giả thiết về R2 Bước 1 : tính H o:R2= 0 H 1:R2≠ 0 Bước 2 : Tra bảng tìm F(2,n3), mức ý nghĩa là α Bước 3 : Nếu F>F(2,n3) , bác bỏ H0 Nếu F≤F(2,n3) , chấp nhận H0 1.7. Kiểm định giả thiếtb) Kiểm định giả thiết về R2 H o:R2= 0 H 1:R2≠ 0 Độ tin cậy là 95% Ví dụ: Yêu cầu kiểm định giả thiết 1.7. Kiểm định giả thiếtHàm sản xuất CobbDouglas được biểu diễn như sau: Ui Yi = β1X 2 βi2 X 3 βi3e Trong đó : Yi : sản lượng của doanh nghiệp X2i : lượng vốn X 3i : lượng lao động Ui : sai số ngẫu nhiên Hàm sản xuất CobbDouglas có thể đưa được về dạng tuyến tính bằng cách lấy logarit hai vế 2.1. Hàm sản xuất CobbDouglas 2. Một số dạng hàm2.1. Hàm sản xuất CobbDouglas lnYi = ln β1 + β2 ln X 2i + β3 ln X 3i +Ui Đặt Dạng tuyến tính sẽ là : i i i i i i X X X X Y Y 3 3 2 2 1 1 ln ln ln ln = = = = β β Yi = β1 + β2 X 2 i + β3X 3 i +Ui 2. Một số dạng hàm2.2. Hàm hồi quy đa thức bậc 2 Yi = β1 + β2 X i + β3X i2 +Ui Mặc dù chỉ có một biến độc lập Xi nhưng nó xuất hiện với các luỹ thừa khác nhau khiến cho mô hình trở thành hồi quy ba biến II. Moät soá daïng haøm3.1. Hàm hồi quy tổng thể (PRF) Y X X X U i = + + + + + β β β β 1 2 2 3 3 i i ... k ki i Trong đó •Y là biến phụ thuộc •X 2,X3,…,Xk là các biến độc lập •Ui là các sai số ngẫu nhiên •β1 :Hệ số tự do β 2, β 3,…, β k là các hệ số hồi quy riêng 3. HỐI QUY TUYẾN TÍNH K BIẾN1 2 ... Y Y n Y Y = 1 2 ... β β k β β = 1 2 ... n U U U U = Ký hiệu 3.1. Hàm hồi quy tổng thể (PRF)21 31 1 22 32 2 2 3 1 ... 1 ... ... ... ... ... ... 1 ... k k n n kn X X X X X X X X X X = Và III. HỐI QUY TUYẾN TÍNH K BIẾN 3.1. Hàm hồi quy tổng thể (PRF)Y X U = + .β Khi đó , hệ thống các quan sát có thể được viết lại dưới dạng : III. HỐI QUY TUYẾN TÍNH K BIẾN 3.1. Hàm hồi quy tổng thể (PRF)3.2. Các giả thiết của mô hình hồi quy k biến Giả thiết 1 : Các biến độc lập X1, X2,…,Xk đã cho và không ngẫu nhiên Giả thiết 2 : Các sai số ngẫu nhiên Ui có giá trị trung bình bằng 0 và có phương sai không đổi Giả thiết 3: Không có sự tương quan giữa các sai số Ui III. HỐI QUY TUYẾN TÍNH K BIẾN Giả thiết 4 : Không có hiện tượng cộng tuyến giữa các biến độc lập X2, X3,…,Xk Giả thiết 5 : Không có tương quan giữa các biến độc lập X2,X3,…,Xk với các sai số ngẫu nhiên Ui1 2 2 3 3 ˆ ˆ ˆ ˆ SRF:Y X X X e i = + + + + + β β β β i i ... k ki i hoặc: Hàm hồi quy mẫu : 1 2 2 3 3 ˆ ˆ ˆ ˆ ˆ Y X X X i = + + + + β β β β i i ... k ki Hay : (Viết dưới dạng ma trận ) Y X e = + ˆ β III. HỐI QUY TUYẾN TÍNH K BIẾN 3.2. Các giả thiết của mô hình hồi quy k biến3.3. Ước lượng các tham số Với 1 2 ... n e e e e = 1 2 ˆ ˆ ˆ ... ˆ β β k β β = III. HỐI QUY TUYẾN TÍNH K BIẾNe Y Y i i i = − ( ) ˆ 1 2 2 3 3 ˆ ˆ ˆ ˆ = − − − − − Y X X X i β β β β i i ... k ki 1 2 2 3 3 ˆ ˆ ˆ ˆ SRF: Y X X X e i = + + + + + β β β β i i ... k ki i hoặc: 1 2 2 3 3 ˆ ˆ ˆ ˆ ˆ Y X X X i = + + + + β β β β i i ... k ki Khi đó 3.3. Ước lượng các tham sốTheo phương pháp OLS thì các tham số 1 2 3 ˆ ˆ ˆ ˆ β β β β , , ,..., k được chọn sao cho ∑ ∑ e Y Y i i i 2 = − ( ˆ )2 = − − − − − ∑(Y X X X i β β β β ˆ ˆ ˆ ˆ 1 2 2 3 3 i i ... k ki )2 → min 3.3. Ước lượng các tham sốTa ký hiệu ˆ là các ma trận , , , X Y e T T T T β chuyển vị của X Y e , , , β ˆ Tức là Y Y Y Y T = ( 1 2 , ,..., n ) e e e e T = ( 1 2 , ,..., n ) β β β β ˆ ˆ ˆ ˆ T = ( 1 2 , ,..., k )21 22 23 2 1 2 3 1 1 1 ... 1 ... ... ... ... ... ... ... n k k k kn X X X X X X X X X = 3.3. Ước lượng các tham sốKhi đó : β ˆ = ( ) X X X Y T T −1 III. HỐI QUY TUYẾN TÍNH K BIẾN2 3 2 2 2 2 3 2 2 2 3 ... ... ... ... ... ... ... ... i i ki i i i i i ki ki ki i ki i ki n X X X X X X X X X X X X X X X X = ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ Trong đó (XTX) là ma trận có dạng III. HỐI QUY TUYẾN TÍNH K BIẾNVí dụ minh hoạ Bảng dưới đây cho các số liệu về lượng hàng bán được của một loại hàng hóa(Y), thu nhập của người tiêu dùng (X2) và giá bán của loại hàng này (X3) Tìm hàm hồi quy tuyến tính 1 2 2 3 3 ˆ ˆ ˆ ˆ Y X X i i i = + + β β β 3.3. Ước lượng các tham sốYi (tấntháng) X2 (triệu đồngnăm) X 3(ngàn đồngkg) 20 8 2 18 7 3 19 8 4 18 8 4 17 6 5 17 6 5 16 5 6 15 5 7 13 4 8 12 3 8Giải Từ số liệu trên, ta tính được các tổng như sau:3.4. Hệ số xác định của mô hình TSS Y Y n Y = − T ( )2 = R2 ESS X Y n Y = − β ˆT T ( )2 RSS = III. HỐI QUY TUYẾN TÍNH K BIẾN3.5. Khoảng tin cậy và kiểm định giả thiết Gọi cjj là phần tử nằm ở dòng j cột j của ma trận (XTX)1 Khi đó : 2 2 2 ˆ . . ˆ j σ σ σ β = ≈ c c jj jj Với ˆ 2 RSS n k σ = − (k là số tham số) 2ˆ ( ) ˆ j se β σ j = β3.5. Khoảng tin cậy và kiểm định giả thiết Khoảng tin cậy của βj là 2 2 ( ( ); ( )) β β β β ˆ ˆ ˆ ˆ j j j j − + t se t se α α Hoặc tính giá trị tới hạn của βj là ˆ ( ) ˆ j j j t se β β β − = Bậc tự do là (nk)3.5. Khoảng tin cậy và kiểm định giả thiết Kiểm định giả thiết về R2 Với độ tin cậy 1α Bước 1 : tính Bước 2 : Tra bảng tìm F(k1,nk), mức ý nghĩa là αB ước 3 : Nếu F>F(k1,nk) , bác bỏ H0 Nếu F≤F(k1,nk) , chấp nhận H0 ( ) 2 2 ( ) ( 1) 1 R n k F k R − = − − H o:R2= 0 H 1:R2≠ 03.6. Vấn đề dự báo Cho 02 0 1 ... o n X X X = Yêu cầu dự báo giá trị Y0 của Y III. HỐI QUY TUYẾN TÍNH K BIẾNDự báo điểm : 0 0 0 0 0 2 2 3 3 ˆ ˆ ˆ ˆ ˆ Y X X X = + + + + β β β β ... k k Dự báo khoảng : 0 0 0 2 2 ( ( ); ( )) Y t se Y t se Y ˆ ˆ ˆ − + α α ˆ β j Bậc tự do là (nk) III. HỐI QUY TUYẾN TÍNH K BIẾN 3.6. Vấn đề dự báo0 2 2 1 0 σ σ Y ˆ = ˆ X X X X 0 T T ( )− 2ˆ0 0 se Y ( ) ˆ = σ Y III. HỐI QUY TUYẾN TÍNH K BIẾN 3.6. Vấn đề dự báoVí dụ (số liệu trước) Ví dụ : Tính khoảng tin cậy của β2 theo số liệu của ví dụ trước với độ tin cậy 95% III. HỐI QUY TUYẾN TÍNH K BIẾNyêu cầu kiểm định các giả thiết H o:β2= 0 H 1:β2≠ 0 Với độ tin cậy 95% III. HỐI QUY TUYẾN TÍNH K BIẾN Ví dụ (số liệu trước)Yêu cầu kiểm định các giả thiết Với độ tin cậy 95% H o:R2= 0 H 1:R2≠ 0 III. HỐI QUY TUYẾN TÍNH K BIẾN Ví dụ (số liệu trước)Yêu cầu dự báo giá trị của Y khi X2=9 và X3=9 với độ tin cậy 95% III. HỐI QUY TUYẾN TÍNH K BIẾN Ví dụ (số liệu trước)Y: Doanh thu, X2 Chi phí quaûng caùo, X3= Löông nhaân vieân Y X2 X3 126 17 11 148 23 14 105 18 9 162 22 16 101 14 9 175 24 17 Y X2 X3 160 23 15 127 15 11 138 16 12 143 21 14 158 22 15 137 13 13 1. Vieát phöông trình hoài quy 2. Tìm R2 vaø R2 hieäu chænh 3. Tìm khoaûng tin caäy cuûa caùc heä soá hoài quy 4. Kieåm ñònh giaû thieát H0 ß1 = 0, H0 ß2 = 0 vôùi α=5% 5. Döï baùo doanh thu cty neáu löông 10tr, quaûng caùo 100tr
CHƯƠNG 2: MƠ HÌNH HỒI QUY BỘI GV: Trương Bích Phương I Mơ HỒI QUY TUYẾN quyBIẾNbiến MÔ HÌNH hình hồi TÍNH 3 1.1 Hàm hồi quy tổng thể (PRF) Yi = β1 + β X 2i + β X 3i + U i Trong •Y biến phụ thuộc •X2,X3 biến độc lập •X2i, X3i giá trị thực tế X2, X3 •Ui sai số ngẫu nhiên 1.2 Các giả thiết mơ hình Giá trị trung bình đại lượng ngẫu nhiên Ui Phương sai Ui khơng thay đổi Khơng có tương quan Ui Khơng có tương quan (cộng tuyến) X2 X3 Khơng có tương quan Ui X2,X3 I Mô hình hồi quy tuyến tính biến 1.3 Ước lượng tham số Chúng ta sử dụng phương pháp bình phương nhỏ OLS PRF : Yi = β1 + β X 2i + β X 3i + U i Hàm hồi quy mẫu tương ứng : ˆ ˆ ˆ SRF : Yi = β1 + β X 2i + β X 3i + ei ˆ ˆ ˆ ˆ Hay: Y = β + β X + β X 3i i 2i I Mô hình hồi quy tuyến tính biến ˆ ˆ ˆ ˆ ei = Yi − Yi = Yi − β1 − β X 2i − β X 3i Theo phương pháp OLS tham số ˆ ˆ ˆ β1 , β , β chọn cho ( ˆ ˆ ˆ e = ∑ Yi − β1 − β X 2i − β X 3i ∑ i ) → Như , cơng thức tính tham số sau : I Mô hình hồi quy tuyến tính biến Ký hiệu: yi = Yi − Y x2 i = X i − X x3i = X 3i − X ˆ β2 = ˆ β3 = ˆ β1 = I Mô hình hồi quy tuyến tính biến Người ta chứng minh ∑x 2i ∑x 3i = ∑ X − n( X ) = ∑ X − n( X ) 2 3i ∑ y = ∑Y i ∑x 2 2i i − n(Y ) x = ∑ X 2i X 3i − nX X i 3i ∑yx ∑yx i 2i i 3i = ∑ Yi X 2i − nY X = ∑ Yi X 3i − nY X I Mô hình hồi quy tuyến tính biến Ví dụ Bảng cho số liệu doanh số bán (Y), chi phí chào hàng (X2) chi phí quảng cáo (X3) cơng ty Hãy ước lượng hàm hồi quy tuyến tính doanh số bán theo chi phí chào hàng chi phí quảng cáo Doanh số bán Yi (trđ) Chi phí chào hàng X2 Chi phí quảng cáo X3 100 106 60 160 70 170 140 120 116 120 140 150 180 248 190 240 150 260 250 160 170 230 220 150 Ths Tran Van Hoang 1270 1490 1060 1626 1020 1800 1610 1280 1390 1440 1590 1380 I Mô hình hồi quy tuyến tính biến Từ số liệu trên, ta tính tổng sau : Giải Từ số liệu trên, ta tính tổng sau: III HỐI QUY TUYẾN TÍNH K BIẾN 3.4 Hệ số xác định mơ hình TSS Y Y − n(Y ) = ˆ T X T Y − n(Y ) ESS β T RSS = R = 2 3.5 Khoảng tin cậy kiểm định giả thiết Gọi cjj phần tử nằm dòng j cột j ma trận (XTX)-1 ˆ σ = σ c jj ≈ σ c jj Khi : ˆ β 2 j ˆ )= σ2 se( β j ˆ β Với RSS ˆ σ = n−k j (k số tham số) 3.5 Khoảng tin cậy kiểm định giả thiết Khoảng tin cậy βj ˆ − t se( β ); β + t se( β )) ˆ ˆ ˆ (β j α α j j j 2 Hoặc tính giá trị tới hạn βj ˆ − β* βj j t= ˆ se( β ) j Bậc tự (n-k) 3.5 Khoảng tin cậy kiểm định giả thiết Kiểm định giả thiết R2 Với độ tin cậy 1-α Ho:R2= H1:R2≠ R (n − k ) Bước : tính F = (k − 1) − R ( ) Bước : Tra bảng tìm F(k-1,n-k), mức ý nghĩa α Bước : Nếu F>F(k-1,n-k) , bác bỏ H0 Nếu F≤F(k-1,n-k) , chấp nhận H0 III HỐI QUY TUYẾN TÍNH K BIẾN 3.6 Vấn đề dự báo Cho 0 X2 Xo = 0 Xn u cầu dự báo giá trị Y0 Y III HỐI QUY TUYẾN TÍNH K BIẾN 3.6 Vấn đề dự báo Dự báo điểm : ˆ ˆ = β + β X + β X + + β X Y0 ˆ0 ˆ2 ˆ3 k k Dự báo khoảng : ˆ ˆ ˆ ˆ (Y0 − tα se(Y0 ); β j + tα se(Y0 )) Bậc tự (n-k) III HỐI QUY TUYẾN TÍNH K BIẾN 3.6 Vấn đề dự báo ˆ σ = σ X (X X ) X ˆ Y0 T T ˆ )= σ2 se(Y0 ˆ Y −1 III HỐI QUY TUYẾN TÍNH K BIẾN Ví dụ (số liệu trước) Ví dụ : Tính khoảng tin cậy β2 theo số liệu ví dụ trước với độ tin cậy 95% III HỐI QUY TUYẾN TÍNH K BIẾN Ví dụ (số liệu trước) u cầu kiểm định giả thiết Ho:β2= H1:β2≠ Với độ tin cậy 95% III HỐI QUY TUYẾN TÍNH K BIẾN Ví dụ (số liệu trước) u cầu kiểm định giả thiết Ho:R2= H1:R2≠ Với độ tin cậy 95% III HỐI QUY TUYẾN TÍNH K BIẾN Ví dụ (số liệu trước) u cầu dự báo giá trị Y X2=9 X3=9 với độ tin cậy 95% Y: Doanh thu, X2 Chi phí quảng cáo, X3= Lương nhân viên Y X2 X3 Y X2 X3 126 17 11 160 23 15 148 23 14 127 15 11 105 18 138 16 12 162 22 16 143 21 14 101 14 158 22 15 175 24 17 137 13 13 Viết phương trình hồi quy Tìm R2 R2 hiệu chỉnh Tìm khoảng tin cậy hệ số hồi quy Kiểm đònh giả thiết H0 ß1 = 0, H0 ß2 = với α=5% Dự báo doanh thu cty lương 10tr, quảng cáo 100tr