Mô hình hồi quy tuyến tính đơn

Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn CHƯƠNG Mô Hình Hồi Quy Tuyến Tính Đơn Ở chương phát biểu bước phân tích kinh tế lượng việc thiết lập mô hình mô tả hành vi đại lượng kinh tế Tiếp theo nhà phân tích kinh tế/ kinh doanh thu thập liệu thích hợp ước lược mô hình nhằm hỗ trợ cho việc định Trong chương giới thiệu mô hình đơn giản phát triển phương pháp ước lượng, phương pháp kiểm định giả thuyết phương pháp dự báo Mô hình đề cập đến biến độc lập (Y) biến phụ thuộc (X) Đó mô hình hồi quy tuyến tính đơn Mặc dù mô hình đơn giản, phi thực tế, việc hiểu biết vấn đề mô hình tảng cho việc tìm hiểu mô hình phức tạp Thực tế, mô hình hồi quy đơn tuyến tính giải thích cho nhiều phương pháp kinh tế lượng Trong chương đưa kết luận mô hình hồi quy tuyến tính đơn biến Còn phần khác phần tính toán giới thiệu phần phụ lục Vì vậy, người đọc có kiến thức toán học, thích, đọc phần phụ lục để hiểu rõ kết lý thuyết 3.1 Mô Hình Cơ Bản Chương trình bày ví dụ mô hình hồi quy đơn đề cập đến mối liên hệ giá nhà diện tích sử dụng (xem Hình 1.2) Chọn trước số loại diện tích, sau liệt kê số lượng nhà có tổng thể tương ứng với diện tích chọn Sau tính giá bán trung bình loại nhà vẽ đồ thị (quy ước điểm biểu thị X) Giả thuyết mô hình hồi quy tuyến tính đơn trị trung bình nằm đường thẳng (biểu thị α + βSQFT), hàm hồi quy tổng thể trung bình có điều kiện (kỳ vọng) GIÁ theo SQFT cho trước Công thức tổng quát mô hình hồi quy tuyến tính đơn dựa Giả thiết 3.1 GIẢ THIẾT 3.1 (Tính Tuyến Tính Mô Hình) (3.1) Yt = α + βXt + ut đó, Xt Yt trị quan sát thứ t (t = đến n) biến độc lập biến phụ thuộc, α β tham số chưa biết ước lượng; Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn ut số hạng sai số không quan sát giả định biến ngẫu nhiên với số đặc tính định mà đề cập kỹ phần sau α β gọi hệ số hồi quy (t thể thời điểm chuỗi thời gian trị quan sát chuỗi liệu chéo.) Thuật ngữ đơn mô hình hồi quy tuyến tính đơn sử dụng để có biến giải thích (X) sử dụng mô hình Trong chương nói mô hồi quy đa biến bổ sung thêm nhiều biến giải thích khác Thuật ngữ hồi quy xuất phát từ Fraccis Galton (1886), người đặt mối liên hệ chiều cao nam với chiều cao người cha quan sát thực nghiệm cho thấy có xu hướng chiều cao trung bình nam với chiều cao người cha họ để “hồi quy” (hoặc di chuyển) cho chiều cao trung bình toàn tổng thể α + βXb gọi phần xác định mô hình trung bình có điều kiện Y theo X, E(YtXt) = α + βXt Thuật ngữ tuyến tính dùng để chất thông số tổng thể α β tuyến tính (bậc nhất) Xt tuyến tính Do đó, mô hình Y t = α + β X t2 + u t gọi hồi quy quyến tính đơn có X bình phương Sau ví dụ phương trình hồi quy phi tuyến tính Yt = α + Xβ + ut Trong sách không đề cập đến mô hình hồi quy phi tuyến tính mà tập trung vào mô hình có tham số có tính tuyến tính mà Những mô hình tuyến tính bao gồm số hạng phi tuyến tính biến giải thích (Chương 6) Để nghiên cứu sâu mô hình hồi quy phi tuyến tính, tham khảo tài liệu: Greene (1997), Davidson MacKinnon (1993), Griffths, Hill, Judg (1993) Số hạng sai số ut (hay gọi số hạng ngẫu nhiên) thành phần ngẫu nhiên không quan sát sai biệt Yt phần xác định α + βXt Sau tổ hợp bốn nguyên nhân ảnh hưởng khác nhau: Biến bỏ sót Giả sử mô hình thực Yt = α + βXt + γZt +vt đó, Zt biến giải thích khác vt số hạng sai số thực sự, ta sử dụng mô hình Y = α + βXt +ut ut = γZt +vt Vì thế, ut bao hàm ảnh hưởng biến Z bị bỏ sót Trong ví dụ địa ốc phần trước, mô hình thực bao gồm ảnh hưởng phòng ngủ phòng tắm bỏ qua hai ảnh hưởng mà xét đến diện tích sử dụng số hạng u bao hàm ảnh hưởng phòng ngủ phòng tắm lên giá bán nhà Phi tuyến tính ut bao gồm ảnh hưởng phi tuyến tính mối quan hệ Y X Vì thế, mô hình thực Yt = α + βX t + γX t + ut , Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn lại giả định phương trình Y = α + βXt +ut , ảnh hưởng X t2 bao hàm ut Sai số đo lường Sai số việc đo lường X Y thể qua u Ví dụ, giả sử Yt giá trị việc xây dựng ta muốn ước lượng hàm Yt = α + βrt +vt rt lãi suất nợ vay vt sai số thật (để đơn giản, ảnh hưởng thu nhập biến khác lên đầu tư loại bỏ) Tuy nhiên thực ước lượng, lại sử dụng mô hình Yt = α + βXt +ut Xt = rt +Zt lãi suất Như lãi suất đo lường sai số Zt thay rt = Xt – Zt vào phương trình ban đầu, ta Yt = α +β(Xt – Zt) +vt = α + βXt – βZt + vt = α + βXt + ut Cần lưu ý tính ngẫu nhiên số hạng ut bao gồm sai số đo lường lãi suất nợ vay cách xác Những ảnh hưởng dự báo Dù mô hình kinh tế lượng tốt chịu ảnh hưởng ngẫu nhiên dự báo Những ảnh hưởng thể qua số hạng sai số ut Như đề cập ban đầu, việc thực điều tra toàn tổng thể để xác định hàm hồi quy tổng thể không thực tế Vì vậy, thực tế, người phân tích thường chọn mẫu bao gồm nhà cách ngẫu nhiên đo lường đặc tính mẫu để thiết lập hàm hồi quy cho mẫu Bảng 3.1 trình bày liệu mẫu gồm 14 nhà bán khu vực San Diego Số liệu có sẵn đóa mềm với tên tập tin DATA3-1 Trong Hình 3.1, cặp giá trị (Xt, Yt) vẽ đồ thị Đồ thị gọi đồ thị phân tán mẫu cho liệu Hình 3.1 tương tự Hình 1.2, Hình 1.2 liệt kê toàn giá trị (Xt, Yt) tổng thể, Hình 3.1 liệt kê liệu mẫu mà Giả sử, thời điểm, ta biết giá trị α β Ta vẽ đường thẳng α + βX biểu đồ Đây đường hồi quy tổng thể Khoảng cách chiếu thẳng xuống từ giá thực (Yt) đến đường hồi quy α + βX sai số ngẫu nhiên ut Độ dốc đường thẳng (β) ∆Y/∆X, lượng thay đổi Y đơn vị thay đổi X Vì β diễn dịch ảnh hưởng cận biên X lên Y Do đó, β 0.14, điều có nghóa mét vuông diện tích tăng thêm làm tăng giá bán nhà lên, mức trung bình, 0.14 ngàn đô la (lưu ý đơn vị tính) hay 140 đô la Một cách thực tế hơn, diện tích sử dụng nhà tăng thêm 100 mét vuông hy vọng giá bán trung bình nhà tăng thêm $14.000 đô la Mặc dầu α tung độ gốc giá trị trị trung bình Y X 0, số hạng hiểu giá trung bình lô đất trống Nguyên nhân α ẩn chứa biến bỏ sót cách giải thích cho α (điều đề cập kỹ Phần 4.5) Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 BAÛNG 3.1 t 10 11 12 13 14 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn Giá trị trung bình ước lượng trung bình thực tế giá nhà diện tích sử dụng (mét vuông) SQFT Giá bán1 Giá trung bình ước lượng2 1.065 199,9 200,386 1.254 288 226,657 1.300 235 233,051 1.577 285 271,554 1.600 239 274,751 1.750 293 295,601 1.800 285 302,551 1.870 365 312,281 1.935 295 321,316 1.948 290 323,123 2.254 385 365,657 2.600 505 413,751 2.800 425 441,551 3.000 415 469,351 HÌNH 3.1 Biểu Đồ Phân Tán Của Mẫu Trình Bày Mối Liên Hệ Giữa Giá SQFT 600 Y (X , Yt ) t 500 α + βX ut 400 300 200 100 1000 α + βX t α 1400 1800 2200 Xt 2600 3000 X HÌNH 3.2 Phương Trình Hồi Quy Tổng Thể Mẫu Đơn vị tính: 1.000 đô la Phương pháp tính giá trung bình ước lượng trình bày Phần 3.2 Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Y Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn αˆ + βˆ X (Hồi qui maãu) D ( X t , Yt ) uˆ t C u t α + β X (Hoài qui tổng thể) B Yˆt = αˆ + βˆX t α + β X t = E (Yt | X t ) A X Mục tiêu nhà kinh tế lượng sử dụng liệu thu thập để ước lượng hàm hồi quy tổng thể, là, ước lượng tham số tổng thể α β Ký hiệu αˆ ước lượng mẫu α βˆ ước lượng ^ =α ^ X Đây ^ +β mẫu β Khi mối quan hệ trung bình ước lượng Y gọi hàm hồi quy mẫu Ứng với giá trị quan sát cho trước t, ta ^ =α ^ X Đây giá trị dự báo Y với giá trị cho trước X ^+β có Y t t t Lấy giá trị quan sát Yt trừ cho giá trị này, ta ước lượng ut gọi phần dư ước lượng, đơn giản phần dư, ký hiệu uˆ t 1và thể phương trình sau: ^ ^X ^–β u^t = Yt – Yt = Yt – α t Sắp xếp lại số hạng trên, ta có Y t = αˆ + βˆX t + uˆ t (3.3) Việc phân biệt hàm hồi quy tổng thể Y = α + βX hàm hồi quy mẫu Yˆt = αˆ + βˆX quan trọng Hình 3.2 trình bày hai đường sai số phần dư (cần nghiên cứu kỹ vấn đề này) Lưu ý ut ký hiệu “sai số”, vàø uˆ t ký hiệu “phần dư” BÀI TẬP 3.1 Xem xét phương trình sau đây: ^ , b thay cho β ^ vaø e thay cho u ^ t Một số tác giả giảng viên thích sử dụng a thay cho α t Chúng ta sử dụng dấu hiệu ^ theo qui định lý thuyết thống kê giúp phân biệt rõ ràng giá trị thật giá trị ước lượng xác định thông số ước lượng Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn a Yt = α + βX + u t b Y = αˆ + βˆX + uˆ t t c Yt = αˆ + βˆX + u t d Yˆt = α + βX e Yˆ = α + βX + uˆ t f t Yˆt = αˆ + βˆX + uˆ t Giải thích kỹ phương trình (a) (b) đúng, (c), (d), (e) (f) sai Hình 3.2 có ích việc trả lời câu hỏi 3.2 Ước lượng mô hình phương pháp bình phương tối thiểu thông thường Trong phần trước, nêu rõ mô hình hồi quy tuyến tính phân biệt hồi quy tổng thể hồi quy mẫu Mục tiêu sử dụng liệu X Y tìm kiếm ước lượng “tốt nhất” hai tham số tổng thể α β Trong kinh tế lượng, thủ tục ước lượng dùng phổ biến phương pháp bình phương tối thiểu Phương pháp thường gọi bình phương tối thiểu thông thường, để phân biệt với phương pháp bình phương tối thiểu khác thảo luận chương sau Ký hiệu ước lượng α β αˆ βˆ , phần dư ước lượng uˆ t = Yt − αˆ − βˆX t Tieâu chuẩn tối ưu sử dụng phương pháp bình phương tối thiểu cực tiểu hóa hàm mục tiêu t =n t =n t =1 t =1 ESS (αˆ , βˆ ) = ∑ uˆ t2 = ∑ (Yt − αˆ − βˆX t ) ˆ vaø βˆ ESS tổng phần dư bình phương với tham số chưa biết α phương pháp OLS cực tiểu tổng phần dư bình phương2 Cần nên lưu ý ESS khoảng cách bình phương đo lường từ đường hồi quy Sử dụng khoảng cách đo lường này, nói phương pháp OLS tìm đường thẳng “gần nhất” với liệu đồ thị Trực quan hơn, giả sử ta chọn tập hợp giá trị αˆ βˆ , đường thẳng αˆ − βˆX Có thể tính độ lệch Yt từ đường thẳng Rất dễ nhầm gọi ESS tổng phần dư bình phương, ký hiệu sử dụng phổ biến nhiều chương trình máy tính tiếng có từ tài liệu Phân tích phương sai Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn chọn theo phần dư ước lượng uˆ t = Yt − αˆ − βˆX Sau bình phương giá trị cộng tất giá trị bình phương toàn mẫu quan sát Tổng phần dư bình phương trị quan sát [được xem tổng bình uˆt2 Tương ứng với điểm phương sai số (ESS)] ∑ đường thẳng có một trị tổng bình phương sai số Phương pháp bình phương tối thiểu chọn giá trị αˆ βˆ cho ESS nhỏ Việc bình phương sai số đạt hai điều sau Thứ nhất, bình phương giúp loại bỏ dấu sai số xem sai số dương sai số âm Thứ hai, bình phương tạo bất lợi cho sai số lớn cách đáng kể Ví dụ, giả sử phần dư mẫu 1, 2, –1 –2 hệ số hồi quy chọn trước trị αˆ βˆ chọn trước So sánh giá trị với mẫu khác có phần dư –1, –1, –1 Tổng giá trị sai số tuyệt đối hai trường hợp Mặc dù mẫu chọn thứ hai có sai số tuyệt đối thấp từ đến 1, điều dẫn đến sai số lớn không mong muốn Nếu ta tính ESS cho hai trường hợp ESS trường hợp đầu 10 (12 + 22+ 12+ 22), ESS cho trường hợp sau 12 (12 + 12+ 12+ 32) Phương pháp bình phương tối thiểu áp đặt bất lợi lớn cho sai số lớn đường thẳng trường hợp đầu chọn Phần 3.3 tiếp tục trình bày đặc tính cần thiết khác phương pháp cực tiểu ESS Phương Pháp Thích Hợp Cực Đại Phần đề cập sơ phương pháp thích hợp cực đại Phương pháp trình bày chi tiết phần 2.A.4 Phần 3.A.5 trình bày nguyên tắc áp dụng mô hình hồi quy tuyến tính đơn Mặc dù phương pháp thích hợp cực đại dựa tiêu chuẩn tối ưu khác, thông số ước lượng giống thông số ước lượng phương pháp OLS Nói đơn giản, phương pháp thích hợp cực đại chọn ước lượng cho xác suất xảy mẫu quan sát lớn Phần thảo luận trước cho thấy thực hai phương pháp ước lượng α β khác cách xác dẫn đến kết Như cần phải xem xét hai phương pháp? Câu trả lời chương sau, ta thấy số giả thiết mô hình giảm nhẹ, thực tế, hai phương pháp ước lượng khác cho kết khác Một phương pháp khác cho kết khác nữa, phương pháp cực tiểu tổng sai số tuyệt đối ∑ uˆ t Nhưng phương pháp không dùng phổ biến kinh tế lượng khó tính toán Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn Phương Trình Chuẩn Trong phần 3.A.3 phụ lục, phương pháp OLS thức áp dụng Phần cho thấy điều kiện để cực tiểu ESS với αˆ βˆ theo hai phương trình sau đây, gọi phương trình chuẩn (không có liên hệ đến phân phối chuẩn) ∑ uˆ t = = ∑ (Yt − αˆ − βˆX t ) = ∑ Yt − (nαˆ ) − βˆ ∑ X t ∑ ( X uˆ t t (3.4) ) = ∑ [ X t (Yt − αˆ − βˆX t )] = Trong Phương trình (3.4), cần lưu ý ∑ αˆ = nαˆ (3.5) số hạng có αˆ có n số hạng Chuyển vế số hạng âm Phương trình (3.4) sang phải chia số hạng cho n, ta 1 Yt = αˆ + βˆ ∑ X t ∑ n n (3.6) (1/n)ΣYt trung bình mẫu Y, ký hiệu Y , (1/n)ΣYt trung bình mẫu X, ký hiệu X Sử dụng kết thay vào Phương trình (3.6), ta phương trình sau Y =αˆ + βX (3.7) ^ X đường ước lượng đường hồi quy mẫu, ^ +β Đường thẳng α đường thẳng thích hợp Có thể thấy từ Phương trình (3.7) đường hồi quy mẫu qua điểm trung bình (X , Y ) Trong Bài tập 3.12c, ta thấy tính chất không đảm bảo trừ số hạng số α có mô hình Từ Phương trình (3.5), cộng tất theo số hạng, đưa αˆ βˆ làm thừa số chung, ta ∑ ( X Y ) − αˆ ∑ X t − βˆ ∑ X t2 = ∑ ( X Y ) = αˆ ∑ X t + βˆ ∑ X t2 t t hay t t (3.8) Lời Giải Phương Trình Chuẩn Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn Để thuận lợi cho việc đáp án hai phương trình chuẩn, tính chất sau cần thiết Những tính chất chứng minh Phụ lục Phần 3.A.2 TÍNH CHẤT 3.1 – – Sxx = ∑(Xt – X)2 = ∑Xt2 – n(X)2 = ∑Xt2 – (∑Xt)2 n TÍNH CHẤT 3.2 – – –– Sxy = ∑(Xt – X)(Yt – Y) = (∑XtYt) – n XY = ∑XtYt – [(∑Xt ) – (∑Yt) / n] Từ Phương trình (3.7), αˆ = Y − βˆX = 1 Yt − βˆ ∑ X t ∑ n n (3.9) Thay αˆ vaøo (3.8) ∑X Y t t 1  =  ∑ Yt − βˆ ∑ X t  (∑ X t ) + βˆ ∑ X t2 n n  Nhóm số hạng có thừa số βˆ :   (∑ X t )(∑ Yt ) ( Xt )  ∑ ˆ   + β ∑ X t − ∑ X tYt =  n n      Tìm βˆ ta βˆ = ∑X Y t t ∑X − t (∑ X )(∑ Y ) t − t n (∑ X t )2 n Sử dụng ký hiệu đơn giản giới thiệu Tính chất 3.1 3.2, diễn tả sau S xy βˆ = (3.10) S xx Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 3: Mô hình hồi quy tuyến tính đơn (∑ X ) − S xx = ∑ X t vaø S xy = ∑ X t Yt − (3.11) t n (∑ X )(∑ Y ) t (3.12) t n Ký hiệu Sxx Sxy nhớ cách trực quan sau, định nghóa xt = X t − X vaø y t = Yt − Y , ký hiệu ngang trung bình mẫu Do xt yt ký hiệu độ lệch X Y so với giá trị X Y trung bình Kết sau chứng minh phần Phụ lục Phần 2.A.1 3.A.2 ∑xt = S xx = ∑ xt2 = ∑ ( X t −X ) = ∑ X t2 − S xy = ∑ xt yt = ∑ ( X t − X )(Yt − Y ) = ∑ X tYt − (∑ X t )2 n n (3.13) [(∑ X )(∑ Y )] t (3.14) t Sxy laø “tổng giá trị xt nhân yt “ Tương tự, Sxx “tổng giá trị xt nhân xt , hay tổng xt bình phương Phương trình (3.9) (3.10) lời giải cho phương trình chuẩn [(3.4) (3.5)] cho ta ước lượng αˆ βˆ mẫu cho tham số α β tổng thể Cần lưu ý xác định ước lượng β Phương 2 trình (3.10) neáu Sxx = xt = ( Xt −X ) = Sxx không ∑ ∑ xt không, có nghóa Xt Điều dẫn đến giả thuyết sau GIẢ THIẾT 3.2 (Các Giá Trị Quan Sát X Là Khác Nhau) Không phải tất giá trị Xt Có giá trị Xt khác so với giá trị lại Nói cách khác, phương sai mẫu Var ( X ) = ∑ ( X t − X ) không không n −1 Đây giả thiết quan trọng luôn phải tuân theo không mô hình ước lượng Một cách trực quan, Xt không đổi, ta giải thích Yt thay đổi Hình 3.3 minh họa giả thuyết hình ảnh Trong ví dụ địa ốc, giả sử thông tin thu thập tập trung vào loại nhà có diện tích sử dụng 1.500 mét vuông Đồ thị phân tán mẫu thể Hình 3.3 Từ đồ thị thấy rõ Ramu Ramanathan 10 Thục Đoan/Hào Thi