Hồi quy tuyến tính đơn (PHẦN 2) (KINH tế LƯỢNG SLIDE)

1 CHƯƠNG II HỒI QUY TUYẾN TÍNH ĐƠN CHƯƠNG II MƠ HÌNH HỒI QUY HAI BIẾN • Giới thiệu mơ hình hồi qui • Hàm hồi quy tổng thể hàm hồi quy mẫu • Phương pháp bình phương nhỏ (OLS) • Phương pháp hợp lý tối đa (MLE) • Ước lượng khoảng kiểm định giả thiết TK • Phân tích phương sai kiểm định phù hợp mơ hình hồi quy Giới thiệu mơ hình hồi qui 1.1 Khái niệm phân tích hồi qui 1.2 Sự khác dạng quan hệ 1.1 Khái niệm phân tích hồi qui • Hồi qui cơng cụ chủ yếu KTL ã Thut ng hi qui l ôregression to mediocrityằ ngha l ôquy v giỏ tr trung bỡnhằ ã Thut ngữ đời Galton (1886) nghiên cứu phụ thuộc chiều cao cháu trai vào chiều cao bố chúng • Ơng xây dựng đồ thị phân bố chiều cao cháu trai ứng với chiều cao người cha 1.1 Khái niệm phân tích hồi qui Hình 2.01 Đồ thị phân bố chiều cao cháu trai ứng với chiều cao người cha 1.1 Khái niệm phân tích hồi qui Qua đồ thị phân bố, thấy: • Với chiều cao người cha cho trước, chiều cao cháu trai khoảng dao động quanh giá trị trung bình • Chiều cao cha tăng chiều cao cháu trai tăng • Các vòng tròn đồ thị giá trị TB chiều cao trai so với chiều cao ơng bố • Nếu nối điểm giá trị TB này, ta nhận đường thẳng hình vẽ • Đường thẳng gọi đường hồi quy- mơ tả trung bình gia tăng chiều cao trai so với bố 1.1 Khái niệm phân tích hồi qui • Như vậy, nghiên cứu giúp giải thích câu hỏi: có xu hướng bố cao đẻ cao, bố thấp đẻ thấp chiều cao trung bình người có xu hướng tiến tới (hồi quy) chiều cao trung bình tồn dân số, xu hướng gọi hồi quy • Từ đó, nghiên cứu giúp dự báo chiều cao trung bình trai thông qua chiều cao cho trước cha chúng 1.1 Khái niệm phân tích hồi qui  Bản chất phân tích hồi quy nghiên cứu mối liên hệ phụ thuộc biến (gọi biến phụ thuộc hay biến giải thích) với hay nhiều biến khác (gọi biến độc lập hay biến giải thích)  Phân tích hồi quy tập trung giải vấn đề sau : • Ước lượng giá trị trung bình biến phụ thuộc với giá trị cho biến độc lập • Kiểm định giả thiết chất phụ thuộc • Dự báo giá trị trung bình biến phụ thuộc biết giá trị biến độc lập • Kết hợp ba vấn đề 1.2.1 Quan hệ thống kê quan hệ hàm số • Trong quan hệ thống kê, biến phụ thuộc đại lượng ngẫu nhiên, có phân bố xác suất • Ứng với giá trị biết biến độc lập có nhiều giá trị khác biến phụ thuộc Phân tích hồi quy khơng xét đến quan hệ hàm số • Ví dụ: phụ thuộc suất giống ngô vào nhiệt độ, lượng mưa, độ chiếu sáng, phân bón…là QH TK khơng thể dự báo cách xác suất giống ngơ này/ha (vì sao?)  • Trong quan hệ hàm số, biến ngẫu nhiên • Ứng với giá trị biến độc lập có giá trị biến phụ thuộc • Ví dụ: vật lý, xét động tử chuyển động đều, người ta có cơng thức : S= v.t • S = độ dài quãng đường • v = vận tốc/đơn vị thời gian • t = thời gian  Đây quan hệ hàm số (vì sao?) 10 Phương pháp bình phương nhỏ (OLS) • 3.1 Nội dung phương pháp bình phương nhỏ • 3.2 Các tính chất thống kê ước lượng bình phương nhỏ • • • • 3.3 Các giả thiết phương pháp bình phương nhỏ 3.4 Độ xác ước lượng bình phương nhỏ 3.5 Tiêu chuẩn ước lượng bình phương nhỏ nhất- Định lý Gauss- Markov 3.6 Phân bố xác suất ước lượng bình phương nhỏ 43 3.4 Độ xác ước lượng OLS • Trong cơng thức trên, σ2 chưa biết σ2 ước lượng công thức sau đây: n ˆ u  i [3.12] ˆ  i 1 n = ước lượng OLS σ2 ˆ • n- = số bậc tự (number of degrees of freedom- df) • n = tổng bình phương phần dư (residual sum of squares- RSS) • uˆ  • Từ cơng thức [3.12]  cơng thức tính sai số tiêu chuẩn đường hồi quy i i 1 ( the standard error of the regression- se) sau: n [3.13] ˆ u  i • ˆ  i 1 n : độ lệch tiêu chuẩn (standard deviation) giá trị Y quanh SRF ˆ 44 Ví dụ Dựa vào số liệu cho ví dụ Yêu cầu : •a Tính Yˆi uˆi •b Tính phương sai sai số tiêu chuẩn hệ số hồi ) thành phần nhiễu ( u)ˆi mơ hình quy ( ˆ1 , ˆ2và •Gợi ý: Sử dụng Excel để tính toán! 45 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov • Với giả thiết từ 1-5 phương pháp bình phương nhỏ nhất, ước lượng bình phương nhỏ thu có tiêu chuẩn tốt • Các tiêu chuẩn biết đến thơng qua định lý tiếng Gauss- Markov • Để hiểu định lý này, trước hết làm quen với « tiêu chuẩn tuyến tính khơng chệch tốt » (the best linear unbiasedness property) ước lượng 46 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov • Một ước lượng, ví dụ ước lượng theo phương pháp OLS, gọi ước lượng tuyến tính khơng chệch tốt (Best Linear Unbiased Estimator- BLUE) β2 thỏa mãn tiêu chuẩn sau : • Tuyến tính: hàm tuyến tính biến ngẫu nhiên, chẳng hạn biến phụ thuộc Y mơ hình hồi quy • Khơng chệch: tức giá trị trung bình ước lượng giá trị kỳ vọng nó, E (ˆ2 ), với giá trị thực β2 • Có phương sai nhỏ lớp ước lượng tuyến tính khơng chệch Một ước lượng khơng chệch có phương sai nhỏ coi ước lượng hiệu 47 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov • Đối với mơ hình hồi quy, ước lượng theo phương pháp OLS coi ước lượng BLUE Đây nội dung định lý Gauss- Markov tiếng, phát biểu sau: • Định lý Gauss- Markov: Với giả thiết 1-5 phương pháp bình phương nhỏ nhất, ước lượng bình phương thu ước lượng tuyến tính, khơng chệch có phương sai nhỏ (BLUE) lớp ước lượng tuyến tính khơng chệch • Định lý Gauss- Markov giải thích thơng qua đồ thị phân bố xác suất hình [3.07] 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov Hình 3.07 Phân phối mẫu ước lượng ˆ (OLS)  2* (phương pháp khác) • Hình 3.07 (a) mô tả phân phối mẫu ước lượng theo phương pháp OLS Để thuận tiện, ta giả định đồ thị phân bố xác suất đối xứng Đồ thị cho ta thấy trung bình giá trị E(ˆ2) với giá trị thực β2 Trong ˆ trường hợp này, ta nói  ước lượng không chệch β2 48 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov Hình 3.07 Phân phối mẫu ước lượng ˆ (OLS)  2* (phương pháp khác) • Hình 3.07 (b) biểu diễn phân phối * mẫu ƯL  2, giá trị ƯL β2 thu phương pháp *  khác OLS Giả định , giống ˆ 2, ƯL không chệch, nghĩa giá trị TB giá trị β2 * ˆ  Ngoài ra, giả định  ƯL tuyến tính, tức chúng hàm tuyến tính của* biến phụ ˆ   thuộc Y giữa hai ƯL , ta chọn ước lượng nào? 49 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov Hình 3.07 Phân phối mẫu ước lượng ˆ (OLS)  2* (phương pháp khác) • hình 3.07(c):  2* ˆ ước lượng không chệch, nhiên,  2* phân tán rộng quanh giá trị TB ˆ Nói * cách khác, phương sai  lớn phương sai ˆ Bây giờ, hai ƯL ƯL tuyến tính, khơng chệch, đương nhiên ta chọn ƯL có phương sai nhỏ ƯL có giá trị gần với giá trị β2 đó ˆ ước lượng  thỏa mãn tiêu chuẩn BLUE 50 51 3.6 Phân bố xác suất ước lượng OLS • Với giả thiết đưa phần 3.3, ˆ1 ˆ2 ước lượng tuyến tính khơng chệch có phương sai nhỏ β1 β2 • Tuy vậy, mục đích phân tích hồi quy khơng phải suy đoán β1 β2 hay PRF mà phải kiểm tra chất phụ thuộc, cịn phải thực dự đốn khác • Do đó, cần phải biết phân bố xác suất ˆ1 ˆ2 Các phân bố phụ thuộc vào phân bố ui • Như ta biết, phân bố ui phân bố chuẩn Từ đó, ta có ˆ ˆ   thể suy phân bố xác suất tổng kết tính chất đặc trưng chúng sau: 52 3.6 Phân bố xác suất ước lượng OLS • 1) • • • • Chúng ước lượng khơng chệch 2) Có phương sai cực tiểu 3) Khi số quan sát đủ lớn ước lượng xấp xỉ với giá trị thực phân bố ˆ1 tuân theo quy luật phân phối chuẩn với: 4) a Giá trị trung bình: E ( ˆ1 ) 1 • b n ˆ var(  )    Phương sai: ˆ1 X  i i 1 n n xi2 i 1  ˆ1 ~ N (β1, 2ˆ ) 2 53 3.6 Phân bố xác suất ước lượng OLS ˆ    Từ tính chất 4, ta suy biến Z, với Z  , tuân theo  ˆ quy luật phân phối chuẩn, tức là: Z~ N (0, 1) 54 3.6 Phân bố xác suất ước lượng OLS • 5) ˆ2 • a tuân theo quy luật phân phối chuẩn với: Giá trị trung bình: E ( ˆ2 )  • b Phương sai: var(ˆ2 )     ˆ1 ˆ2 ~ N (β2,  ) ˆ ˆ2   Z  ˆ 2 n x  i i 1 ~ N (0, 1) • Về mặt hình học, phân bố xác suất ˆ1 ˆ2 minh họa hình 3.08 3.6 Phân bố xác suất ước lượng OLS Hình 3.08 Phân bố xác suất ˆ1 ˆ2 55 56 3.6 Phân bố xác suất ước lượng OLS • 6) (n  2)ˆ tuân theo quy luật phân phối Khi-đơ (χ2) với (n-2)  bậc tự do: (n  2)ˆ 2~ χ2 2  Biết điều giúp ta suy giá trị thực σ2 từ việc ước lượng σ2 57 3.6 Phân bố xác suất ước lượng OLS • 7) Trong ước lượng khơng chệch β1 β2 tuyến tính hay phi tuyến ˆ1 ˆ2 có phương sai nhỏ • 8) Từ giả thiết ui ~ N(0, σ2), ta suy Yi, vốn hàm tuyến tính ui, tuân theo quy luật phân phối chuẩn với: • a E(Yi)= β1 + β2Xi • b Var(Yi)= σ2  Yi ~ N (β1 + β2Xi, σ2) ... lớp ước lượng tuyến tính khơng chệch Một ước lượng khơng chệch có phương sai nhỏ coi ước lượng hiệu 47 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov • Đối với mơ hình hồi quy, ước lượng. .. CHƯƠNG II MƠ HÌNH HỒI QUY HAI BIẾN • Giới thiệu mơ hình hồi qui • Hàm hồi quy tổng thể hàm hồi quy mẫu • Phương pháp bình phương nhỏ (OLS) • Phương pháp hợp lý tối đa (MLE) • Ước lượng khoảng kiểm... unbiasedness property) ước lượng 46 3.5 Tiêu chuẩn ước lượng OLS- Định lý Gauss- Markov • Một ước lượng, ví dụ ước lượng theo phương pháp OLS, gọi ước lượng tuyến tính không chệch tốt (Best