Các giả thiết cổ điển của mô hình hồi qui tuyến tính Khái niệm Phân tích hồi quy là nghiên cứu sự phụ thuộc của một biến (biến phụ thuộc) vào một hay nhiều biến khác (biến độc lập), nhằm mục đích ước[.]
CHƯƠNG 5: HỒI QUY TUYẾN TÍNH (ĐƠN BIẾN) Khái niệm Phân tích hồi quy nghiên cứu phụ thuộc biến (biến phụ thuộc) vào hay nhiều biến khác (biến độc lập), nhằm mục đích ước lượng (hay dự đốn) giá trị trung bình biến phụ thuộc sở giá trị biết trước biến độc lập Phân tích tương quan đo mức độ quan hệ tuyến tính hai biến; khơng có phân biệt biến; biến có tính chất đối xứng Mơ hình hồi quy Mơ hình hồi quy tổng thể (PRF) Yi = 1 + 2Xi + Ui • • • 1 : hệ số chặn – tung độ gốc 2 : hệ số góc - hệ số đo độ dốc đường hồi quy Ui:sai số ngẫu nhiên tổng thể ứng với quan sát thứ i Với mẫu n quan sát (Yi, Xi) Cần ước lượng (PRF) Mơ hình hồi quy mẫu (SRF) Mơ hình hồi quy mẫu: Yˆi ˆ1 ˆ2 X i Trong ˆ1 : ước lượng cho 1 ˆ2 : Ước lượng cho 2 Yˆi : Ước lượng cho E(Y/Xi) = Yi Mơ hình hồi quy mẫu ngẫu nhiên Yi ˆ1 ˆ2 X i ei Theo phương pháp OLS, để ˆ ˆ ˆ gần với Y β , β Yi i cần thỏa mãn : n n ˆ ˆ e ( Yi β1 β 2Xi ) i i 1 i 1 Suy βˆ1 , βˆ2 cần thỏa mãn : n ei i1 βˆ1 n e2 i i 1 ˆ β n 2( Y βˆ i βˆ2 X i )( 1) i 1 n 2( Y βˆ i i 1 βˆ2 X i )( X i ) giải hệ, ta có : n βˆ2 X Y nX Y i 1 n i i 2 X n ( X ) i βˆ1 Y βˆ2 X i 1 Ví dụ : có số liệu thời gian quảng cáo truyền hình lïng sản phẩm tiêu thụ công ty sản xuất đồ như44sau: Thờ i gianchơi ngtrẻ cá o em 28 37 36 47 35 26 29 33 32 31 28 tuầ n (phú t) Lượng tiê u thụ tuầ n (1000 sp) 41 32 49 42 38 33 27 24 35 30 34 25 Các giả thiết cổ điển mơ hình hồi qui tuyến tính • Giả thiết : Biến độc lập Xi phi ngẫu nhiên, giá trị chúng phải xác định trước • Giả thiết : Kỳ vọng có điều kiện sai số ngẫu nhiên : E (Ui / Xi) = i • Giả thiết : (Phương sai ) Các sai số ngẫu nhiên có phương sai : Var (Ui / Xi) = 2 i • Giả thiết : Khơng có tượng tương quan sai số ngẫu nhiên : Cov (Ui , Uj ) = i j • Giả thiết : Khơng có tượng tương quan biến độc lập Xi sai số ngẫu nhiên Ui : Cov (Xi , Ui ) = i • Định lý Gauss – Markov : Với giả thiết từ đến mơ hình hồi qui tuyến tính cổ điển, ước lượng OLS ước lượng tuyến tính, khơng chệch có phương sai bé lớp ước lượng tuyến tính, khơng chệch Phương sai sai số chuẩn ước lượng Phương sai s ˆ1 s ˆ2 n X X n(X) 2 X n(X) Trong : s Sai số chuẩn e e i n2 s s ˆ s e ˆ1 s ˆ s 2ˆ se2 ^ (Y Y ) i n2 i 2 RSS n2 Hệ số xác định hệ số tương quan a Hệ số xác định Mô hình hồi qui tuyến tính xây dựng nhằm để giải thích biến thiên biến phụ thuộc Y vào biến độc lập X liệu mô hình thể cách tốt mối liên hệ X Y chưa? Bao nhiêu phần trăm biến thiên Y giải thích phụ thuộc tuyến tính Y vào X? Hệ số xác định R2 giúp trả lời điều b Hệ số tương quan (Pearson): Là số đo mức độ chặt chẽ quan hệ tuyến tính X Y (X X)(Y Y) r (X X) (Y Y) XY nXY X nX Y nY i i i 2 i 2 2 Chứng minh : r R Và dấu r trùng với dấu hệ số X hàm hồi qui ( βˆ2 ) r > 0,8 : tương quan mạnh r = 0,4 - 0,8 : tương quan trung bình r < 0,4 : tương quan yếu r lớn tương quan X Y chặt < r gọi tương quan tuyến tính thuận (X, Y) -1 r < gọi tương quan tuyến tính nghịch (X, Y) r = : X Y liên hệ tuyến tính Tính chất hệ số tương quan : Miền giá trị r : -1 r | r| : quan hệ tuyến tính X Y chặt chẽ r có tính đối xứng : rXY = rYX Nếu X, Y độc lập r = Điều ngược lại khơng Hệ số tương quan hạng Spearman • Được tính dựa hạng liệu không dựa vào giá trị thực quan sát • Trước tiên, ta xếp hạng RX , RY giá trị quan sát xi , yi theo thứ tự tăng dần từ trở đi, (nếu có giá trị quan sát nhau, xếp đồng hạng hạng hạng trung bình) • Hệ số tương quan hạng Spearman rs hệ số tương quan r hạng xi yi, tức dùng công thức tính r để tính rs, đó, thay xi, yi hạng chúng lưu ý : không xảy trường hợp giá trị xi hay yi nhau, tức không xảy trường hợp đồng hạng, rs tính công thức đơn giản hơn: n rs 6 d i2 i 1 n (n 1) n làsốlượng caëp (xi , yi ) di Rxi Ryi : chênh lệch từ ng cặp thứhạng xi vaøyi Phân phối xác suất ước lượng Giả thiết : Ui có phân phối N (0, 2), Với giả thiết 6, ước lượng có thêm tính chất sau : Khi số quan sát đủ lớn ước lượng xấp xỉ với giá trị thực phân phối : n n ˆ ˆ β1 β1 , β β ˆ β β1 ˆ β1 ~ N( β1 , σ βˆ ) Z ~ N(0,1) σ βˆ 1 βˆ2 β Z ~ N(0,1) σ βˆ βˆ2 ~ N( β , σ ) βˆ2 ˆ (n 2)σ σ ~ χ (n 2) Yi ~ N (1+ 2Xi, 2) Khoảng tin cậy hệ số hồi qui • Sử dụng phân phối thống kê t : ˆ j j t s ˆ ~ t(n 2) j 1, j Ta có khoảng tin cậy 1 : (n 2) (n 2) ˆ ˆ s ˆ t s ˆ t 1 / 1 1 / Ta có khoảng tin cậy 2 : (n 2) (n 2) ˆ ˆ s ˆ t s ˆ t 2 /2 2 2 /2 Kiểm định giả thiết hệ số hồi qui • Giả thuyết H0 : 2 = a ( a = const) H1 : 2 a • Giá trị kiểm định t : ˆ t 2 a s ˆ ~ t(n 2) •Nếu | t| > t1-/2 (n-2) bác bỏ H0 Hoặc sig < bác bỏ H0 Kiểm định phù hợp hàm hồi qui Phân tích hồi qui phân tích phương sai • Giả thiết H0 : 2 = ( hàm hồi qui không phù hợp) H1 : 2 (hàm hồi qui phù hợp) R /1 (1 R ) /(n 2) • Nếu F > F1- (1, n-2) bác bỏ H0 • Giá trị kiểm định: F hàm hồi qui phù hợp Dự báo a Dự báo giá trị trung bình : Cho X =X0 , tìm E(Y/X0) - Dự báo điểm E(Y/X0) : ˆ0 βˆ1 βˆ2 X Y - Dự báo khoảng E(Y/X0) : (X0 X) (n 2) ˆ E(Y / X0 ) Y0 , se t1 /2 2 n X nX b Dự báo giá trị cá biệt : Cho X =X0 , tìm Y0 (X0 X) (n 2) ˆ Y0 Y0 , se t1 /2 2 n X nX Y dải tin cậy giá trị cá biệt dải tin cậy giá trị trung bình X * Đặc điểm dự báo khoảng X 10 Trình bày kết hồi qui ˆ1 β ˆ2 X i ˆi β Y se = sê (βˆ1 ) sê (βˆ2 ) t = t1 t2 p = p(>t1) p(>t2) Trong : βˆ t1 ˆi = Y sˆe( βˆ1 ) 24,4545 + 0,5091 Xi se = (6,4138) (0,0357) t = (3,813) (14,243) p = (0,005) (0,000) R2 = n = F = p(> F) = βˆ2 t2 sˆe( βˆ2 ) R2 = 0,9621 n = 10 F = 202,87 p = (0,000) 11 Đánh giá kết phân tích hồi qui • Dấu hệ số hồi qui ước lượng phù hợp với lý thuyết hay tiên nghiệm khơng • Các hệ số hồi qui ước lượng có ý nghĩa mặt thống kê hay khơng • Mức độ phù hợp mơ hình (R2) • Kiểm tra xem mơ hình có thỏa mãn giả thiết mơ hình hồi qui tuyến tính cổ điển hay không