hồi quy và tương quan

Nội dung Mơ hình hồi quy tuyến tính đơn Giới thiệu toán hồi quy hồi quy tuyến tính đơn HỒI QUY VÀ TƯƠNG QUAN Các giả định sai số ngẫu nhiên Ước lượng hệ số hồi quy phương pháp bình phương bé (BPBN) Nguyễn Văn Thìn Hệ số xác định BỘ MƠN THỐNG KÊ TỐN HỌC KHOA TỐN - TIN HỌC Các tính chất ước lượng BPBN Khoảng tin cậy cho hệ số hồi quy, trung bình biến đáp ứng ĐẠI HỌC KHOA HỌC TỰ NHIÊN TP.HCM Dự đoán giá trị quan trắc Tháng năm 2013 Kiểm định giả thuyết cho β0 , β1 Phân tích thặng dư, tương quan Kiểm định giả thuyết cho hệ số tương quan Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 / 85 Nội dung Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 / 85 Phân tích hồi quy Mơ hình hồi quy tuyến tính bội Bài toán: hoạt động khoa học - kỹ thuật, kinh tế, xã hội, ta có nhu cầu xác định mối liên hai hay nhiều biến ngẫu nhiên với Ví dụ: Biểu diễn mơ hình theo dạng ma trận Ước lượng bình phương bé Mối liên hệ chiều cao cỡ giầy người, từ cửa hàng bán giầy dép xác định xác cỡ giầy khách hàng biết chiều cao, Ước lượng phương sai sai số Tính chất ước lượng bình phương bé Kiểm tra phù hợp mơ hình Độ giãn nở loại vật liệu theo nhiệt độ môi trường, Kiểm định ý nghĩa mơ hình Hệ số xác định hệ số xác định hiệu chỉnh Doanh thu bán loại sản phẩm số tiền chi cho quảng cáo khuyến mãi, Kiểm định giả thuyết cho hệ số hồi quy Khoảng tin cậy cho trung bình biến đáp ứng Để giải vấn đề trên, ta sử dụng kỹ thuật phân tích hồi quy (Regression Analysis) Khoảng tin cậy cho giá trị dự báo Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 / 85 Phân tích hồi quy Phân tích hồi quy Mối liên hệ X1 , , Xp Y biểu diễn hàm tuyến tính • Phân tích hồi quy sử dụng để xác định mối liên hệ giữa: biến phụ thuộc Y (biến đáp ứng), hay nhiều biến độc lập X1 , X2 , , Xp ; biến gọi biến giải thích Biến phụ thuộc Y phải biến liên tục, Các biến độc lập X1 , X2 , , Xp biến liên tục, rời rạc phân loại Sự thay đổi Y giả sử thay đổi X1 , , Xp gây • Trên sở xác định mối liên hệ biến phụ thuộc Y biến giải thích X1 , X2 , , Xp , ta có thể: dự đốn, dự báo giá trị Y , giải thích tác động thay đổi biến giải thích lên biến phụ thuộc Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Mơ hình hồi quy tuyến tính Mơ hình hồi quy tuyến tính đơn Định nghĩa Định nghĩa Một mơ hình thống kê tuyến tính bội (Multiple linear regression model) liên quan đến biến ngẫu nhiên Y tập biến giải thích x1 , , xp phương trình có dạng Y = β0 + β1 x1 + β2 x2 + · · · + βp xp + (1) với • β0 , , βp tham số chưa biết, gọi hệ số hồi quy, • x1 , , xp biến độc lập, khơng ngẫu nhiên, • thành phần sai số, Var ( ) = σ Nguyễn Văn Thìn (Khoa Tốn Tin Học) giả sử có phân phối chuẩn với E( ) = Tháng năm 2013 / 85 / 85 Trong phương trình (1), thay p = ta Y = β0 + β1 x + (2) (2) gọi mơ hình hồi quy tuyến tính đơn (simple linear regression model); mơ hình có biến phụ thuộc Y biến giải thích X β0 β1 hệ số chặn (intercept) hệ số góc (slope) đường thẳng hồi quy Với (x1 , y1 ), , (xn , yn ) n cặp giá trị quan trắc mẫu ngẫu nhiên cỡ n, từ (2) ta có Yi = β0 + β1 xi + i , HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 Nguyễn Văn Thìn (Khoa Toán Tin Học) i = 1, 2, , n HỒI QUY VÀ TƯƠNG QUAN (3) Tháng năm 2013 / 85 Mơ hình hồi quy tuyến tính đơn Các giả định sai số ngẫu nhiên • Sử dụng đồ thị phân tán (Scatter plot) để biểu diễn cặp giá trị quan trắc (xi , yi ) hệ trục tọa độ Oxy • Các sai số ngẫu nhiên điều kiện sau Các sai số i i, i = 1, , n mơ hình (3) giả sử thỏa độc lập với nhau, E( i ) = Var ( i ) = σ , Các sai số có phân phối chuẩn: i ∼ N(0, σ ) • Với quan trắc x biết, E(Y |x) = β0 + β1 x (4) Y ∼ N(β0 + β1 x, σ ) (5) • Từ (??) ta có Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 / 85 Ước lượng hệ số hồi quy HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Tốn Tin Học) Tháng năm 2013 10 / 85 Phương pháp bình phương bé (PPBPBN) Với liệu (xi , yi ), i = 1, , n, từ ta có yi = β0 + β1 xi + i Ta định nghĩa thặng dư thứ i: Gọi βˆ1 βˆ0 ước lượng β0 β1 Đường thẳng hồi quy với hệ số ước lượng (fitted regression line): Yˆ = βˆ0 + βˆ1 x i = yi − (β0 + β1 xi ) (7) (6) Định nghĩa Một đường thẳng ước lượng tốt phải "gần với điểm liệu" Tìm βˆ0 βˆ1 : dùng phương pháp bình phương bé (method of least squares) Tổng bình phương sai số (Sum of Squares for Errors - SSE) hay tổng bình phương thặng dư cho n điểm liệu định nghĩa sau n n [yi − (β0 + β1 xi )]2 ei2 = SSE = i=1 (8) i=1 Nội dung PPBPBN tìm ước lượng βˆ0 βˆ1 cho SSE đạt giá trị bé Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 11 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 12 / 85 Phương pháp bình phương bé Ước lượng bình phương bé Từ (8), lấy đạo hàm theo β0 β1 , Giả hệ (14), ta tìm ước lượng BPBN β0 β1 ∂SSE = −2 ∂β0 ∂SSE = −2 ∂β1 n [yi − (β0 + β1 xi )] = βˆ1 = i=1 n [yi − (β0 + β1 xi )] xi = n i=1 xi ) ( ( n i=1 yi ) n − ( = n i=1 xi ) Sxy Sxx (10) n βˆ0 = y¯ − βˆ1 x¯ i=1 (11) với Sxx Sxy xác định n n nβ0 + β1 i=1 n yi (9) i=1 n i=1 n xi yi Tháng năm 2013 13 / 85 Ước lượng bình phương bé n i=1 xi ) (12) n i=1 n i=1 HỒI QUY VÀ TƯƠNG QUAN − ( (xi − x¯)(yi − y¯ ) = Sxy = i=1 xi2 (xi − x¯) = Sxx = i=1 n xi2 = xi + β1 i=1 n xi = n Nguyễn Văn Thìn (Khoa Tốn Tin Học) − n i=1 xi ta thu hệ phương trình β0 n i=1 xi yi xi yi − ( n i=1 xi ) ( (13) n i=1 Nguyễn Văn Thìn (Khoa Tốn Tin Học) n i=1 yi ) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 14 / 85 Ví dụ Ví dụ • Các ước lượng βˆ0 βˆ1 tìm gọi ước lượng BPBN • Đường thẳng yˆ = βˆ0 + βˆ1 x gọi đường thẳng BPBN, thỏa tính chất sau: (1) n Một nhà thực vật học khảo sát mối liên hệ tổng diện tích bề mặt (đv: cm2 ) đậu nành trọng lượng khô (đv: g) Nhà thực vật học trồng 13 nhà kính đo tổng diện tích trọng lượng sau 16 ngày trồng, kết cho bảng sau (yi − yˆi )2 SSE = i=1 X Y đạt giá trị bé nhất, 411 2.00 550 2.46 471 2.11 393 1.89 427 2.05 431 2.30 492 2.46 371 2.06 470 2.25 419 2.07 407 2.17 489 2.32 439 2.12 (2) n n (yi − yˆi ) = SE = i=1 (a) Vẽ biểu đồ phân tán biểu diễn diện tích X trọng lượng khơ Y đậu nành với mẫu quan sát cho (b) Tìm đường thẳng hồi quy biểu diễn mối liên hệ trọng lượng Y theo diện tích X Vẽ đường thẳng hồi quy tìm đồ thị phân tán ei = i=1 với SE tổng thặng dư (Sum of Errors) Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 15 / 85 Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 16 / 85 Độ đo biến thiên liệu Độ đo biến thiên liệu Gọi • SST : Tổng bình phương tồn phần (Total Sum of Squares) - SST : đo biến thiên giá trị yi xung quanh giá trị trung tâm liệu y¯ , n (yi − y¯ )2 SST = - SSR: giải thích biến thiên liên quan đến mối quan hệ tuyến tính X Y , i=1 - SSE : giải thích biến thiên nhân tố khác (không liên quan đến mối quan hệ tuyến tính X Y ) • SSR: Tổng bình phương hồi quy (Regression Sum of Squares) n (ˆ yi − y¯ )2 SSR = Ta có: i=1 n n (yi − y¯ )2 = • SSE : Tổng bình phương sai số (Error Sum of Squares) i=1 n (ˆ yi − y¯ )2 + i=1 (yi − yˆi )2 (14) i=1 SST = SSR + SSE n (yi − yˆi )2 SSE = i=1 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 17 / 85 Độ đo biến thiên liệu Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 18 / 85 Hệ số xác định Định nghĩa Hệ số xác định (Coefficient of Determination) tỷ lệ tổng biến thiên biến phụ thuộc gây biến thiên biến độc lập (biến giải thích) so với tổng biến thiên toàn phần Hệ số xác định thường gọi R - bình phương (R-squared), ký hiệu R Cơng thức tính: SSR (15) R2 = SST Chú ý: ≤ R ≤ • Hệ số xác định mơ hình hồi quy cho phép ta đánh giá mơ hình tìm có giải thích tốt cho mối liên hệ biến phụ thuộc Y biến phụ thuộc X hay không Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 19 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 20 / 85 Hệ số xác định mối liên hệ X Y Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Hệ số xác định mối liên hệ X Y Tháng năm 2013 21 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 22 / 85 Ước lượng phương sai σ sai số Hệ số xác định mối liên hệ X Y Xét mơ hình Yi = β0 + β1 xi + i , i = 1, , n Thành phần sai số thứ i: i ∼ N(0, σ ) Ta cần ước lượng phương sai σ Từ (5), ta có: Yi ∼ N(β0 + β1 xi , σ ) Do đó, Yi − (β0 + β1 xi ) ∼ N(0, 1) σ Ta có, n Yi − (βˆ0 + βˆ1 xi ) σ2 i=1 = SSE ∼ χ2 (n − 2) σ2 Nên, E Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 23 / 85 SSE σ2 Nguyễn Văn Thìn (Khoa Tốn Tin Học) =n−2 hay E SSE = σ2 n−2 HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 24 / 85 Ước lượng phương sai σ sai số So sánh sai số chuẩn SSE ước lượng không chệch cho σ Suy ước n−2 lượng σ ˆ σ tính Ta kết luận σ ˆ2 = SSE n−2 (16) • Tìm SSE : SSE = SST − βˆ1 Sxy • Sai số chuẩn (Standard Error) σ ˆ2 SE (ˆ σ) = SSE n−2 Sử dụng SE (ˆ σ ) để đo biến thiên giá trị quan trắc y với đường thẳng hồi quy Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 25 / 85 Tính chất ước lượng BPBN Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 26 / 85 Tính chất ước lượng BPBN Định lí Xét Y = β0 + β1 x + mơ hình hồi quy tuyến tính đơn với ∼ N(0, σ ); với n quan trắc độc lập yi , i = 1, , n ta có tương ứng sai số i Gọi βˆ0 βˆ1 ước lượng β0 β1 tìm từ phương pháp bình phương bé nhất, (a) βˆ0 βˆ1 tuân theo luật phân phối chuẩn (b) Kỳ vọng phương sai βˆ0 βˆ1 x¯2 + n Sxx σ2 E(βˆ1 ) = β1 , Var (βˆ1 ) = Sxx E(βˆ0 ) = β0 , Var (βˆ0 ) = Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN σ2, (17) Định nghĩa Trong mơ hình hồi quy tuyến tính đơn, sai số chuẩn (SE) ước lượng βˆ0 βˆ1 SE (βˆ0 ) = SE (βˆ1 ) = x¯2 + n Sxx σ ˆ2 (19) σ ˆ2 Sxx (20) (18) Tháng năm 2013 27 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 28 / 85 Tính chất ước lượng BPBN Khoảng tin cậy cho hệ số hồi quy • Xét đường thẳng hồi quy: Yˆ = βˆ0 + βˆ1 x σ2 , đặt • Vì βˆ1 ∼ N β1 , Sxx Định lí (Gauss - Markov) Xét mơ hình hồi quy tuyến tính đơn Z1 = Y = β0 + β1 x + có βˆ0 βˆ1 ước lượng BPBN cho β0 β1 , βˆ0 βˆ1 ước lượng khơng chệch tốt • Do βˆ1 − β1 √ ∼∼ N(0, 1) σ/ Sxx SSE SSE độc lập với βˆ1 ∼ χ2 (n − 2) nên σ σ Z1 Tβ1 = Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 29 / 85 Khoảng tin cậy cho hệ số hồi quy HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Tốn Tin Học) MSE = SSE = n−2 n−2 n yi − (βˆ0 + βˆ1 xi ) x¯2 + n Sxx βˆ0 − β0 Z0 = i=1 σ MSE gọi trung bình bình phương sai số (Mean Square Error) Khi Tβ1 = Tháng năm 2013 30 / 85 Khoảng tin cậy cho hệ số hồi quy • Tương tự, βˆ0 ∼ N β0 , • Đặt ∼ t(n − 2) SSE /σ n−2 βˆ1 − β1 MSE Sxx (21) x¯2 + n Sxx σ , đặt ∼ N(0, 1) • Do βˆ0 SSE độc lập nên ta có Tβ0 = Tβ1 có phân phối Student với n − bậc tự Z0 SSE /σ n−2 = βˆ0 − β0 MSE (22) x¯2 + n Sxx Tβ0 có phân phối Student với n − bậc tự Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 31 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 32 / 85 Khoảng tin cậy cho hệ số hồi quy Khoảng tin cậy cho trung bình biến đáp ứng • Khoảng tin cậy 100(1 − α)% cho β1 : n−2 βˆ1 − t1−α/2 MSE n−2 ≤ β1 ≤ βˆ1 + t1−α/2 Sxx MSE Sxx (23) • Cho trước giá trị x0 , cần tìm khoảng tin cậy cho µY |x0 = E(Y |x0 ) = β0 + β1 x0 , gọi trung bình biến đáp ứng Ước lượng µY |x0 từ đường thẳng hồi quy µ ˆY |x0 = βˆ0 + βˆ1 x0 • Khoảng tin cậy 100(1 − α)% cho : Y |x0 cú cỏc tớnh cht sau n−2 βˆ0 − t1−α/2 MSE x¯2 + n Sxx n−2 ≤ β0 ≤ βˆ0 + t1−α/2 MSE x¯2 + n Sxx (24) (1) µ ˆY |x0 tuân theo luật phân phối chuẩn (2) Kỳ vọng phương sai µ ˆY |x0 với E(ˆ µY |x0 ) = β0 + β1 x0 - n = số cặp giá trị quan trắc (xi , yi ); - n−2 t1−α/2 Var (ˆ µY |x0 ) = phân vị mức − α/2 biến ngẫu nhiên t(n − 2) HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Tốn Tin Học) Tháng năm 2013 33 / 85 Khoảng tin cậy cho trung bình biến đáp ứng Nguyễn Văn Thìn (Khoa Tốn Tin Học) (¯ x − x0 )2 + σ n Sxx HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 34 / 85 Khoảng tin cậy cho trung bình biến đáp ứng • Ta có µ ˆY |x0 − E(ˆ µY |x0 ) = (βˆ0 + βˆ1 x0 ) − (β0 + β1 x0 ) Var (ˆ µY |x0 ) σ (¯ x − x0 )2 + n Sxx • Khoảng tin cậy 100(1 − α)% cho trung bình biến đáp ứng ∼ N(0, 1) n−2 µ ˆY |x0 −t1−α/2 (¯ x − x0 )2 + n Sxx SSE n−2 Nguyễn Văn Thìn (Khoa Tốn Tin Học) = µ ˆY |x0 − (β0 + β1 x0 ) MSE ∼ t(n − 2) (25) (¯ x − x0 )2 + n Sxx HỒI QUY VÀ TƯƠNG QUAN (¯ x − x )2 + n Sxx n−2 ≤ µY |x0 ≤ µ ˆY |x0 +t1−α/2 MSE (¯ x − x0 )2 + n Sxx (26) với - µ ˆY |x0 = βˆ0 + βˆ1 x0 , • Vì µ ˆY |x0 độc lập với SSE /σ ∼ χ2 (n − 2) nên µ ˆY |x0 − (β0 + β1 x0 ) MSE −2 - t1n−α/ : phân vị mức − α/2 biến ngẫu nhiên t (n − 2) - MSE = SSE /(n − 2): trung bình bình phương sai số Tháng năm 2013 35 / 85 Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 36 / 85 Dự đoán giá trị quan trắc Dự đốn giá trị quan trắc • Giả sử với giá trị x0 , ta cần dự đoán giá trị quan trắc Y0 tương lai tương ứng với x0 Từ mơ hình hồi quy, ta có Yˆ0 = βˆ0 + βˆ1 x0 (27) Yˆ0 ước lượng điểm giá trị quan trắc Y0 • Cần tìm khoảng tin cậy cho Y0 • Cho trước giá trị x0 , cần phân biệt rõ khoảng tin cậy trung bình biến ngẫu nhiên Y µY |x0 khoảng tin cậy giá trị quan trắc thực Y tương ứng với x0 Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 37 / 85 Dự đoán giá trị quan trắc Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 38 / 85 Dự đốn giá trị quan trắc • Đặt η = Y0 − Yˆ0 • Và, Vì Y0 Yˆ0 có phân phối chuẩn nên η có phân phối chuẩn với kỳ vọng phương sai Yˆ0 − Y0 Z= σ2 E(η) = E(Y0 ) − E(Yˆ0 ) = (¯ x − x0 )2 Var (η) = Var (Y0 ) + Var (Yˆ0 ) = σ + σ + n Sxx (¯ x − x0 ) = 1+ + σ2 n Sxx Do đó, η ∼ N 0, + Nguyễn Văn Thìn (Khoa Tốn Tin Học) (¯ x − x0 )2 1+ + n Sxx • Nếu ta thay σ σ ˆ = MSE = SSE , thu n−2 Yˆ0 − Y0 T = ∼ N(0, 1) ∼ t(n − 2) (28) (¯ x − x0 )2 MSE + + n Sxx (¯ x − x0 )2 + σ n Sxx HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 39 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 40 / 85 Dự đốn giá trị quan trắc Ví dụ • Khoảng tin cậy 100(1 − α)% cho giá trị dự báo Y0 ứng với giá trị x0 cho trước ˆ0 −t n−2 Y 1−α/2 MSE + (¯ x − x )2 + n Sxx ˆ0 +t n−2 ≤ Y0 ≤ Y 1−α/2 MSE + Xét mẫu ngẫu nhiên gồm 10 cặp giá trị (xi , yi ) cho bảng (¯ x − x0 )2 + n Sxx (29) với −2 - t1n−α/ phân vị mức − α/2 t (n − 2), - MSE = Ví dụ x y -1 -5 -4 2 -2 -7 6 13 11 21 12 20 -3 -9 (a) Vẽ biểu đồ phân tán cho liệu, tìm đường thẳng hồi quy (b) Tìm ước lượng σ ˆ cho phương sai σ sai số ngẫu nhiên SSE n−2 (c) Thiết lập khoảng tin cậy 95% cho hệ số β0 β1 (d) Thiết lập khoảng dự đoán 95% x = Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 41 / 85 Kiểm định giả thuyết cho β0 H0 : β0 = b0 H1 : β0 = b0 (b) H0 : β0 = b0 H1 : β0 < b0 HỒI QUY VÀ TƯƠNG QUAN (c) H0 : β0 = b0 H1 : β0 > b0 Phát biểu giả thuyết H0 đối thuyết, Xác định mức ý nghĩa α, Tính giá trị thống kê kiểm định: t β0 = Tháng năm 2013 44 / 85 βˆ0 − b0 MSE HỒI QUY VÀ TƯƠNG QUAN 42 / 85 Các bước kiểm định với giá trị b0 mức ý nghĩa α cho trước Thông thường b0 = Nguyễn Văn Thìn (Khoa Tốn Tin Học) Tháng năm 2013 Kiểm định giả thuyết cho β0 • Bài toán kiểm định giả thuyết cho hệ số chặn β0 mơ hình hồi quy tuyến tính đơn gồm trường hợp sau: (a) Nguyễn Văn Thìn (Khoa Tốn Tin Học) Tháng năm 2013 43 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) x¯2 + n Sxx HỒI QUY VÀ TƯƠNG QUAN Kiểm định giả thuyết cho β0 Kiểm định giả thuyết cho β1 Xác định miền bác bỏ • Bài tốn kiểm định giả thuyết cho hệ số góc β1 mơ hình hồi quy tuyến tính đơn gồm trường hợp sau: Đối thuyết Miền bác bỏ p - giá trị H1 : β0 = b0 n−2 |tβ0 | > t1−α/2 p = 2P(Tn−2 ≥ |tβ0 |) H1 : β0 < b0 tβ0 < H1 : β0 > b0 tβ0 > n−2 −t1−α n−2 t1−α (a) p = P(Tn−2 ≤ tβ0 ) p = P(Tn−2 ≥ tβ0 ) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 45 / 85 Kiểm định giả thuyết cho β1 Các bước kiểm định Phát biểu giả thuyết H0 đối thuyết, Xác định mức ý nghĩa α, Tính thống kê kiểm định: Nguyễn Văn Thìn (Khoa Toán Tin Học) H0 : β1 = b1 H1 : β1 < b1 (c) H0 : β1 = b1 H1 : β1 > b1 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 46 / 85 Kiểm định giả thuyết cho β1 Xác định miền bác bỏ Đối thuyết Miền bác bỏ p - giá trị H1 : β1 = b1 n−2 |tβ1 | > t1−α/2 n−2 tβ1 < −t1−α n−2 tβ1 > t1−α p = 2P(Tn−2 ≥ |tβ1 |) H1 : β1 < b1 tβ1 (b) với giá trị b1 mức ý nghĩa α cho trước Thông thường b1 = Kết luận: Bác bỏ H0 /Chưa đủ sở để bác bỏ H0 Nguyễn Văn Thìn (Khoa Tốn Tin Học) H0 : β1 = b1 H1 : β1 = b1 βˆ1 − b1 = MSE Sxx HỒI QUY VÀ TƯƠNG QUAN H1 : β1 > b1 p = P(Tn−2 ≤ tβ1 ) p = P(Tn−2 ≥ tβ1 ) Kết luận: Bác bỏ H0 /Chưa đủ sở để bác bỏ H0 Tháng năm 2013 47 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 48 / 85 Phân tích thặng dư Phân tích thặng dư • Phân tích thặng dư (Analysis of Residuals) sử dụng để kiểm tra giả định mơ hình hồi quy tuyến tính • Các giả định mơ hình: Đường thẳng hồi quy tổng thể: Y = β0 + β1 x + với β0 β1 số cho với giá trị x, E(Y |x) = β0 + β1 x • Với n cặp quan trắc (xi , yi ), gọi ei = yi − yˆi thặng dư thứ i Để kiểm tra giả định mơ hình có thỏa hay không, nhận xét đồ thị giá trị thặng dư • Nếu giả định mơ hình hồi quy thỏa, thì: Phương sai nhau: phương sai biến đáp ứng (biến phụ thuộc) Y với giá trị biến độc lập X , tức Var (Y |x) = σ Đồ thị giá trị thặng dư tương ứng với giá trị biến độc lập X phải có hình dạng thơ, khơng (roughly), trải dọc theo chiều ngang đối xứng qua trục Ox Phân phối chuẩn: với giá trị biến độc lập, phân phối có điều kiện (cho trước giá trị x) biến đáp ứng phân phối chuẩn, Y |x ∼ N(β0 + β1 x, σ ) Đồ thị xác suất chuẩn (Normal Probability plot) giá trị thặng dư phải có dạng gần tuyến tính (roughly linear) Độc lập: quan trắc biến đáp ứng Y độc lập với Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 49 / 85 Phân tích thặng dư HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 50 / 85 HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 52 / 85 Phân tích thặng dư • Đồ thị thặng dư: Nguyễn Văn Thìn (Khoa Tốn Tin Học) Nguyễn Văn Thìn (Khoa Tốn Tin Học) • Đồ thị xác suất chuẩn: HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 51 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) Phân tích tương quan Phân tích tương quan • Phân tích tương quan (Correlation Analysis) dùng để đo độ mạnh mối liên hệ tuyến tính hai biến ngẫu nhiên Định nghĩa Định nghĩa Hệ số tương quan (Correlation coefficient) hai biến ngẫu nhiên X Y , ký hiệu ρXY , xác định sau ρXY = Xét hai biến ngẫu nhiên X , Y Hiệp phương sai (Covariance) X Y , ký hiệu Cov (X , Y ), định nghĩa sau Cov(X , Y ) = E [(X − E(X ))(Y − E(Y ))] = E(XY ) − E(X )E(Y ) (30) Cov(X , Y ) (31) Var(X )Var (Y ) Với hai biến ngẫu nhiên X Y −1 ≤ ρXY ≤ HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Tốn Tin Học) Tháng năm 2013 53 / 85 Phân tích tương quan Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 54 / 85 Phân tích tương quan Chú ý rằng: βˆ1 = Định nghĩa Với mẫu ngẫu nhiên cỡ n: (Xi , Yi ), i = 1, , n Hệ số tương quan mẫu, ký hiệu rXY , xác định sau rXY = n i=1 (Xi n i=1 (Xi Nguyễn Văn Thìn (Khoa Tốn Tin Học) ¯ )(Yi − Y¯ ) −X ¯ )2 −X n i=1 (Yi − Y¯ )2 HỒI QUY VÀ TƯƠNG QUAN =√ SXY SXX SST Tháng năm 2013 (32) 55 / 85 SST rXY SXX suy ra, SXY SSR SXX rXY = βˆ1 = βˆ1 = SST SST SST • Hệ số xác định, R , mơ hình hồi quy tuyến tính đơn với bình phương hệ số tương quan mẫu R = rXY Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 56 / 85 Đánh giá hiệp phương sai Đánh giá hệ số tương quan Miền giá trị: −1 ≤ rXY ≤ 1, −1 ≤ rXY < 0: tương quan âm rXY gần −1 biểu thị mối liên hệ tuyến tính nghịch X Y mạnh Cov(X , Y ) > 0: X Y có xu hướng thay đổi chiều < rXY ≤ 1: tương quan dương rXY gần biểu thị mối liên hệ tuyến tính thuận X Y mạnh Cov(X , Y ) < 0: X Y có xu hướng thay đổi ngược chiều Cov(X , Y ) = 0: X Y độc lập (tuyến tính) Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN rXY gần 0, biểu thị mối liên hệ tuyến tính yếu rXY = 0: khơng có mối liên hệ tuyến tính X Y Tháng năm 2013 57 / 85 Đánh giá hệ số tương quan Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 58 / 85 Kiểm định giả thuyết cho hệ số tương quan Ta cần kiểm định giả thuyết H0 : khơng có mối liên hệ tuyến tính X Y H0 : ρ = Thống kê kiểm định T = rXY n−2 − rXY (33) có phân phối Student với n − bậc tự Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 59 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 60 / 85 Kiểm định giả thuyết cho hệ số tương quan Kiểm định giả thuyết cho hệ số tương quan Các bước kiểm định • Bài tốn kiểm định giả thuyết cho hệ số tương quan gồm trường hợp sau: (a) H0 : ρ = H1 : ρ = (b) H0 : ρ = H1 : ρ < (c) Phát biểu giả thuyết H0 đối thuyết, Xác định mức ý nghĩa α, Tính thống kê kiểm định: H0 : ρ = H1 : ρ > T = rXY n−2 − rXY với mức ý nghĩa α cho trước T có phân phối Student với n − bậc tự Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 61 / 85 Kiểm định giả thuyết cho hệ số tương quan Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 62 / 85 Giới thiệu Định nghĩa Một mơ hình thống kê tuyến tính bội (Multiple linear regression model) liên quan đến biến ngẫu nhiên Y tập biến giải thích x1 , , xk phương trình có dạng Xác định miền bác bỏ Đối thuyết Miền bác bỏ p - giá trị H1 : ρ = n−2 |t| > t1−α/2 n−2 t < −t1−α n−2 t > t1−α p = 2P(Tn−2 ≥ |t|) H1 : ρ < H1 : ρ > Y = β0 + β1 x1 + β2 x2 + · · · + βk xk + p = P(Tn−2 ≤ t) (34) với p = P(Tn−2 ≥ t) • β0 , , βp tham số chưa biết, gọi hệ số hồi quy, Kết luận: Bác bỏ H0 /Chưa đủ sở để bác bỏ H0 • x1 , , xk biến độc lập, khơng ngẫu nhiên, • Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 63 / 85 thành phần sai số, Var ( ) = σ Nguyễn Văn Thìn (Khoa Tốn Tin Học) giả sử có phân phối chuẩn với E( ) = HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 64 / 85 Giới thiệu Biểu diễn mơ hình theo dạng ma trận Một số dạng khác mơ hình: Xét y1 , , yn n giá trị quan trắc độc lập Y Khi đó, yi biểu diễn dạng Mơ hình đa thức Y = β0 + β1 x + β2 x + β3 x + Nếu đặt x1 = x, x2 = x , x3 = x 3, yi = β0 + β1 xi1 + β2 xi2 + · · · + βk xik + ta có i với xij biến độc lập thứ j quan trắc thứ i, i = 1, 2, , n sai số i độc lập với tương tự mơ hình hồi quy tuyến tính Đặt x0 = 1, định nghĩa ma trận sau:         β0 y1 x11 x12 x1k y2  1 x21 x22 x2k  β1   2         y =   ; X =  =.  ; β =   ; .  .    yn xn1 xn2 xnk βk k Y = β0 + β1 x1 + β2 x2 + β3 x3 + Mơ hình với tương tác Y = β0 + β1 x1 + β2 x2 + β12 x1 x2 + Nếu đặt x3 = x1 x2 β3 = β12 , ta có Y = β0 + β1 x1 + β2 x2 + β3 x3 + HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Tốn Tin Học) Tháng năm 2013 65 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Biểu diễn mơ hình theo dạng ma trận Ước lượng bình phương bé Mơ hình hồi quy bội dạng ma trận Kết thu lấy đạo hàm (37) (35) y = Xβ + Tổng quát, y véc-tơ cỡ (n × 1) chứa giá trị quan trắc, X ma trận cỡ (n × p) chứa biến độc lập, β véc-tơ cỡ (p × 1) chứa hệ số hồi quy véc-tơ cỡ (n × 1) sai số ngẫu nhiên (chú ý: p = k + 1) Tổng bình phương thặng dư mơ hình hồi quy bội định nghĩa sau n L= = = (y − Xβ) (y − Xβ) ∂L =0 ∂β HỒI QUY VÀ TƯƠNG QUAN (37) Tháng năm 2013 67 / 85 66 / 85 (38) Giải hệ (38) ta tính véc-tơ ước lượng bình phương bé ˆ = (X X)−1 X y β (39) ˆ = [β0 , β1 , , βk ] , mơ hình hồi quy ước lượng có dạng Với β k yˆi = βˆ0 + ˆ mà làm cho L đạt giá Ta tìm véc-tơ ước lượng bình phương bé β trị nhỏ nhất, nghiệm phương trình Nguyễn Văn Thìn (Khoa Tốn Tin Học) ˆ =Xy X Xβ (36) i=1 Tháng năm 2013 βˆj xij , i = 1, , n (40) j=1 ˆ Biểu diễn dạng ma trận: yˆ = Xβ Véc-tơ giá trị thặng dư: e = y − yˆ Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN (41) Tháng năm 2013 68 / 85 Ví dụ Ước lượng phương sai sai số Sai số mơ hình hồi quy Ví dụ Cho liệu sợi dây làm chất bán dẫn (tụ): gồm y = lực tác động (dùng để phát vỡ tụ), x1 = chiều dài sợi dây x2 = chiều cao khối tụ Hãy thiết lập mơ hình hồi quy tuyến tính bội biểu diễn mối quan hệ y x1 , x2 Dữ liệu chứa file Wire-bond-data.csv ∼ N(0, σ ) Ước lượng σ cho công thức σˆ2 = Xem code R file: ex-multiple-regression.R n i=1 ei n−p = SSE n−p (42) Với p = k + Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 69 / 85 Tính chất ước lượng bình phương bé HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 70 / 85 Tính chất ước lượng bình phương bé ˆ = [β0 , β1 , , βk ] véc-tơ chứa ước lượng bình phương bé Gọi β ˆ thỏa tính chất sau: nhất, β ˆ = β, tức β ˆ ước lượng khơng chệch (unbiased E(β) estimator) cho β Ví dụ, trường hợp p = 2, ta có ma trận C  C00 C01 C = C10 C11 C20 C21 Đặt C = (X X)−1 (C ma trận đối xứng cỡ p × p), ta có Var (βˆj ) = σ Cjj , Cov (βˆi , βˆj ) = σ Cij , Nguyễn Văn Thìn (Khoa Tốn Tin Học) j = 0, 1, , p  C0,2 C12  C22 Phương sai βˆj σ Cjj , j = 0, 1, Sai số chuẩn ước lượng bình phương bé xác định sau i =j ˆ ma trận đối xứng Tổng quát, ma trận hiệp phương sai β cỡ p × p thành phần thứ jj phương sai βˆj thành phần thứ ij hiệp phương sai βˆi βˆj có dạng sau SE (βˆj ) = σ ˆ Cjj (43) ˆ = σ (X X)−1 = σ C Cov (β) Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 71 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 72 / 85 Kiểm tra phù hợp mơ hình Kiểm định ý nghĩa mơ hình hồi quy Kiểm định ý nghĩa mơ hình hồi quy kiểm định dùng để xác định xem liệu có tồn mối liên hệ tuyến tính biến phụ thuộc y biến độc lập x1 , x2 , , xk hay không Giả thuyết đối thuyết phát biểu sau Để kiểm tra phù hợp mơ hình kiểm tra giả định, ta sử dụng dạng đồ thị sau nhận xét: H0 :β1 = β2 = = βk = H1 :βj = với giá trị j Đồ thị xác suất Đồ thị phân tán: biến phụ thuộc biến độc lập; đồ thị thặng dư (44) Việc bác bỏ H0 suy có biến độc lập x1 , x2 , , xk có mối liên hệ tuyến tính với y , tức mơ hình có ý nghĩa Thống kê kiểm định cho giả thuyết H0 F0 = MSR SSR/k = SSE /(n − p) MSE (45) với MSR trung bình bình phương hồi quy (Mean Squared Regression) MSE trung bình bình phương sai số (Mean Squared Error) HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Toán Tin Học) Tháng năm 2013 73 / 85 Kiểm định ý nghĩa mơ hình hồi quy Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 74 / 85 Kiểm định ý nghĩa mơ hình hồi quy Nhắc lại rằng, SST = SSR + SSE Bảng phân tích phương sai cho kiểm định ý nghĩa mơ hình hồi quy bội: với n yi2 − SST = ( i=1 n i=1 yi) n =yy− n Nguồn gốc biến thiên Hồi quy Sai số Tổng cộng n n ei2 = e e (yi − yˆi ) = SSE = ( n i=1 yi) i=1 i=1 ˆ ta thu Thay e = y − ^ y = y − Xβ, Tổng bình phương SSR SSE SST Bậc tự k n-p n-1 Trung bình bình phương MSR MSE F0 MSR/MSE Bác bỏ H0 khi: f0 > fα;k,n−p SSE = y y − βˆ X y Với fα;k,n−p phân vị mức α biến ngẫu nhiên F (k, n − p) suy ra, ( SSR = βˆ X y − Nguyễn Văn Thìn (Khoa Toán Tin Học) n i=1 yi) n HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 75 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 76 / 85 Hệ số xác định Hệ số xác định hiệu chỉnh Kiểm định giả thuyết cho hệ số hồi quy Tương tự mơ hình hồi quy tuyến tính đơn, để đánh giá phù hợp mơ hình hồi quy bội, ta sử dụng hệ số xác định R− bình phương R-squared: R2 = SSR SSE =1− SST SST (46) Ta có nhận xét R lớn mơ hình phù hợp; nhiên, nhược điểm ta thêm biến vào mơ hình R ln tăng lên; điều gây khó khăn việc đánh giá ta muốn xác định biến thêm vào có phù hợp với mơ hình hay khơng Để khắc phục điều này, ta sử dụng hệ số xác định hiệu chỉnh SSE /(n − p) Radj (47) =1− SST /(n − 1) Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 77 / 85 Kiểm định giả thuyết cho hệ số hồi quy Khi ta thêm biến vào mơ hình hồi quy làm tăng tổng bình phương hồi quy (SSR) giảm tổng bình phương sai số (SSE ) (Đó lý hệ số xác định R tăng thêm biến), Do vậy, ta phải định xem mức độ tăng R đủ lớn để đưa biến vào mơ hình Hơn nữa, việc đưa biến khơng quan trọng vào mơ hình làm tăng trung bình bình phương sai số, điều làm mơ hình phù hợp với liệu Ta cần thực kiểm định ý nghĩa cho hệ số hồi quy, từ đưa định nên thêm biến vào mơ hình hay khơng, với giả thuyết đối thuyết H0 :βj = H1 :βj = HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Toán Tin Học) (48) Tháng năm 2013 78 / 85 Khoảng tin cậy cho trung bình biến đáp ứng Xét mơ hình hồi quy bội y = Xβ + Thống kê kiểm định cho giả thuyết H0 T0 = βˆj SE (βˆj = βˆj (49) σ ˆ Cjj Trung bình biến đáp ứng y điểm cho trước (x01 , x02 , , x0k ) có dạng E(Y |x0 ) = µY |x0 = x β Thống kê T0 có phân phối Student với n − p bậc tự Với Bác bỏ H0 khi: |t0 | > n−p t1−α/2 n−p với t1−α/2 phân vị mức − α/2 biến ngẫu nhiên T0 ∼ t(n − p)   x01    x0 =     x0k Ước lượng µY |x0 ˆ µ ˆ Y |x0 = x β Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 79 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN (50) Tháng năm 2013 80 / 85 Khoảng tin cậy cho trung bình biến đáp ứng Khoảng tin cậy cho giá trị dự báo ˆ = x β = µY |x µ ˆ Y |x0 ước lượng khơng chệch cho µY |x0 E(x β) phương sai µ ˆ Y |x0 Var (µ ˆ Y |x0 ) = σ x (X X)−1 x0 (51) Định nghĩa 11 Định nghĩa 10 Trong mơ hình hồi quy tuyến tính bội, khoảng tin cậy với độ tin cậy 100(1 − α)% cho trung bình biến đáp ứng điểm (x01 , x02 , , x0k ) có dạng n−p µ ˆ Y |x0 − t1−α/2 Cho trước điểm x0 = [1, x01 , x02 , , x0k ] , ước lượng điểm cho giá trị dự báo Y0 ˆ yˆ0 = x0 β (53) n−p σ ˆ x (X X)−1 x0 ≤ µY |x0 ≤ µ ˆ Y |x0 + t1−α/2 Một khoảng tin cậy với độ tin cậy 100(1 − α)% cho giá trị dự báo có dạng n−p ^ y0 − t1−α/2 σ ˆ (1 + x (X X)−1 x0 ) n−p ≤ Y0 ≤ ^ y0 + t1−α/2 σ ˆ x (X X)−1 x0 σ ˆ (1 + x (X X)−1 x0 ) (54) (52) Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 81 / 85 Ví dụ Nguyễn Văn Thìn (Khoa Toán Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 82 / 85 Qua giảng ta hiểu/có thể áp dụng Mơ hình hồi quy tuyến tính đơn Ví dụ Với liệu sợi dây làm chất bán dẫn (tụ): gồm y = lực tác động (dùng để phát vỡ tụ), x1 = chiều dài sợi dây x2 = chiều cao khối tụ (a) Xây dựng mơ hình hồi quy bội biểu diễn mối quan hệ y theo x1 x2 (b) Tính hệ số xác định R hệ số xác định hiệu chỉnh Radj Bài tốn hồi quy hồi quy tuyến tính đơn Các giả định sai số ngẫu nhiên Ước lượng hệ số hồi quy phương pháp bình phương bé (BPBN) Hệ số xác định Các tính chất ước lượng BPBN (c) Kiểm định ý nghĩa cho véc-tơ hệ số hồi quy β hệ số hồi quy (α = 5%) Khoảng tin cậy cho hệ số hồi quy, trung bình biến đáp ứng (d) Tìm khoảng tin cậy 95% cho trung bình biến đáp ứng (x1 = 8, x2 = 275) Kiểm định giả thuyết cho β0 , β1 (e) Tìm khoảng tin cậy 95% cho giá trị dự báo (x1 = 8, x2 = 275) Kiểm định giả thuyết cho hệ số tương quan Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 Dự đoán giá trị quan trắc Phân tích thặng dư, tương quan 83 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 84 / 85 Qua giảng ta hiểu/có thể áp dụng Mơ hình hồi quy tuyến tính bội Biểu diễn mơ hình theo dạng ma trận Ước lượng bình phương bé Ước lượng phương sai sai số Tính chất ước lượng bình phương bé Kiểm tra phù hợp mơ hình Kiểm định ý nghĩa mơ hình Hệ số xác định hệ số xác định hiệu chỉnh Kiểm định giả thuyết cho hệ số hồi quy Khoảng tin cậy cho trung bình biến đáp ứng Khoảng tin cậy cho giá trị dự báo Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 85 / 85 ... Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 / 85 Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Mơ hình hồi quy tuyến tính Mơ hình hồi quy tuyến tính đơn Định nghĩa... lập: quan trắc biến đáp ứng Y độc lập với Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 49 / 85 Phân tích thặng dư HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 50 / 85 HỒI QUY VÀ... σ σ Z1 Tβ1 = Nguyễn Văn Thìn (Khoa Tốn Tin Học) HỒI QUY VÀ TƯƠNG QUAN Tháng năm 2013 29 / 85 Khoảng tin cậy cho hệ số hồi quy HỒI QUY VÀ TƯƠNG QUAN Nguyễn Văn Thìn (Khoa Toán Tin Học) MSE = SSE