tương quan và hồi quy tuyến tính

Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 160 Chương Tương quan H i qui n tính H S TƯƠNG QUAN M U nh nghĩa tính ch t c a H s tương quan ρ c a hai bi n ng u nhiên X Y ã c c p n o n 2.7 Trong th c t , không bi t ρ mà ch d a vào m u suy oán v ρ 1.1 nh nghĩa Gi s (X1, Y1); (X 2, Y2); ; (Xn, Yn) m u c thành l p t vectơ ng u nhiên (X, Y) Bi n ng u nhiên n ∑ ( X i − X ).( Yi − Y ) R= i =1 ( n − 1) S X SY c g i H s tương quan m u c a X Y V i m u c th , giá tr h s tương quan m u c tính b i: r = ∑ xi yi − n x y = (n − 1) s X sY ∑ xi yi − n x y ( ∑ xi2 − n.x ) ( ∑ yi2 − n y ) n ó, ký hi u Σ ch ∑ i =1 KI M NH GI THI T V H S TƯƠNG QUAN Gi s (X1, Y1); (X2, Y2); ; (Xn, Yn) m u c thành l p t t ng th (X,Y) có phân ph i chu n hai chi u Chúng ta mu n ki m nh gi thi t liên Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 161 quan n giá tr khác c a h s tương quan t ng th , ký hi u ρ, d a phân ph i m u c a h s tương quan m u R 2.1 Ki m nh gi thi t: H0: ρ = i v i H1: ρ ≠ (ho c ρ > ho c ρ < 0) Ngư i ta ch ng minh c r ng v i gi thi t H0, phân ph i m u c a R x ng; t ó, th ng kê n−2 T= R i ~ Student (n − 2) − R2 Tr c nghi m t c dùng trư ng h p 2.2 Ki m nh gi thi t: H0: ρ = ρo ≠ i v i H1: ρ ≠ ρo V i gi thi t H0, phân ph i m u c a R b l ch nên không th dùng tr c ti p R Trong trư ng h p này, Fisher ã ngh m t phép bi n i ưa n th ng kê 1+ R Z = ln ( ) 1− R có phân ph i ti m c n chu n v i kỳ v ng phương sai l n lư t + ρo  ρo µ Z = ln   + 2(n − 1) σ Z = n −  − ρo   Tr c nghi m U c dùng v i U = Z*, bi n chu n hóa c a Z Phép bi n i c g i phép bi n i Fisher; c dùng tìm kho ng tin c y cho h s tương quan t ng th 2.3 Thí d D a vào m u ng u nhiên c 18 c ch n t t ng th (X,Y) có phân ph i chu n chi u, ngư i ta tính c giá tr h s tương quan m u r = 0,32 m c ý nghĩa 5%, có s tương quan n tính gi a X Y không? Gi i Chúng ta ph i có quy t nh gi a hai gi thi t: H0 : ρ = H1: ρ ≠ N u H0 úng BNN T= R 18 − − R2 V i m c α = 5% , giá tr t i h n là: v i m u c th , có: ~ t(16) (16) t0,975 = 2,1199 ; Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 162 t= 0,32 16 − (0,32)2 = 1,35 m c ý nghĩa α = 5% Vì |t| < 2,12 nên gi thi t H0 khơng th b bác b Nói cách khác, ch p nh n r ng X Y không tương quan m c ý nghĩa 5% 2.4 Thí d H s tương quan c tính m u c 24, ch n t t ng th có phân ph i chu n chi u, r = 0,75 m c ý nghĩa α = 5%, cho nh n xét v tài li u cho r ng h s tương quan t ng th b ng 0,65 Gi i Ki m nh gi thi t H0: ρ = 0,65 i v i H1: ρ ≠ 0,65 Tr c nghi m U uôi c s d ng, v i U = Z − µZ ~ N (0,1) σZ V i m c α = 5% , gtth = u0,975 = 1, 96 ; v i m u c th , có : ( ) + 0,75 z = ln = 0,9730 , ( ) + 0,65 µ Z = ln + − 0,65 u= − 0,75 0,65 = 0,7894; 2(24 −1) σZ = , 21 z − µZ = 0,8414 σZ Vì u < gtth nên m c ý nghĩa α = 5%, gi thi t H0 c ch p nh n, i.e.tài li u c ch p nh n PHÂN TÍCH H I QUI Phân tích tương quan ph n giúp bi t m c ph thu c n tính gi a bi n ng u nhiên Bài tốn Phân tích h i qui c trình bày ph n s giúp thi t l p c u trúc c a m i liên h ph thu c c a m t bi n (g i bi n ph thu c) v i m t hay nhi u bi n khác (g i bi n c l p); mu n th hi n m i liên h ph thu c gi a bi n dư i d ng toán h c b ng m t phương trình n i bi n ó Phương trình ó cho phép d oán v m t bi n ph thu c s ã bi t v bi n c l p Giáo trình ch trình bày trư ng h p có m t bi n c l p nh t (h i qui ơn) Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 163 3.1 nh nghĩa Cho hai BNN X Y m t khơng gian xác su t có h.m ng th i f Kỳ v ng i u ki n c a Y bi t X l y giá tr x, ký hi u E(Y/x) c xác nh b i: E (Y / x) = ∑ y f ( y / x) n u X Y r i r c, y +∞ E (Y / x) = ho c ∫ y f ( y / x) dy n u X Y liên t c −∞ ϕ(x) = E(Y/x) m t hàm c a x ϕ c g i hàm h i qui c a Y theo X th c a hàm ϕ c g i ng h i qui c a Y theo X nh nghĩa tương t cho khái ni m kỳ v ng i u ki n c a X bi t Y l y giá tr y, ký hi u E(X/y) ψ(y) = E(X/y) m t hàm c a y ψ c g i hàm h i qui c a X theo Y th c a hàm ψ c g i ng h i qui c a X theo Y 3.2 nh nghĩa Cho hai BNN X Y m t không gian xác su t (a) N u ϕ(x) = E(Y/x) = a + bx ngư i ta nói r ng ϕ hàm h i qui n tính c a Y theo X b c g i h s h i qui n tính Y theo X (b) N u ψ(y) = E(X/y) = c + dx ngư i ta nói r ng ψ hàm h i qui n tính c a X theo Y d c g i h s h i qui n tính X theo Y Chúng ta công nh n 3.3 nh lý sau: nh lý Cho hai BNN X Y tuân theo lu t phân ph i chu n hai chi u v i kỳ v ng µ1 µ , phương sai dương σ1 σ , h s tương quan ρ Khi ó, hàm h i qui c a Y theo X hàm h i qui c a X theo Y hàm n tính C th : (a) ϕ(x) = E(Y/x) = a + bx, v i: b= ρ σ2 σ1 a =µ − bµ1 (b) ψ(y) = E(X/y) = c + dx, v i: d= ρ σ1 σ2 c =µ1 − dµ 3.4 Bài tốn Gi s X bi n ng u nhiên c l p Y bi n ng u nhiên ph thu c vào X N u mu n c lư ng giá tr c a Y b ng giá tr c a bi n ng u nhiên θoX, v i θ m t hàm th c ó, m c m t sai s S(θ) = E[(Y − θoX)2], g i sai d báo V n t ch n θ th t t nh t, theo nghĩa S(θ) t giá tr nh nh t 3.5 nh lý Bi u th c S(θ) = E[(Y − θ oX)2] E(Y/x) v i m i x cho s c lư ng t c c ti u θ(x) = Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 164 3.6 Chú ý Khi dùng hàm h i qui c a Y theo X sai d báo là: tính x p x Y σY X = σ2 ( − ρ2 ) g n Do ó, Chúng ta nh n th y r ng sai s nh ρ ch nên dùng hàm h i qui x p x Y s bi t X ρ g n b ng Chúng ta có th tìm kho ng tin c y cho trung bình c a Y X l y giá tr x0 Tuy nhiên, giáo trình t m hài lịng v i d báo c a Y b ng cách thay giá tr x0 vào phương trình ng th ng h i qui c a Y theo X HÀM H I QUI TUY N TÍNH M U Trong th c t , không kh o sát h t t ng th , chưa bi t phân ph i c a vectơ ng u nhiên (X,Y) nên khó có th xác nh c d ng toán h c c a hàm h i qui t ng th Chúng ta ph i d a m u xây d ng hàm h i qui m u cho c lư ng t t nh t hàm h i qui t ng th Gi s (x1, y1), (x2, y2), , (xn, yn) n c p quan sát c m u c thành l p t vectơ ng u nhiên (X,Y) có m t hình nh tr c quan v m i tương quan gi a X Y, ngư i ta bi u di n m i c p s (xi, yi) b ng i m Mi có to (xi, yi), (i = 1, 2, , n) m t ph ng to Oxy T p h p i m Mi (i = 1, phân 2, , n) t o nên m t “ ám mây th ng kê” thư ng c g i Bi u tán Bi u phân tán cho nhìn khái quát v m c c u trúc c a s tương quan gi a Y X T bi u phân tán, ngư i ta thư ng nh n th y có m t ng (cong ho c th ng) x p x d li u (các i m (xi, yi) t t p g n ng ó) N u ng nói ng th ng Y có h i qui n tính theo X H i qui n tính y 30 20 10 y H i qui phi n x Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 165 30 20 10 x T m u trên, ngư i ta xây d ng ng h i qui n tính m u b ng cách thay s c trưng c a t ng th b ng c lư ng i m tương ng: Hàm h i qui n tính m u c a Y theo X: y = A + Bx, v i B = r v i sY sX A = y − Bx , sai d báo m u: 2 sY X = (1 − r ) sY Hàm h i qui n tính m u c a X theo Y: s x = x + r X ( y − y ) , sY v i sai d báo m u: s X Y = (1 − r ) s X 4.1 Thí d Gi s giá tr quan sát c m t m u c a VTNN (X,Y) tuân theo lu t phân ph i chu n hai chi u c cho b ng sau: xi 11 14 yi 4 (a) V bi u phân tán cho d li u b ng (b) Hãy tính giá tr h s tương quan m u (c) Vi t phương trình ng th ng h i qui m u c a Y theo X Hãy d báo giá tr c a Y X l y giá tr 12 Gi i (a) Bi u phân tán: Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 166 10 0 10 11 12 13 14 15 x (b) Chúng ta l p b ng tính sau: xi yi xi2 xi yi yi2 1 1 4 16 16 16 36 24 16 64 40 25 81 63 49 11 121 88 64 14 196 126 81 Σxi = 56 Σyi = 40 ∑ x = 524 i Σxiyi = 364 ∑ y = 256 i Các giá tr trung bình m u l ch chu n n u: x = 7, sX = 4,342, sY = 2,828 y = 5, Giá tr h s tương quan m u: r = ∑ xi yi − n x y 364 − × × = = 0,977 (n − 1) s X sY × 4,342 × 2,828 r = 0,977 (c) VTNN (X,Y) tuân theo lu t phân ph i chu n hai chi u nên hàm h i qui m u c a Y theo X hàm n tính y = A + Bx, v i s B = r Y = 6364 sX Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 167 A = y − Bx = 0,5455 Phương trình ng h i qui m u c a Y theo X là: y = 0,6364x + 0,5455 Khi X l y giá tr 12 d báo Y có giá tr là: yo = 0,6364 × 12 + 0,5455 = 8,1823 BÀI T P Trong m i t p dư i ây, gi s r ng vectơ ng u nhiên ang xét tuân theo lu t phân ph i chu n hai chi u 7.1 Xem vectơ ng u nhiên (X,Y) mà m t m u ng u nhiên g m c p c ch n sau: xi yi 12 16 20 24 28 32 Hãy tính giá tr h s tương quan m u c a X Y cho nh n xét 7.2 M t s s n xu t ã ghi l i s ti n ã chi cho vi c nghiên c u phát tri n l i nhu n hàng năm c a s năm v a qua sau: ( ơn v 106 VN ) Chi nghiên c u 11 L i nhu n 31 40 30 34 25 20 (a) V bi u phân tán cho d li u b ng (b) Hãy tính giá tr h s tương quan m u gi a chi nghiên c u l i nhu n (c) Chi nghiên c u l i nhu n có th c s tương quan không? (k t lu n m c ý nghĩa α = 2%) (d) Vi t phương trình ng h i qui n tính m u c a l i nhu n theo chi phí nghiên c u 7.3 o chi u cao Y (cm) chi u dài chi dư i X (cm) c a m t nhóm niên, ngư i ta thu c s li u sau: Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 168 yi 160 161,5 163 165 167 168 171 172 xi 78 79 80 81 82 83 84 85 (a) Tính giá tr h s tương quan m u c a X Y (b) m c ý nghĩa α = 5%, cho nh n xét v tài li u cho r ng h s tương quan c a X Y 0,9 (c) Vi t phương trình ng h i quy m u c a Y theo X 7.4 M t gi ng viên d y môn th ng kê yêu c u m i sinh viên ph i làm m t án phân tích d li u d kỳ thi h t mơn Sau ó, m t m u g m 10 sinh viên c ch n ng u nhiên, i m s c ghi l i sau: i m thi i m 81 74 78 93 69 72 83 90 84 76 án 62 71 69 76 87 62 80 75 92 79 (a) Tìm kho ng tin c y 95% cho i m thi trung bình c a m t sinh viên (b) m c ý nghĩa 5%, ánh giá v s tương quan n tính gi a hai lo i i m 7.5 th c hi n m t cơng trình nghiên c u v m i quan h gi a chi u cao Y(m) ng kính X(cm) c a m t lo i cây, ngư i ta quan sát m t m u ng u nhiên có k t qu sau: xi 28 28 24 30 60 30 32 42 43 49 yi 6 10 10 (a) Hãy tính giá tr h s tương quan m u c a X Y cho nh n xét (b) Vi t phương trình ng th ng h i quy m u c a Y theo X Hãy d báo chi u cao c a có ng kính 45 cm 7.6 X (%) Y(kg/mm2) hai ch tiêu ch t lư ng c a m t lo i s n ph m i u tra m t s s n ph m, ngư i ta c giá tr (xi, yi) c a vectơ ng u nhiên (X, Y) sau: (2, 5); (8, 15); (4, 15); (4, 10); (2, 10); (8, 25); (2, 5); (6, 10); (4, 10); (8, 20); (6, 10); (8, 15); (6, 10); (6, 15); (4, 15); (6, 15); (6, 15); (8, 20); (6, 20); (6, 10); (6, 20); (6, 15); (6, 25); (8, 20); (6, 15); (6, 20); (8, 15); (6, 15); (8, 25); (8, 15) (a) Tìm kho ng tin c y 98% cho trung bình ch tiêu Y Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 169 (b) Có tài li u cho r ng trung bình ch tiêu X 6,5% Hãy cho nh n xét v tài li u m c ý nghĩa 5% (c) Tính giá tr h s tương quan m u c a X Y (d) X Y có th c s tương quan không? ( m c ý nghĩa α = 3%) (e) Vi t phương trình ng th ng h i quy m u c a Y theo X 7.7 Nghiên c u lư ng phân bón (X kg) c dùng bón cho ru ng m t v ; Y(kg/1000m2) su t lúa Th ng kê 30 h gia ình, k t qu sau: S h xi 40 40 50 50 50 60 60 60 yi 270 280 280 290 300 300 310 320 (a) Tính giá tr h s tương quan m u c a X Y (b) Ki m nh gi thi t cho r ng h s tương quan c a X Y b ng 0,9 m c ý nghĩa α = 5% 7.8 nghiên c u s tương quan gi a chi u cao X (cm) s c n ngY (kg) ngư i, quan sát m t m u ng u nhiên, ngư i ta có k t qu sau: yk xi [140, 145) [145, 150) [40, 45) [45, 50) [50, 55) [55, 60) [60, 65) [150, 155) 10 [155, 160) 1 [160, 165) (a) Tìm kho ng tin c y 95% cho µX µY (b) (c) Tính giá tr h s tương quan m u c a X Y Có tài li u cho bi t h s tương quan gi a X Y 0,65 Hãy cho nh n xét v tài li u ó, m c α = 5% (d) Vi t phương trình ng th ng h i quy n tính m u c a Y theo X 7.9 Nghiên c u v giá bán X s lư ng hàng bán c m t tháng Y c a m t lo i hàng, ngư i ta i u tra ng u nhiên m t s i m bán hàng có s li u sau: Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 170 yi (t n) xi (ngàn 24 25 26 26 25 27 28 30 4,9 4,8 4,7 5,2 4,6 4,5 ng) yi (t n) xi (ngàn 30 ng) 30 29 29 29 28 28 28 4,2 4,3 4,4 4,3 4,2 4,8 4,6 Cho bi t X Y tuân theo lu t phân ph i chu n hai chi u (a) Tìm kho ng tin c y 90% cho lư ng hàng bán c trung bình m t tháng (cho bi t bi n ng u nhiên Y tuân theo lu t phân ph i chu n) (b) M t báo cáo cho r ng lư ng hàng bán c trung bình m t tháng khơng dư i 28,5 t n Hãy cho nh n xét v báo cáo ó m c ý nghĩa 1% (c) Tính giá tr h s tương quan m u c a X Y (d) Tài li u m t công ty tư v n cho r ng h s tương quan c a X Y − 0,75 có ch p nh n c khơng? (k t lu n m c ý nghĩa α = 5%) (e) Vi t phương trình ng h i quy m u c a lư ng hàng bán c m t tháng theo giá bán 7.10 Chi u dài xương ùi X(cm) chi u cao Y(cm) c a nh ng ngư i àn ông tu i 20 - 30 bi n ng u nhiên tuân theo lu t phân ph i chu n o chi u dài xương ùi chi u cao c a 10 ngư i àn ông, c ch n ng u nhiên, tu i K t qu c cho b ng sau: xi (cm) 44 46 47 47 48 49 50 50 51 52 yi (cm) 155 159 163 166 169 172 174 176 176 179 (a) Tìm kho ng tin c y 96 % cho chi u cao trung bình c a nh ng ngư i àn ông tu i 20 - 30 (b) Tính giá tr h s tương quan m u c a X Y Hãy cho nh n xét v m c tương quan gi a X Y (c) M t tài li u y khoa cho r ng h s tương quan c a X Y 0,90 Hãy cho nh n xét v tài li u m c ý nghĩa 5% (d) Vi t phương trình ng h i qui n tính m u c a Y theo X Hãy d báo xem n u giá tr c a X gi m b t 1cm giá tr tương ng c a Y bi n thiên th nào? T i sao? Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 171 XS 2008 TK ...Ch

ng T

NG QUAN VÀ H I QUI TUY N TÍNH 161 quan n giá tr khác c a h s tương quan t ng th , ký hi u ρ, d a phân ph i m u c a h s tương quan m u R 2.1 Ki m nh gi thi t: H0:... s tương quan t ng th 2.3 Thí d D a vào m u ng u nhiên c 18 c ch n t t ng th (X,Y) có phân ph i chu n chi u, ngư i ta tính c giá tr h s tương quan m u r = 0,32 m c ý nghĩa 5%, có s tương quan. .. T

NG QUAN VÀ H I QUI TUY N TÍNH 169 (b) Có tài li u cho r ng trung bình ch tiêu X 6,5% Hãy cho nh n xét v tài li u m c ý nghĩa 5% (c) Tính giá tr h s tương quan m u c a X Y (d) X Y có th c s tương