Bài giảng Tin học ứng dụng - Chương 4: Phân tích phương sai, so sánh và kiểm định

Bài giảng Tin học ứng dụng - Chương 4: Phân tích phương sai, so sánh và kiểm định bao gồm những nội dung về phân tích phương sai, kiểm định sự bằng nhau của hai mẫu, so sánh trung bình. Mời các bạn tham khảo bài giảng để nắm bắt nội dung cụ thể.

7/16/16 TIN HỌC ỨNG DỤNG (CH4 - PHÂN TÍCH PHƯƠNG SAI, SO SÁNH VÀ KIỂM ĐỊNH) Phan Trọng Tiến BM Công nghệ phần mềm Khoa Công nghệ thông tin, VNUA Email: phantien84@gmail.com Website: http://timoday.edu.vn Ch4 - Phân tích phương sai, so sánh kiểm định Nội dung Phân tích phương sai 2.  Kiểm định hai mẫu 3.  So sánh trung bình 1.  Ch4 - Phân tích phương sai, so sánh kiểm định 7/16/16 Phân tích phương sai q  Dùng để phân tích số liệu theo dõi ảnh hưởng nhân tố ảnh hưởng tương tác chúng q  Phân tích nhân tố: bố trí thí nghiệm theo vng La tinh q  Phân tích hai nhân tố: bố trí thí nghiệm theo khối ngẫu nhiên, kiểu trực giao, kiểu chia ô lớn, ô vừa, ô nhỏ kết hợp vừa chia băng vừa chia ô q  Từ ba nhân tố trở lên: bố trí thí nghiệm cho nhân tố có hai mức hay nhân tố có ba mức Ch4 - Phân tích phương sai, so sánh kiểm định 1.1 Phân tích phương sai nhân tố q  Dùng để phân tích số liệu theo dõi ảnh hưởng mức nhân tố tới kết công thức cho ăn tới xuất thịt … q  Thiết kế thí nghiệm kiểu hồn tồn ngẫu nhiên, mức lặp lại số lần, số lần lặp lại mức không cần phải q  Số liệu đưa vào theo hàng theo cột (theo hàng hàng ứng với mức nhân tố), ô đầu ghi tên mức, tiếp ghi SL Ch4 - Phân tích phương sai, so sánh kiểm định 7/16/16 Kiểm định bố trí liệu Ch4 - Phân tích phương sai, so sánh kiểm định Phân tích ảnh hưởng loại thuốc đến xuất lúa Ch4 - Phân tích phương sai, so sánh kiểm định 7/16/16 Vào Tools>Data Analysis>Anova: Single Factor Miền liệu Nhóm liệu theo cột hay theo hàng Đặt nhãn đầu dòng Mức ý nghĩa Nơi đặt kết Ch4 - Phân tích phương sai, so sánh kiểm định Ch4 - Phân tích phương sai, so sánh kiểm định Kết 7/16/16 Phân tích kết q  Kết in gồm thống kê cho công thức (trung bình, độ lệch chuẩn …) q  Nếu giá trị xác xuất P-value < alpha (hay F tn > F lt) → cơng thức có tác động khác tới kết quả, ngược lại cơng thức khơng có khác biệt đáng kể q  Nếu cơng thức có tác động khác → tiếp tục so sánh công thức có giống hay khác hay khơng Ch4 - Phân tích phương sai, so sánh kiểm định Phân tích kết q  Ví dụ: F = 8.541 > F crit = 2.176 → cơng thức có tác động khác tới xuất lúa Muốn so sánh xem cơng thức có ảnh hưởng khác tới TB không -> dùng phương pháp so sánh dùng số LSD q  Nhận xét: Công thức T1 cho xuất cao Tiếp tục so sánh công thức có giống hay khác hay khơng ta dùng so sánh trung bình băng số LSD Ch4 - Phân tích phương sai, so sánh kiểm định 10 7/16/16 1.2 So sánh trung bình dùng số LSD (Least Significance Difference) q  Excel không cho phép so sánh trung bình nhóm ứng với mức nhân tố (công thức) q  Nếu cần so sánh trung bình CT Ti (với ri lần lặp) với trung bình CT Tj (với rj lần lặp) tính thêm số LSD = tα,f * SQRT(s2(1/ ri + 1/ rj ) q  s2 phương sai chung ước lượng trung bình sai số bình phương nội nhóm (MS within groups) q  α = 1- p q  tα,f giá trị t bảng Student (Hàm TINV) Ch4 - Phân tích phương sai, so sánh kiểm định 11 So sánh q  Tính trị tuyệt đối trung bình Ti, Tj: |Ti - T j| q  So sánh |Ti - Tj| > LSD hai trung bình khác nhau, ngược lại hai trung bình coi khơng khác q  Thường người ta lập bảng hiệu trung bình, sau lập bảng so sánh Ch4 - Phân tích phương sai, so sánh kiểm định 12 7/16/16 Ví dụ so sánh ảnh hưởng thuốc T1, T2 đến xuất lúa Ch4 - Phân tích phương sai, so sánh kiểm định 13 Ví dụ q  |T1- T2|= |3.6440 – 3.0133|= 0.6307 q  T(0.05,29) = Tinv(0.05,29)= 2.045 q  S2 = 0.17682 q  LSD tính TH ri, rj LSD = 2.045*SQRT(0.17682*(1/3+1/4))= 0.656739049 LSD = 2.045*SQRT(0.17682*(1/4+1/4))= 0.608022212 LSD = 2.045*SQRT(0.17682*(1/3+1/3))= 0.702083575 Trường hợp T1, T2: |T1- T2|= 0.6307 < LSD = 0.656739049 nên CThức T1, T2 không khác rõ rệt Tương tự TH khác T1 cho suất cao tốt nhất, công thức T11 cho xuất thấp nhất Ch4 - Phân tích phương sai, so sánh kiểm định 14 7/16/16 1.3 Phân tích phương sai hai nhân tố q  Xảy hai trường hợp: q Nhân tố A B không tương tác, biến động gây nên tác động đồng thời A B gần sát q Nhân tố A B có tương tác Ch4 - Phân tích phương sai, so sánh kiểm định 15 a Phân tích phương sai hai nhân tố khơng tương tác q  Bố trí số liệu: hàng mức nhân tố thứ nhất, cột mức nhân tố thứ hai Ch4 - Phân tích phương sai, so sánh kiểm định 16 7/16/16 Ví dụ q  Ví dụ: nhân tố có mức, nhân tố có khối Ch4 - Phân tích phương sai, so sánh kiểm định 17 Vào Data>Data Analysis>Anova: Two Factor Without Replication Ch4 - Phân tích phương sai, so sánh kiểm định 18 7/16/16 Kết Ch4 - Phân tích phương sai, so sánh kiểm định 19 Phân tích kết q  Các mức nhân tố có ảnh hưởng khác đến kết (F tn > F lt) q  Các mức nhân tố có ảnh hưởng khác đến kết (F tn > F lt) q  Có thể tính F lt hàm FINV q = FINV(0.05,3,9) q  Có thể tính T hàm TINV q = TINV(0.05,9) Ch4 - Phân tích phương sai, so sánh kiểm định 20 10 7/16/16 Phân tích kết q  Với F < F > F Critical one-tail chấp nhận H0 (δ12 = δ22 ) ngược lại bác bỏ H0, chấp nhận H1 δ12 > δ22 q  Với F >= F < F Critical one-tail chấp nhận H0 (δ12 = δ22 ) ngược lại bác bỏ H0, chấp nhận H1 δ12 > δ22 q  F = 1.047619 > F < F Critical one-tail = 2.89622 nên chấp nhận H0 (δ12 = δ22 ) Ch4 - Phân tích phương sai, so sánh kiểm định 35 So sánh trung bình q  Dùng so sánh trung bình hai mẫu thơng qua việc kiểm định giả thuyết: q  H0: m1 = m2 (kỳ vọng biến X kỳ vọng biến Y) q Đối thuyết H1: m1 ≠ m2 mức ý nghĩa α trường hợp kiểm định hai phía Nếu kiểm định phía đối thuyết H1 m1 > m2 q  Có bốn dạng q So sánh hai mẫu độc lập biết phương sai δ12,δ22 q So sánh hai mẫu kiểu cặp đôi q So sánh hai mẫu độc lập với giả thuyết hai phương sai q So sánh hai mẫu độc lập với giả thuyết hai phương sai khác Ch4 - Phân tích phương sai, so sánh kiểm định 36 18 7/16/16 So sánh cặp đôi độc lập Hai mẫu độc lập o Bố trí liệu ngẫu nhiên (số lần quan sát khác nhau) o Hai đối tượng khác nhau, với điều kiện môi trường Hai mẫu cặp đôi o Số quan sát phải o Một đối tượng, với điều kiện môi trường khác Ch4 - Phân tích phương sai, so sánh kiểm định 37 3.1 So sánh hai mẫu độc lập biết phương sai δ12,δ22 q Rút mẫu độc lập từ hai tổng thể phân phối chuẩn, số tình ước lượng phương sai ví dụ điều tra lại tổng thể sau thời gian chưa lâu, nên phương sai chưa thay đổi, lấy phương sai lần làm trước, từ ước lượng phương sai Ch4 - Phân tích phương sai, so sánh kiểm định 38 19 7/16/16 Vào Data/Data Analysis Ch4 - Phân tích phương sai, so sánh kiểm định 39 Hiện sổ Miền biến Miền biến Giả thiết khác hai trung bình Phương sai biến Phương sai biến Nếu có nhãn chọn Nơi để kết Ch4 - Phân tích phương sai, so sánh kiểm định 40 20 7/16/16 Kết Trung bình Phương sai Số quan sát Giả thiết khác hai trung bình Z thực nghiệm P phía hai phía Z lý thuyết (tới hạn) phía hai phía Ch4 - Phân tích phương sai, so sánh kiểm định 41 Phân tích kết q  Z thực nghiệm tính theo công thức: q Z = (m1-m2)/sqrt(δ12 / n1 + δ22 /n2) q  P phía: q = – Normsdist(z) q  P hai phía q = (1- Normsdist(z))*2 q  Z lý thuyết phía q = Normsinv(0.95) q  Z lý thuyết hai phía q = Normsinv(0.975) Ch4 - Phân tích phương sai, so sánh kiểm định 42 21 7/16/16 Phân tích kết q  Các bước phân tích kết q Trước tiên so sánh Ztn với Zlt hai phía q Nếu |Ztn| < Zlt hai phía (ở mức ý nghĩa α) kết luận kỳ vọng hai biến không khác (chấp nhận giả thuyết H0) q Nếu |Ztn| > Zlt hai phía (ở mức ý nghĩa α) kết luận kỳ vọng hai biến khác (chấp nhận giả thuyết H1) Muốn xem trung bình biến lớn có dùng cách sau: q C1: Ztn > kết luận trung bình biến lớn ngược lại q C2: |Ztn| > Zlt phía kết luận m1>m2 ngược lại Ch4 - Phân tích phương sai, so sánh kiểm định 43 Phân tích kết q  Ví dụ Z thực nghiệm = 1.43355 < Z lt hai phía = 1.95996 nên kỳ vọng hau biến không khác (chấp nhận giả thuyết H0) Ch4 - Phân tích phương sai, so sánh kiểm định 44 22 7/16/16 3.2 So sánh hai mẫu cặp đôi q  Xét số ví dụ q So sánh trọng lượng đực đàn lợn giống, lấy ngẫu nhiên lợn đực lợn cặp đàn độc lâp hay cặp đôi? q Phân tích mẫu đất? q So sánh giống lúa? q  Yêu cầu: Hai mẫu phải số quan sát n, cặp số liệu xếp thành cặp đứng hai cột cạnh Ch4 - Phân tích phương sai, so sánh kiểm định 45 Vào Data/Data Analysis Ch4 - Phân tích phương sai, so sánh kiểm định 46 23 7/16/16 Hiện sổ Miền biến 1, kể hàng đầu mẫu quan sát Miền biến Giả thiết hiệu hai trung bình hai tổng thể H0: m1 = m2 ghi Nếu H0: m1 = m2 + d ghi d Nếu có nhãn chọn Chọn miền đặt kết Ch4 - Phân tích phương sai, so sánh kiểm định 47 Ch4 - Phân tích phương sai, so sánh kiểm định 48 Kết 24 7/16/16 Phân tích kết q  Ví dụ: Ttn = 3.3 > Tlt hai phía -> kỳ vọng hai biến khác (chấp nhận giả thuyết H1) q Cách 1: Ttn >0 trung bình mx > my q Cách 2: Ttn > Tlt phía nên mx > my Ch4 - Phân tích phương sai, so sánh kiểm định 49 Phân tích kết q  Các bước phân tích kết q Trước tiên so sánh Ttn với Tlt hai phía q Nếu |Ttn| < Tlt hai phía (ở mức ý nghĩa α) kết luận kỳ vọng hai biến khơng khác (chấp nhận giả thuyết H0) q Nếu |Ttn| > Tlt hai phía (ở mức ý nghĩa α) kết luận kỳ vọng hai biến khác (chấp nhận giả thuyết H1) Muốn xem trung bình biến lớn có dùng cách sau: q C1: Ttn > kết luận trung bình biến lớn ngược lại q C2: |Ttn| > Tlt phía kết luận m1>m2 ngược lại Ch4 - Phân tích phương sai, so sánh kiểm định 50 25 7/16/16 3.3 So sánh hai mẫu độc lập với giả thuyết hai phương sai q  Hai mẫu độc lập: q Nếu dung lượng mẫu lớn (>=30) ta tiến hành Ztest thay hai phương sai tổng thể δ12,δ22 phương sai mẫu s12,s22 q Nếu dung lượng mẫu bé ( Tlt hai phía (ở mức ý nghĩa α) kết luận kỳ vọng hai biến khác (chấp nhận giả thuyết H1) Muốn xem trung bình biến lớn có dùng cách sau: q C1: Ttn > kết luận trung bình biến lớn ngược lại q C2: |Ttn| > Tlt phía kết luận m1>m2 ngược lại Ch4 - Phân tích phương sai, so sánh kiểm định 56 28 7/16/16 Phân tích kết tn = 1.5187 < t lt hai phía = 2.20099 (ứng với P phía P hai phía) nên chấp q  Ví dụ: t nhận giả thuyết H0 mức ý nghĩa α = 0.05 Ch4 - Phân tích phương sai, so sánh kiểm định 57 Chú ý q  Trước dùng mơ hình cần kiểm định giả thuyết phụ H0 : δ12=δ22, H1 : δ12>δ22 tính tốn phân phối Fisher: q B1: Tính F thực nghiêm tỷ số hai phương sai mẫu(lấy lớn chia cho bé) q B2: So F thực nghiệm với F lý thuyết mức ý nghĩa α : =FINV(α,f1,f2) Nếu F tn < F lt chấp nhận H0 ngược lại chấp nhận H1 q  Ví dụ trên: F tn = 0.26571/ 0.093 = 2.8571 F lt = FINV(0.05,7,4) = 6.09421 nên chấp nhận H0 Ch4 - Phân tích phương sai, so sánh kiểm định 58 29 7/16/16 3.4 So sánh hai mẫu độc lập với giả thuyết hai phương sai không q  Trong trường hợp mẫu bé phương sai khác Ch4 - Phân tích phương sai, so sánh kiểm định 59 Hộp thoại xuất Ch4 - Phân tích phương sai, so sánh kiểm định 60 30 7/16/16 Kết Ch4 - Phân tích phương sai, so sánh kiểm định 61 Phân tích kết q  Các bước phân tích kết q Trước tiên so sánh Ttn với Tlt hai phía q Nếu |Ttn| < Tlt hai phía (ở mức ý nghĩa α) kết luận kỳ vọng hai biến không khác (chấp nhận giả thuyết H0) q Nếu |Ttn| > Tlt hai phía (ở mức ý nghĩa α) kết luận kỳ vọng hai biến khác (chấp nhận giả thuyết H1) Muốn xem trung bình biến lớn có dùng cách sau: q C1: Ttn > kết luận trung bình biến lớn ngược lại q C2: |Ttn| > Tlt phía kết luận m1>m2 ngược lại Ch4 - Phân tích phương sai, so sánh kiểm định 62 31 7/16/16 Phân tích kết q  t thực nghiệm = 1.71 < t lý thuyết hai phía = 2.2 (P phía hai phía lớn mức ý nghĩa α = 0.05) nên chấp nhận giả thuyết H0 Ch4 - Phân tích phương sai, so sánh kiểm định 63 32 ... sai, so sánh kiểm định 59 Hộp thoại xuất Ch4 - Phân tích phương sai, so sánh kiểm định 60 30 7/16/16 Kết Ch4 - Phân tích phương sai, so sánh kiểm định 61 Phân tích kết q  Các bước phân tích kết... - Phân tích phương sai, so sánh kiểm định 17 Vào Data>Data Analysis>Anova: Two Factor Without Replication Ch4 - Phân tích phương sai, so sánh kiểm định 18 7/16/16 Kết Ch4 - Phân tích phương sai,. .. so sánh kiểm định 22 11 7/16/16 Cần kiểm định Ch4 - Phân tích phương sai, so sánh kiểm định 23 Ví dụ ns lúa nhân tố phân bón (A) mật độ trồng (B) Ch4 - Phân tích phương sai, so sánh kiểm định 24