kiểm định phi tham số

THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ THỐNG KÊ SUY DIỄN Chương KIỂM ĐỊNH KHÔNG THAM SỐ Những vấn đề chung Kiểm định Wilcoxon Kiểm định Mann – Whitney Kiểm định Kruskal – Wallis Kiểm định Chi bình phương THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 1 Những vấn đề chung a) Khái niệm Khi biến ngẫu nhiên quan tâm tổng thể phân phối thường (chuẩn) liệu định tính mã hóa  tính tham số đặc trưng trung bình (kì vọng), tỉ lệ, độ lệch chuẩn, v.v  kiểm định không tham số, chất không mạnh kiểm định tham số THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Những vấn đề chung b) Quy tắc xếp hạng • Theo thứ tự tăng dần, giá trị xếp đồng hạng trung bình • Xếp hạng chung mẫu, tổng hạng tính riêng mẫu THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon a) Vai trò Kiểm định biến quan tâm hai tổng thể sử dụng hai mẫu phối cặp b) Giả thuyết không Ho • Hai phía: XA = XB; • Một phía: XA ≥ XB ; XA ≤ XB THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon c) Xếp hạng: - Tính chênh lệch cặp cá thể di = – bi - Xếp hạng giá trị tuyệt đối chênh lệch |di|, bỏ qua chênh lệch không - Tính tổng hạng riêng cho chênh lệch dương R+ âm R– n: tổng số cá thể tham gia xếp hạng THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon d) Giá trị tới hạn: • Trường hợp 1: n ≤ 20 (mẫu nhỏ)  Bảng tra phân vị Wilcoxon: Hai phía: W(α/2;n) ; Một phía: W(α;n) • Trường hợp 2: n > 20 (mẫu lớn )  Bảng tra phân vị thường (chuẩn) hàm Laplace: Hai phía: Zα/2 ; Một phía: Zα THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon e) Giá trị kiểm định: W = min{R+;R–} Khi n > 20, xấp xỉ W thành phân phối chuẩn tắc Z sau: n.(n  1) n.(n  1).(2n  1) - Phương sai giả: 2  24 W   W xấp xỉ giá trị kiểm định: Z   - Trung bình giả:   THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon f) Quyết định: Giả thuyết không bị bác bỏ khi: • Trường hợp 1: n ≤ 20 (mẫu nhỏ ): W ≤ W(α) • Trường hợp 2: n > 20 (mẫu lớn ) : │Z│> Z(α) THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon VD1 Mẫu khách hàng chọn ngẫu nhiên yêu cầu họ cho biết sở thích loại kem đánh A B khác thông qua thang điểm từ đến 5, kết sau: Khách hàng Kem đánh A Kem đánh B 5 5 2 5 Kem đánh B loại đưa thị trường Với mức ý nghĩa 5%: a) Có khác biệt sở thích khách hàng A B hay không? b) Có thể nói kem B ưa chuộng không? THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon VD2 Một công ty sản xuất dầu gội đầu P muốn kiểm định có khác biệt trước sau chiến dịch quảng cáo sản phẩm Khảo sát mẫu gồm 50 người cho kết đánh giá, sau tính toán chênh lệch (sau trừ trước) xếp hạng, tổng hạng dương 625 tổng hạng âm 800 Thực kiểm định Wilcoxon với mức ý nghĩa 5% xét xem khách hàng có biết đến sản phẩm dầu gội đầu P nhiều trước hay không? THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 10 Kiểm định Mann - Whitney a) Vai trò Kiểm định biến quan tâm hai tổng thể sử dụng hai mẫu độc lập b) Giả thuyết không Ho • Hai phía: XA = XB; • Một phía: XA ≥ XB ; XA ≤ XB THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 11 Kiểm định Mann - Whitney c) Xếp hạng Xếp hạng tất cá thể hai mẫu Tính tổng hạng riêng hai mẫu, kí hiệu RA, RB Gọi nA, nB cỡ hai mẫu n cỡ mẫu  n = nA + nB Gọi R tổng hạng mẫu, ta có: n.(n  1) R  RA  RB  THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 12 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Mann - Whitney d) Giá trị tới hạn: • Trường hợp 1: nA nB ≤ 20 (mẫu nhỏ)  Bảng tra phân vị Mann – Whitney (2đuôi): Hai phía: U(α;nA;nB) ; Một phía: U(2α;nA;nB) • Trường hợp 2: nA or nB > 20 (mẫu lớn)  Bảng tra phân vị thường (chuẩn) hàm Laplace: Hai phía: Zα/2 ; Một phía: Zα THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 13 Kiểm định Mann - Whitney e) Giá trị kiểm định: U A  n A n B  n A (n A  1) n (n  1)  R A ;U B  n A n B  B B  RB 2  U = min{UA ; UB} Nếu nA or nB > 20 (mẫu lớn), xấp xỉ U thành phân phối chuẩn tắc Z sau: THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 14 Kiểm định Mann - Whitney e) Giá trị kiểm định: n A n B n n (n  n  1) - Phương sai giả: 2  A B A B 12 U   U xấp xỉ giá trị kiểm định: Z   - Trung bình giả:   THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 15 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Mann - Whitney f) Quyết định: Giả thuyết không Ho bị bác bỏ khi: • Trường hợp 1: nA nB ≤ 20 (mẫu nhỏ): U ≤ U(α) • Trường hợp 2: nA or nB > 20 (mẫu lớn): │Z│> Z(α) THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 16 Kiểm định Mann - Whitney Ví dụ Nghiên cứu yêu cầu lương khởi điểm sinh viên tốt nghiệp hai trường đại học A B, chọn ngẫu nhiên 12 sinh viên tốt nghiệp để hỏi ý kiến, kết cho bảng phía Dữ liệu phân phối chuẩn Với mức ý nghĩa 5%, so sánh mức lương khởi điểm mong muốn hai trường có khác hay không? THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 17 Kiểm định Mann - Whitney Trường A Trường B 3.0 2.7 2.6 2.8 2.4 THỐNG KÊ SUY DIỄN 2.2 2.9 2.15 2.3 2.2 2.5 2.1 CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 18 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Kruskal - Wallis a) Vai trò Kiểm định biến quan tâm số nhiều tổng thể b) Giả thuyết không Ho X1 = X2 = = Xk; c) Xếp hạng Xếp hạng chung mẫu tính tổng hạng riêng mẫu, kí hiệu Ri Gọi R tổng hạng mẫu, n cỡ mẫu: THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 19 Kiểm định Kruskal - Wallis R = R1  R   R k  n.(n  1) d) Giá trị kiểm định W k 12 R i2  3(n  1)  n.(n  1) i1 n i e) Giá trị tới hạn Phân vị Chi bình phương (2;k 1) f) Quyết định Giả thuyết không Ho bị bác bỏ khi: W > (2;k 1) THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 20 Kiểm định Kruskal - Wallis VD Có điểm trung bình học tập ba nhóm sinh viên bảng sau Giả sử liệu phân phối chuẩn, kết luận điểm học tập trung ba nhóm khác không với mức ý nghĩa 5%? Thời gian Thời gian làm Thời gian làm làm thêm thêm vừa thêm nhiều 6.3 7.2 6.3 7.0 6.6 5.8 6.5 6.1 6.0 6.6 5.8 5.5 7.3 6.8 5.3 6.9 7.1 6.5 6.4 5.9 5.4 6.2 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 21 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Tương đồng kiểm định không tham số với số kiểm định có tham số KIỂM ĐỊNH KHÔNG THAM SỐ Biến kđ phân phối thường (chuẩn) Hai tổng thể mẫu cặp Kiểm định Wilcoxon Hai tổng thể mẫu độc lập Kiểm định Mann – Whitney Nhiều tổng thể Kiểm định Kruskal – Wallis ANOVA Tương quan Kiểm định Spearman Kiểm định Pearman THỐNG KÊ SUY DIỄN THAM SỐ Biến kđ có phân phối thường (chuẩn) Kiểm định hai trung bình tổng thể CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 22 Kiểm định Chi bình phương 5.1 Kiểm định mối liên hệ (sự độc lập) hai yếu tố định tính 5.2 Kiểm định quy luật phân phối xác suất THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 23 5.1 Kiểm định mối liên hệ (sự độc lập) hai yếu tố định tính Giả sử yếu tố X có m giá trị, yếu tố Y có n giá trị Ta gọi: • i số giá trị thứ i yếu tố X  i = 1, 2, …, m; • j số giá trị thứ j yếu tố Y  j = 1, 2, …, n; • Oij tần số mẫu giá trị thứ i yếu tố X giá trị thứ j yếu tố Y; • Ri tần số mẫu giá trị thứ i yếu tố X; • Cj tần số mẫu giá thứ j yếu tố Y THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 24 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 5.1 Kiểm định mối liên hệ (sự độc lập) hai yếu tố định tính n Ta có: R i m Oij ;C j Oij j i a) Giả thuyết không Ho: Không có mối liên hệ hai yếu tố b) Tính tần số tổng thể (lý thuyết): R i C j E ij THỐNG KÊ SUY DIỄN n CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 25 5.1 Kiểm định mối liên hệ (sự độc lập) hai yếu tố định tính c) Từ mức ý nghĩa, tra giá trị tới hạn  phân vị Chi bình phương ; m n d) Giá trị kiểm định: Oij E ij E ij , m.n số hạng e) Quyết định:   THỐNG KÊ SUY DIỄN ;m n : bác bỏ giả thuyết không Ho ;m n : chấp nhận giả thuyết không Ho 2 CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 26 5.1 Kiểm định mối liên hệ (sự độc lập) hai yếu tố định tính Ví dụ Kiểm định mối liên hệ kết học tập thời gian tự học với mẫu ngẫu nhiên 200 sinh viên sau mức ý nghĩa 5%: Thời gian tự học Ít Vừa Nhiều Trung bình 70 25 TB 15 35 10 Khá – Giỏi 10 25 Kết học tập THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 27 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 5.2 Kiểm định quy luật phân phối xác suất a) Giả thuyết không Ho: Biến NN tổng thể có quy luật phân phối xác suất A b) Từ mẫu, tính tham số mẫu làm tham số đặc trưng cho quy luật phân phối c) Tính xác suất lý thuyết pi = P(X = xi), từ suy tần số lý thuyết Ei cho giá trị xi mẫu Nhắc lại công thức tính xác suất quy luật phân phối xác suất thông thường: - Phân phối Nhị thức X ~ B(n;p): n k P(X = k) = Ckn p k p THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 28 5.2 Kiểm định quy luật phân phối xác suất Nhắc lại công thức tính xác suất quy luật phân phối xác suất thông thường: - Phân phối siêu bội X ~ H(N;M;n): CkM CnN kM P(X k) CnN e k - Phân phối Poisson X ~ P( ) : P(X = k) = k! - Phân phối thường (chuẩn) X ~ N( ; ) : P(a < X < b) = (b) (a) , t2 x e dt : hàm Laplace với (x) THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 29 5.1 Kiểm định mối liên hệ (sự độc lập) hai yếu tố định tính d) Từ mức ý nghĩa, tra giá trị tới hạn  phân vị Chi bình phương ; m n k e) Giá trị kiểm định: Oi Ei Ei Oi: tần số giá trị xi i f) Quyết định: + ;m + THỐNG KÊ SUY DIỄN n ;m n : bác bỏ giả thuyết không Ho : chấp nhận giả thuyết không Ho CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 30 10 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 5.2 Kiểm định quy luật phân phối xác suất VD Một nhà quản lý có liệu mẫu số vụ tai nạn công nghiệp tuần sau: Số tai nạn Số tuần 10 20 40 18 Ông ta cho số vụ tai nạn tuân theo luật phân phối Poisson Hãy kiểm định với mức ý nghĩa 5% THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 31 5.2 Kiểm định quy luật phân phối xác suất VD Một liệu mẫu ngẫu nhiên số tiền chi mua sắm khách du lịch quốc tế ngày lưu trú Việt Nam sau: Mức chi (USD) Số người < 30 21 30 – 40 27 40 – 50 26 50 – 60 30 60 – 70 26 ≥ 70 20 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ 32 5.2 Kiểm định quy luật phân phối xác suất Một nhóm nghiên cứu nói số tiền mua sắm du lịch tuân theo quy luật phân phối thường Với mức ý nghĩa 5%, kiểm định ý kiến THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 33 11 ... KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo 21 THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Tương đồng kiểm định không tham số với số kiểm định có tham số KIỂM ĐỊNH KHÔNG THAM SỐ Biến... Zα/2 ; Một phía: Zα THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon e) Giá trị kiểm định: W = min{R+;R–}... ưa chuộng không? THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Nguyễn Hoàng Tuấn soạn thảo THỐNG KÊ SUY DIỄN CHƯƠNG KIỂM ĐỊNH KHÔNG THAM SỐ Kiểm định Wilcoxon VD2 Một công ty sản xuất dầu gội