KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Bộ môn Tóan Khoa Công nghệ thông tin

CHƯƠNG 5 KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Bộ mơn Tốn Khoa Cơng nghệ thơng tin -VNUA Năm học 2017 – 2018 Bài giảng Xác suất Thống kê 2017 NỘI DUNG 1.  Các định nghĩa 2.  Kiểm định giả thuyết tham số -  Kiểm định giá trị kỳ vọng -  Kiểm định giá trị xác suất -  So sánh hai giá trị kỳ vọng -  So sánh hai giá trị xác suất Kiểm định giả thuyết phi tham số: -  Kiểm định phân bố xác suất -  Kiểm định độc lập hai đặc tính Bài giảng Xác suất Thống kê 2017 Vấn đề Ví dụ: Năng suất lúa trung bình vụ xuân năm 2015 huyện Quỳnh Phụ - Thái Bình 2,3 tạ/sào Điều tra suất 100 Quỳnh Phụ vụ xuân 2016 ta trung bình mẫu 2,5 tạ/sào độ lệch chuẩn mẫu 0,15 tạ/sào Hỏi ta kết luận suất trung bình vụ xuân 2016 cao vụ xuân 2015 hay không? Vấn đề: Xét giả thuyết nghiên cứu: “ µ > 2, ”, µ suất trung bình vụ xuân 2016 huyện Quỳnh Phụ Dựa vào mẫu quan sát, ta cần đưa định chấp nhận hay bác bỏ giả thuyết Bài giảng Xác suất Thống kê 2017 Cách giải quyết Bước 1: Xây dựng giả thuyết không (đảo) trái với giả thuyết nghiên cứu, kí hiệu H , gọi tắt giả thuyết Ví dụ: H : µ ≤ 2, (năng suất trung bình vụ xuân 2016 không cao vụ xuân 2015) Giả thuyết nghiên cứu gọi đối thuyết, kí hiệu H1 Bước 2: Xây dựng quy tắc kiểm định để dựa vào mẫu quan sát (bằng chứng), ta bác bỏ H (chấp nhận H1 ) chấp nhận H (bác bỏ H1 ) Bài giảng Xác suất Thống kê 2017 Giả thuyết – Đối thuyết Bài tốn tổng qt: Ta quan sát đặc tính X tổng thể Giả sử biến X có phân bố F ( x, θ ) ( θ giá trị không biết) Ta cần kiểm định giả thuyết tham số θ phân bố F Bước 1: Xây dựng cặp giả thuyết – đối thuyết Giả thuyết H : Giả thuyết trái với giả thuyết nghiên cứu Đối thuyết H1 : giả thuyết nghiên cứu Bước 2: Xây dựng quy tắc kiểm định để dựa vào mẫu quan sát (bằng chứng), ta bác bỏ H (chấp nhận H1 ) chấp nhận H (bác bỏ H1) Bài giảng Xác suất Thống kê 2017 Sai lầm loại I và sai lầm loại II H0 đúng (H1 sai) H0 sai (H1 đúng) Bác bỏ H0 (chấp nhận H1) Sai lầm loại I ( ) α quyết định đúng (1 - ) β Chấp nhận H0 (bác bỏ H1) Quyết định đúng Sai lầm loại II ( ) β Xác suất sai lầm loại I = P(bác bỏ H0| H0 đúng) = P(chấp nhận H1| H1 sai) = α Xác suất sai lầm loại II = P(chấp nhận H0| H0 sai) = P(bác bỏ H1| H1 đúng) = β Bài giảng Xác suất Thống kê 2017 Sai lầm loại I và loại II Ví dụ: Một cơng ty dược đưa loại thuốc nói thuốc tốt cho bênh nhân mắc bệnh A Thí nghiệm lâm sàng số bệnh nhân mắc bệnh A để kiểm định giả thuyết Giả thuyết H : Thuốc nguy hiểm Đối thuyết H1 : Thuốc tốt α = P(bác bỏ H0 | H0 đúng) = P(kết luận thuốc tốt thuốc nguy hiểm) β = P(bác bỏ H1| H1 đúng) = P( kết luận thuốc nguy hiểm thuốc tốt) Bài giảng Xác suất Thống kê 2017 Sai lầm loại I và sai lầm loại II H0 đúng (H1 sai) H0 sai (H1 đúng) Bác bỏ H0 (chấp nhận H1) Sai lầm loại I ( ) α quyết định đúng (1 - ) β Chấp nhận H0 (bác bỏ H1) Quyết định đúng Sai lầm loại II ( ) β Kiểm định mức ý nghĩa (significance test): xây dựng quy tắc kiểm định để xác suất sai lầm loại I, α ≤ số cho trước (gọi mức ý nghĩa, thường xét α = 5%, 1%, …) Lực lượng kiểm định (power of test) = P(chấp nhận H1| H1 đúng) =1- β Bài giảng Xác suất Thống kê 2017 Kiểm định giả thuyết tham số Kiểm định tổng thể: -  Kiểm định giá trị trung bình phân phối chuẩn -  Kiểm định giá trị tỷ lệ tổng thể Kiểm định hai tổng thể: -  So sánh hai giá trị trung bình hai tổng thể -  So sánh hai giá trị tỷ lệ hai tổng thể Bài giảng Xác suất Thống kê 2017 Kiểm định giá trị trung bình của phân phối chuẩn Bài tốn: Quan sát biến X tổng thể có phân bố chuẩn N( µ;σ ) Ta xét cặp giả thuyết – đối thuyết sau mức ý nghĩa α : - Đối thuyết phía bên phải H : µ = µ0 vs H1 : µ > µ0 - Đối thuyết phía bên trái H : µ = µ0 vs H : µ < µ - Đối thuyết phía H : µ = µ0 vs H : µ ≠ µ Chú ý: Ta xét trường hợp giả thuyết đơn: H : µ = µ0 Bài giảng Xác suất Thống kê 2017 10 KIỂM ĐỊNH GIẢ THIẾT VỀ PHÂN BỐ XÁC SUẤT RỜI RẠC Mức ý nghĩa α Với mẫu cụ thể, Xi nhận giá trị ni, ta tính Nếu (ni − npi ) χ =∑ npi i =1 2 χ > χ α : bác bỏ H0, chấp nhận H1 2 χ ≤ χ α : chưa có sở bác bỏ H0, Nếu chấp nhận H0 k KIỂM ĐỊNH GIẢ THIẾT VỀ PHÂN BỐ XÁC SUẤT RỜI RẠC Ví dụ Sản phẩm nhà máy sản xuất đóng thành hộp Mỗi hộp có 12 sản phẩm gồm loại: loại I loại II Theo báo cáo nhà máy tỷ lệ hộp có 12 sản phẩm loại I 60% Tỷ lệ hộp có 11 sản phẩm loại I 25% Tỷ lệ hộp có 10 sản phẩm loại I 10% Tỷ lệ hộp có số sản phẩm loại I 10 5% KIỂM ĐỊNH GIẢ THIẾT VỀ PHÂN BỐ XÁC SUẤT RỜI RẠC Chọn ngẫu nhiên 1000 hộp nhà máy sản xuất thấy có 585 hộp có 12 sản phẩm loại I; 256 hộp có 11 sản phẩm loại I; 97 hộp có 10 sản phẩm loại I ; 52 hộp có sản phẩm loại I 10 hộp có sản phẩm loại I Có thể chấp nhận báo cáo nhà máy hay khơng? Tính giá trị tiêu chuẩn kiểm định đưa kết luận với mức ý nghĩa 5% KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP o  o  o  Xét phép thử τ có h×k kết cục biểu diễn A i ∩ B j (i = 1, 2, …, h;j = 1, 2, …, k) A1, A2, …, Ah hệ đầy đủ biến cố xung khắc đơi, cịn B1, B2, …, Bk hệ đầy đủ biến cố xung khắc đôi khác A1, A2, …, Ah biểu thị mức độ (hay xếp loại) dấu hiệu A B1, B2, …, Bk biểu thị mức độ (hay xếp loại) dấu hiệu B KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP o  Ta nói A B độc lập P(A i ∩ B j ) = P(A i )P(B j ) o  ∀i, j Ta cần kiểm định giả thiết H0: A B độc lập H1: A B không độc lập o  Tiến hành phép thử độc lập τ n lần cách KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP o  Gọi Xij số lần biến cố A i ∩ B j xảy n phép thử o  k Số lần biến cố Ai xảy M i = ∑ Xij j= h o  Số lần biến cố Bj xảy N j = ∑ X ij k h ∑∑ X j= i = ij =n h ∑M i =1 i =n i =1 k ∑N j=1 j =n KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP o  Nếu H0 đúng, P( Ai ∩ B j ) = P( Ai ) P( B j ) ∀i,j o  Mức ý nghĩa α o  Với mẫu cụ thể, Xij nhận giá trị nij (i = 1, 2, …, h ; j = 1, 2, …, k) o  o  o  KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP Ước lượng P(Ai) M i n Nj Ước lượng P(Bj) n Khi n lớn, đại lượng ngẫu nhiên ⎛ Mi N j ⎞ Xij − n ⎟ k h ⎜ n n ⎠ ⎝ ∑∑ Mi N j j= i = n n n có phân phối xấp xỉ phân phối Khi – bình phương với (h – 1)(k – 1) bậc tự KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP B A A1 B1 B2 … Bk Tổng n11 n12 … n1k m1 A2 n21 n22 … bình phương chia n2k m2 … … … … … …chia Ah nh1 nh2 … nhk mh Tổng n1 n2 … nk n KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP o  Ta tính ⎛ mi n j ⎞ n − n ⎟ k h ⎜ ij k h ⎛ ⎞ n n n ij ⎝ ⎠ χ = ∑∑ = n ⎜ ∑∑ − 1⎟ ⎜ j=1 i =1 m n ⎟ mi n j j= i = i j ⎝ ⎠ n n n o  Nếu o  Nếu χ > χα 2 χ ≤ χα chấp nhận H0 : bác bỏ H0, chấp nhận H1 : chưa có sở bác bỏ H0, KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP Ví dụ Để nghiên cứu xem quy mơ cơng ty có ảnh hưởng đến hiệu quảng cáo khách hàng hay không, người ta tiến hành vấn 400 khách hàng thu kết sau: KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP Quy mô công ty Hiệu quảng cáo Mạnh Vừa phải Yếu Nhỏ vừa 72 36 30 Lớn 83 109 70 Với mức ý nghĩa 5%, cho quy mơ cơng ty có ảnh hưởng đến hiệu quảng cáo khách hàng hay không? KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP Ta cần kiểm định giả thiết o  o  H0: Quy mô công ty không ảnh hưởng đến hiệu quảng cáo khách hàng (độc lập) H1: Quy mô cơng ty có ảnh hưởng đến hiệu quảng cáo khách hàng (không độc lập) KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP Mạnh Vừa phải Yếu Tổng Nhỏ vừa 72 36 30 138 Lớn 83 109 70 262 Tổng 155 145 100 400 KIỂM ĐỊNH GIẢ THIẾT VỀ TÍNH ĐỘC LẬP Từ ta tính được: k h ⎛ ⎞ n ij χ = n ⎜ ∑∑ − ⎟ = 16, 6969 ⎜ j=1 i =1 m n ⎟ i j ⎝ ⎠ 2 χ > χ Vì 0,05; = 5,991 nên ta bác bỏ H0 Quy mô cơng ty có ảnh hưởng đến hiệu quảng cáo khách hàng