kiểm định giả thuyết thống kê

Nội dung KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Bài giảng hơm trình bày vấn đề sau: Bài toán kiểm định giả thuyết thống kê Kiểm định giả thuyết cho trường hợp mẫu Nguyễn Văn Thìn Kiểm định giả thuyết cho trường hợp hai mẫu độc lập BỘ MƠN THỐNG KÊ TỐN HỌC KHOA TỐN - TIN HỌC Kiểm định giả thuyết cho trường hợp hai mẫu không độc lập Kiểm định giả thuyết phân phối ĐẠI HỌC KHOA HỌC TỰ NHIÊN TP.HCM Kiểm định giả thuyết tính độc lập Tháng năm 2014 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 / 93 Bài tốn kiểm định giả thuyết thống kê Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 / 93 Định nghĩa Những nội dung Định nghĩa Giả thuyết thống kê phát biểu tham số, quy luật phân phối, tính độc lập đại lượng ngẫu nhiên Việc tìm kết luận để bác bỏ hay chấp nhận giả thuyết gọi kiểm định giả thuyết thống kê Định nghĩa giả thuyết thống kê Giả thuyết không đối thuyết Cách đặt giả thuyết Ví dụ Miền bác bỏ - Tiêu chuẩn kiểm định Giám đốc nhà máy sản xuất bo mạch chủ máy vi tính tuyên bố tuổi thọ trung bình bo mạch chủ nhà máy sản xuất năm; giả thuyết kỳ vọng biến ngẫu nhiên X = tuổi thọ bo mạch chủ Để đưa kết luận chấp nhận hay bác bỏ giả thuyết trên, ta cần dựa vào mẫu điều tra quy tắc kiểm định thống kê Sai lầm loại I loại II p - giá trị Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 / 93 Giả thuyết không đối thuyết Giả thuyết không đối thuyết Định nghĩa Ví dụ Trong tốn kiểm định giả thuyết, giả thuyết cần kiểm định gọi Giả thuyết không (null hypothesis), ký hiệu H0 Mệnh đề đối lập với H0 gọi đối thuyết (alternative hypothesis), ký hiệu H1 H0 : µ = H1 : µ = Xét tốn kiểm định tham số, giả sử ta quan trắc mẫu ngẫu nhiên (X1 , , Xn ) từ biến ngẫu nhiên X có hàm mật độ xác suất f (x; θ) phụ thuộc vào tham số θ Gọi Θ không gian tham số, Θ0 Θc0 hai tập rời Θ cho Θ0 ∪ Θc0 = Θ Giả thuyết (giả thuyết không) đối thuyết tốn có dạng sau H0 : θ ∈ Θ0 H1 : θ ∈ Θc0 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ (1) Tháng năm 2014 Gọi µ độ thay đổi trung bình huyết áp bệnh nhân (BN) sau dùng thuốc; bác sĩ điều trị cần quan tâm đến giả thuyết sau / 93 Cách đặt giả thuyết Khơng có ảnh hưởng thuốc lên huyết áp BN Có ảnh hưởng thuốc lên huyết áp BN Một khách hàng quan tâm đến tỷ lệ sản phẩm chất lượng lô hàng mua nhà cung cấp Giả sử tỷ lệ sản phấm tối đa phép 5% Khách hàng cần quan tâm đến giả thuyết sau H0 : p ≥ 0.05 H1 : p < 0.05 Tỷ lệ sản phẩm cao mức cho phép Tỷ lệ sản phẩm mức chấp nhận Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 / 93 Cách đặt giả thuyết Tổng quát, toán kiểm định giả thuyết cho tham số θ có dạng (θ0 giá trị kiểm định biết): Hai phía: H0 : θ = θ0 H1 : θ = θ0 Giả thuyết đặt với ý đồ bác bỏ nó, nghĩa giả thuyết đặt ngược lại với điều ta muốn chứng minh, muốn thuyết phục Giả thuyết đặt cho chấp nhận hay bác bỏ có tác dụng trả lời tốn thực tế đặt Giả thuyết đặt cho ta xác định quy luật phân phối xác suất đại lượng ngẫu nhiên chọn làm tiêu chuẩn kiểm định Khi đặt giả thuyết, ta thường so sánh chưa biết với biết Cái chưa biết điều mà ta cần kiểm định, kiểm tra, làm rõ "Cái biết" thông tin khứ, định mức kinh tế, kỹ thuật Giả thuyết H0 đặt thường mang ý nghĩa: "không khác nhau" "khác khơng có ý nghĩa" "bằng nhau" Một phía bên trái: H0 : θ ≥ θ0 H1 : θ < θ0 Một phía bên phải: H0 : θ ≤ θ0 H1 : θ > θ0 Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 / 93 Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 / 93 Miền bác bỏ - Tiêu chuẩn kiểm định Miền bác bỏ - Tiêu chuẩn kiểm định Định nghĩa Xét toán kiểm định giả thuyết có giả thuyết H0 đối thuyết H1 Giả sử H0 đúng, từ mẫu ngẫu nhiên X = (X1 , , Xn ) chọn hàm Z = h(X1 , , Xn ; θ0 ) cho với số α > bé tùy ý ta tìm tập hợp Wα thỏa điều kiện P (Z ∈ Wα ) = α (2) Nếu z ∈ Wα ta bác bỏ giả thuyết H0 Tập hợp Wα gọi miền bác bỏ giả thuyết H0 phần bù Wαc gọi miền chấp nhận giả thuyết H0 Đại lượng ngẫu nhiên Z = h(X1 , , Xn ; θ0 ) gọi tiêu chuẩn kiểm định giả thuyết H0 Giá trị α gọi mức ý nghĩa toán kiểm định Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Thực quan trắc dựa mẫu ngẫu nhiên (X1 , , Xn ) ta thu mẫu thực nghiệm (x1 , , xn ) Từ mẫu thực nghiệm này, ta tính giá trị Z z = h(x1 , , xn ; θ0 ) Tháng năm 2014 / 93 Sai lầm loại I loại II Nếu z ∈ Wαc ta kết luận chưa đủ sở để bác bỏ H0 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 10 / 93 Sai lầm loại I loại II Trong toán kiểm định giả thuyết thống kê, ta mắc phải sai lầm sau a Sai lầm loại I: sai lầm mắc phải ta bác bỏ H0 thực tế giả thuyết H0 Sai lầm loại I ký hiệu α, mức ý nghĩa kiểm định α = P (Wα |H0 ) (3) Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Không bác bỏ H0 Bác bỏ H0 b Sai lầm loại II: sai lầm mắc phải ta chấp nhận giả thuyết H0 thực tế H0 sai Sai lầm loại II ký hiệu β β = P (Wαc |H1 ) ❳❳❳ ❳❳❳ Thực tế ❳ Quyết định ❳❳❳❳❳ H0 H0 sai Không có sai lầm (1 − α) Sai lầm loại I α Sai lầm loại II β Khơng có sai lầm (1 − β) (4) Tháng năm 2014 11 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 12 / 93 Sai lầm loại I loại II Sai lầm loại I loại II Tức là, Ví dụ Khảo sát tốc độ cháy loại nhiên liệu rắn dùng để đẩy tên lửa khỏi giàn phóng Giả sử biến ngẫu nhiên X = tốc độ cháy nhiên liệu (cm/s) có phân phối chuẩn với kỳ vọng µ độ lệch chuẩn σ = 2.5 Ta cần kiểm định giả thuyết H0 : µ = 50 H1 : µ = 50 Giả sử bác bỏ H0 khi: x¯ < 48.5 x¯ > 51.5 Các giá trị 48.5 51.5 gọi giá trị tới hạn (critical value) Giả sử khảo sát mẫu ngẫu nhiên cỡ n = 10, ta tìm xác suất sai lầm loại I ¯ < 48.5|µ = 50) + P(X ¯ > 51.5|µ = 50) α = P(X ¯ − 50 ¯ − 50 X 48.5 − 50 51.5 − 50 X √ < √ √ < √ =P +P 2.5/ 10 2.5/ 10 2.5/ 10 2.5/ 10 = P(Z < −1.90) + P(Z > 1.90) = 0.0287 + 0.0287 = 0.0574 nghĩa có 5.74% số mẫu ngẫu nhiên khảo sát dẫn đến kết luận bác bỏ giả thuyết H0 : µ = 50 (cm/s) tốc độ cháy trung bình thực 50 (cm/s) Ta giảm sai lầm α cách mở rộng miền chấp nhận Giả sử với cỡ mẫu n = 10, miền chấp nhận 48 ≤ x¯ ≤ 52, giá trị α 52 − 50 48 − 50 √ √ +P Z > 2.5/ 10 2.5/ 10 = 0.0057 + 0.0057 = 0.0114 α=P Z < α = P(Bác bỏ H0 H0 đúng) Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 13 / 93 Sai lầm loại I loại II Tháng năm 2014 14 / 93 Sai lầm loại I loại II Cách thứ hai để giảm √ α tăng cỡ mẫu khảo sát, giả sử cỡ mẫu n = 16, √ ta có σ/ n = 2.5/ 16 = 0.625, với miền bác bỏ x¯ < 48.5 x¯ > 51.5, ta có ¯ < 48.5|µ = 50) + P(X ¯ > 51.5|µ = 50) α = P(X 48.5 − 50 51.5 +P Z > 0.625 0.625 = 0.0082 + 0.0082 = 0.0164 =P Z < Giả sử với cỡ mẫu n = 10, miền chấp nhận giả thuyết H0 ¯ ≤ 51.5 giá trị thực µ = 52 Sai lầm β cho 48.5 ≤ X ¯ ≤ 51.5|µ = 52) β = P(48.5 ≤ X ¯ − 52 48.5 − 52 X 51.5 − 52 √ √ ≤ √ =P ≤ 2.5/ 10 2.5/ 10 2.5/ 10 = P(−4.43 ≤ Z ≤ −0.63) = P(Z ≤ −0.63) − P(Z ≤ −4.43) = 0.2643 − 0.0000 = 0.2643 Giả sử giá trị thực µ = 50.5, Xác suất sai lầm loại II β tính sau β = P(Khơng bác bỏ H0 H0 sai) Để tính β, ta cần giá trị cụ thể cho tham số đối thuyết H1 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 15 / 93 ¯ ≤ 51.5|µ = 50.5) β = P(48.5 ≤ X ¯ − 50.5 48.5 − 50.5 X 51.5 − 50.5 √ √ ≤ √ =P ≤ 2.5/ 10 2.5/ 10 2.5/ 10 = P(−2.53 ≤ Z ≤ 1.27) = 0.8980 − 0.0057 = 0.8923 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 16 / 93 Sai lầm loại I loại II Sai lầm loại I loại II - Nhận xét Tương tự α, tăng cỡ mẫu làm giảm sai lầm β, với cỡ mẫu n = 16 ¯ < 52, ta tính β = 0.229 miền chấp nhận 48 < X Bảng tổng kết sai lầm lầm loại I loại II với miền chấp nhận cỡ mẫu khác Miền chấp nhận 48.5 < x¯ < 51.5 48 < x¯ < 52 48.5 < x¯ < 51.5 48 < x¯ < 52 n 10 10 16 16 α 0.0574 0.0114 0.0164 0.0014 β với µ = 52 0.2643 0.5000 0.2119 0.5000 β với µ = 50.5 0.8923 0.9705 0.9445 0.9918 Bảng: Sai lầm loại I loại II Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 17 / 93 p - giá trị (p - value) Ta giảm kích thước miền bác bỏ (tương ứng tăng kích thước miền chấp nhận), xác suất sai lầm loại I α cách chọn điểm tới hạn thích hợp Xác suất sai lầm loại I loại II có liên quan với Với cỡ mẫu cố định, việc giảm sai lầm loại làm tăng sai lầm loại Cố định điểm tới hạn, tăng cỡ mẫu n làm giảm xác suất sai lầm loại I α loại II β Nếu H0 sai, sai lầm β tăng giá trị thực tham số tiến gần đến giá trị phát biểu giả thuyết H0 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 18 / 93 Kiểm định giả thuyết cho trường hợp mẫu Nội dung Định nghĩa Tương ứng với giá trị thống kê kiểm định tính mẫu giá trị quan trắc xác định, p - giá trị mức ý nghĩa nhỏ dùng để bác bỏ giả thuyết H0 Kiểm định giả thuyết cho kỳ vọng Dựa vào đối thuyết H1 , bước tính p-giá trị sau: Xác định thống kê kiểm định: TS Tính giá trị thống kê kiểm định dựa mẫu (x1 , , xn ), giả sử a p-giá trị cho   P(|TS| > |a||H0 ), kiểm định hai phía p = P(TS < a|H0 ), kiểm định phía - bên trái   P(TS > a|H0 ), kiểm định phía - bên phải Trường hợp biết phương sai, Trường hợp phương sai, mẫu nhỏ, Trường hợp phương sai, mẫu lớn Kiểm định giả thuyết cho tỷ lệ (5) Kết luận: Bác bỏ giả thuyết H0 p-giá trị ≤ α Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 19 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 20 / 93 Kiểm định giả thuyết cho kỳ vọng TH biết σ Kiểm định giả thuyết cho kỳ vọng TH biết σ • Các giả định: Các bước kiểm định Mẫu ngẫu nhiên X1 , , Xn chọn từ tổng thể có phân phối chuẩn N(µ, σ ) với kỳ vọng µ chưa biết Phương sai σ biết Phát biểu giả thuyết khơng đối thuyết Cho trước giá trị µ0 , cần so sánh kỳ vọng µ với µ0 Xác định mức ý nghĩa α Lấy mẫu ngẫu nhiên cỡ n: X1 , , Xn tính thống kê kiểm định • Bài tốn kiểm định có trường hợp: H0 : µ = µ0 (a) H1 : µ = µ0 H0 : µ = µ (b) H1 : µ < µ0 H0 : µ = µ0 (c) H1 : µ > µ0 Z0 = với mức ý nghĩa α cho trước Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 21 / 93 Kiểm định giả thuyết cho kỳ vọng TH biết σ Giả thuyết H0 : µ = µ H1 : µ = µ H0 : µ = µ H1 : µ < µ0 H0 : µ = µ H1 : µ > µ0 (6) Xác định miền bác bỏ Wα : bảng Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 22 / 93 Kiểm định giả thuyết cho kỳ vọng TH biết σ • Sử dụng p-giá trị (p - value): tính p-giá trị dựa theo đối thuyết kết luận bác bỏ H0 p -giá trị ≤ α, với mức ý nghĩa α cho trước Cơng thức tính p - giá trị theo trường hợp xem bảng Miền bác bỏ Wα = z0 : |z0 | > z1−α/2 Giả thuyết H0 : µ = µ H1 : µ = µ H0 : µ = µ H1 : µ < µ0 H0 : µ = µ H1 : µ > µ0 Wα = z0 : z0 < −z1−α Wα = z0 : z0 > z1−α Bảng: Miền bác bỏ với đối thuyết tương ứng p - giá trị p = [1 − Φ(|z0 |)] p = Φ(z0 ) p = − Φ(z0 ) Bảng: p-giá trị với đối thuyết tương ứng Kết luận: Bác bỏ H0 / Chưa đủ sở để bác bỏ H0 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ ¯ − µ0 X √ σ/ n Tháng năm 2014 23 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 24 / 93 Kiểm định giả thuyết cho kỳ vọng TH biết σ Kiểm định giả thuyết cho kỳ vọng TH biết σ Ví dụ (Kiểm định phía) Gọi X trọng lượng tuýt kem đánh răng, giả sử X ∼ N(µ, 0.22 ) Các bước kiểm định sau: Dây chuyền sản xuất kem đánh P/S thiết kế để đóng hộp tuýt kem có trọng lượng trung bình oz (1 oz = 28g) Một mẫu gồm 30 tuýt kem chọn ngẫu nhiên để kiểm tra định kỳ Bộ phận điều khiển dây chuyền phải đảm bảo để trọng lượng trung bình tuýt kem oz; nhiều hơn, dây chuyền phải điều chỉnh lại Giả sử trung bình mẫu 30 tuýt kem 6.1 oz độ lệch tiêu chuẩn tổng thể σ = 0.2 oz Thực kiểm định giả thuyết với mức ý nghĩa 3% để xác định xem dây chuyền sản xuất có vận hành tốt hay khơng? H0 : µ = H1 : µ = Xác định mức ý nghĩa: α = 0.03 Tính giá trị thống kê kiểm định z0 = Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 25 / 93 Kiểm định giả thuyết cho kỳ vọng TH biết σ Phát biểu giả thuyết: x¯ − µ0 6.1 − 6.0 √ = √ = 2.74 σ/ n 0.2/ 30 Xác định miền bác bỏ: Bác bỏ H0 |z0 | > z1−α/2 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 26 / 93 Kiểm định giả thuyết cho kỳ vọng TH biết σ α = 3% nên z1−α/2 = z0.985 = 2.17 Vậy bác bỏ H0 Ví dụ (Kiểm định phía) z0 < −2.17 z0 > 2.17 Kết luận: z0 = 2.74 > 2.17 nên bác bỏ H0 Ta kết luận với 97% độ tin cậy trọng lượng trung bình tuýt kem khơng • Sử dụng p - giá trị: 4a Tính p-giá trị, tốn kiểm định hai phía p = 2[1 − Φ(|z0 |)] = 2[1 − Φ(2.74)] = 2[1 − 0.9969] = 0.0062 5a Kết luận: với α = 0.03, ta có p = 0.0062 < 0.03 nên bác bỏ H0 Ta kết luận với 97% độ tin cậy trọng lượng trung bình tt kem khơng Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 27 / 93 Metro EMS: Một bệnh viện trung tâm thành phố cung cấp dịch vụ cấp cứu nhà Với khoảng 20 xe cấp cứu, mục tiêu trung tâm cung cấp dịch vụ cấp cứu khoảng thời gian trung bình 12 phút sau nhận điện thoại yêu cầu Một mẫu ngẫu nhiên gồm thời gian đáp ứng có yêu cầu 40 ca cấp cứu chọn Trung bình mẫu 13.25 phút Biết độ lệch tiêu chuẩn tổng thể σ = 3.2 phút Giám đốc EMS muốn thực kiểm định, với mức ý nghĩa 5%, để xác định xem liệu thời gian ca cấp cứu có bé 12 phút hay khơng? Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 28 / 93 Kiểm định giả thuyết cho kỳ vọng TH biết σ Kiểm định giả thuyết cho kỳ vọng TH biết σ Các bước kiểm định: Xác định miền bác bỏ: bác bỏ H0 z0 > z1−α = z0.95 = 1.645 Phát biểu giả thuyết H0 : µ = 12: Thời gian đáp ứng dịch vụ cấp cứu đạt yêu cầu, không cần phải thay đổi Kết luận: z0 = 2.47 > 1.645 nên bác bỏ H0 Ta kết luận với 95% độ tin cậy, Mertro EMS không đáp ứng mục tiêu thời gian phục vụ khách hàng từ 12 phút trở xuống H1 : µ > 12: Thời gian đáp ứng dịch vụ không đạt yêu cầu, cần thay đổi • Sử dụng p - giá trị: 4a Tính p-giá trị, tốn kiểm định phía - bên phải Xác định mức ý nghĩa: α = 0.05 p = − Φ(z0 ) = − Φ(2.47) = − 0.9932 = 0.0068 Tính giá trị thống kê kiểm định z0 = 5a Kết luận: với α = 0.05, ta có p = 0.0068 < 0.05 nên bác bỏ H0 Ta kết luận với 95% độ tin cậy Metro EMS không đáp ứng mục tiêu thời gian phục vụ khách hàng từ 12 phút trở xuống x¯ − 12 13.25 − 12 √ = √ = 2.47 σ/ n 3.2/ 40 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 29 / 93 Kiểm định giả thuyết cho kỳ vọng TH σ , mẫu nhỏ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Các bước kiểm định Mẫu ngẫu nhiên X1 , , Xn chọn từ tổng thể có phân phối chuẩn N(µ, σ ) với kỳ vọng µ phương sai σ Sử dụng ước lượng S thay cho σ Cỡ mẫu nhỏ: n ≤ 30 Phát biểu giả thuyết không đối thuyết Xác định mức ý nghĩa α Lấy mẫu ngẫu nhiên cỡ n: X1 , , Xn tính thống kê kiểm định • Bài tốn kiểm định có trường hợp: H0 : µ = µ0 H1 : µ = µ0 30 / 93 Kiểm định giả thuyết cho kỳ vọng TH σ , mẫu nhỏ • Các giả định: (a) Tháng năm 2014 (b) H0 : µ = µ H1 : µ < µ0 (c) T0 = H0 : µ = µ0 H1 : µ > µ0 ¯ − µ0 X √ S/ n (7) Biến ngẫu nhiên T0 có phân phối Student với n − bậc tự với mức ý nghĩa α cho trước Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 31 / 93 Xác định miền bác bỏ Wα : bảng Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 32 / 93 Kiểm định giả thuyết cho kỳ vọng TH σ , mẫu nhỏ Giả thuyết H0 : µ = µ H1 : µ = µ H0 : µ = µ H1 : µ < µ0 H0 : µ = µ H1 : µ > µ0 Kiểm định giả thuyết cho kỳ vọng TH σ , mẫu nhỏ • Sử dụng p-giá trị (p - value): tính p-giá trị dựa theo đối thuyết kết luận bác bỏ H0 p -giá trị ≤ α, với mức ý nghĩa α cho trước Cơng thức tính p - giá trị theo trường hợp xem bảng Miền bác bỏ n−1 Wα = t0 : |t0 | > t1−α/2 Giả thuyết H0 : µ = µ H1 : µ = µ H0 : µ = µ H1 : µ < µ0 H0 : µ = µ H1 : µ > µ0 n−1 Wα = t0 : t0 < −t1−α Wα = t0 : t0 > n−1 t1−α Bảng: Miền bác bỏ với đối thuyết tương ứng (trường hợp mẫu nhỏ) p = 2P(Tn−1 ≥ |t0 |) p = P(Tn−1 ≤ t0 p = P(Tn−1 ≥ t0 ) Bảng: p-giá trị với đối thuyết tương ứng (trường hợp mẫu nhỏ) Kết luận: Bác bỏ H0 / Chưa đủ sở để bác bỏ H0 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ p - giá trị Tháng năm 2014 33 / 93 Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Kiểm định giả thuyết cho kỳ vọng TH σ , mẫu lớn Kiểm định giả thuyết cho kỳ vọng TH khơng biết σ • Các giả định: Ví dụ Mẫu ngẫu nhiên X1 , , Xn chọn từ tổng thể có kỳ vọng µ phương sai σ khơng biết Sử dụng ước lượng không chệch S thay cho σ Cỡ mẫu lớn: n > 30 • Khi cỡ mẫu lớn biến ngẫu nhiên ¯ − µ0 X √ Z0 = S/ n (8) hội tụ phân phối chuẩn hóa Z ∼ N(0, 1) Khi miền bác bỏ Wα p-giá trị tính tương tự trường hợp biết phương sai, ¯ − µ0 X √ Z0 phương trình (8) thay σ/ n Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 35 / 93 Tháng năm 2014 34 / 93 Trạm cảnh sát giao thông đường cao tốc thực việc bắn tốc độ định kỳ địa điểm khác để kiểm tra tốc độ phương tiện giao thông Một mẫu tốc độ loại xe chọn để thực kiểm định giả thuyết sau H0 : µ = 65 H1 : µ > 65 Những vị trí mà bác bỏ H0 vị trí tốt chọn để đặt radar kiểm soát tốc độ Tại địa điểm F, mẫu gồm tốc độ 64 phương tiện bắn tốc độ ngẫu nhiên có trung bình 66.2 mph độ lệch tiêu chuẩn 4.2 mph Sử dụng α = 5% để kiểm định giả thuyết Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 36 / 93 Kiểm định giả thuyết cho kỳ vọng TH σ Kiểm định giả thuyết cho kỳ vọng TH σ • Các bước kiểm định: Kết luận: z0 = 2.286 > 1.645 nên bác bỏ H0 , ta kết luận với 95% độ tin cậy tốc độ trung bình địa điểm F lớn 65 mph Địa điểm F địa điểm tốt để đặt radar kiểm soát tốc độ Phát biểu giả thuyết: H0 : µ = 65 H1 : µ > 65 • Sử dụng p-giá trị: Xác định mức ý nghĩa: α = 0.05 Tính giá trị thống kê kiểm định σ cỡ mẫu n = 64 (lớn) x¯ − µ0 66.2 − 65 √ = √ z0 = = 2.286 s/ n 4.2/ 64 4a Tính p-giá trị: Với z0 = 2.286, p = − Φ(z0 ) = − Φ(2.286) = 0.0111 5a Kết luận: p = 0.0111 < 0.05 nên bác bỏ H0 , ta kết luận với 95% độ tin cậy tốc độ trung bình địa điểm F lớn 65 mph Địa điểm F địa điểm tốt để đặt radar kiểm soát tốc độ Xác định miền bác bỏ: Bác bỏ H0 z0 > z1−α = z0.95 = 1.645 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 37 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 38 / 93 Kiểm định giả thuyết cho tỷ lệ Kiểm định giả thuyết cho tỷ lệ • Bài tốn: • Quan sát xuất biến cố "phần tử mang đặc tính A" n phép thử độc lập Gọi Y số lần xuất biến cố Y ∼ B(n, p) Và ˆ=Y P n Cho tổng thể X , tỷ lệ phần tử mang đặc tính A tổng thể p (p chưa biết) Từ mẫu ngẫu nhiên (X1 , X2 , , Xn ) kiểm định H0 : p = p0 (a) H1 : p = p0 H0 : p = p (b) H1 : p < p ước lượng không chệch cho p H0 : p = p0 (c) H1 : p > p0 • Nếu H0 đúng, thống kê với mức ý nghĩa α Z0 = • Giả định: Cỡ mẫu n lớn; để phân phối chuẩn xấp xỉ phân phối nhị thức tốt cần có np0 ≥ n(1 − p0 ) ≥ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 39 / 93 ˆ − p0 P p0 (1 − p0 ) n có phân phối chuẩn hóa N(0, 1) Chọn Z0 làm tiêu chuẩn kiểm định Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 40 / 93 Kiểm định giả thuyết cho tỷ lệ Kiểm định giả thuyết cho tỷ lệ Giả thuyết H0 : p = p H1 : p = p H0 : p = p H1 : p < p H0 : p = p H1 : p > p Các bước kiểm định Phát biểu giả thuyết đối thuyết Xác định mức ý nghĩa α Tính giá trị thống kê kiểm định Z0 = ˆ − p0 P Miền bác bỏ Wα = z0 : |z0 | > z1−α/2 Wα = z0 : z0 < −z1−α Wα = z0 : z0 > z1−α Bảng: Miền bác bỏ cho toán kiểm định tỷ lệ p0 (1 − p0 ) n Kết luận: Bác bỏ H0 / Chưa đủ sở để bác bỏ H0 Xác định miền bác bỏ: bảng Sử dụng p-giá trị: p-giá trị tính tương tự bảng Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 41 / 93 Kiểm định giả thuyết cho tỷ lệ 42 / 93 Tính giá trị thống kê kiểm định Trong kỳ nghỉ giáng sinh đầu năm mới, Cục An tồn giao thơng thống kê có 500 người chết 25000 người bị thương vụ nạn giao thơng tồn quốc Theo thơng cáo Cục ATGT khoảng 50% số vụ tai nạn có liên quan đến rượu bia Khảo sát ngẫu nhiên 120 vụ tai nạn thấy có 67 vụ ảnh hưởng rượu bia Sử dụng số liệu để kiểm định lời khẳng định Cục An tồn giao thơng với mức ý nghĩa α = 5% Các bước kiểm định: p0 (1 − p0 ) 0.5(1 − 0.5 = = 0.045644 n 120 pˆ − p0 (67/120) − 0.5 z0 = = = 1.28 σpˆ 0.045644 σpˆ = Xác định miền bác bỏ: bác bỏ H0 |z0 | > z0.975 = 1.96 tính p-giá trị p = [(1 − Φ(z0 )] = 2[1 − Φ(1.28)] = 2(1 − 0.8977) = 0.2006 Phát biểu giả thuyết: H0 : p = 0.5 H1 : p = 0.5 Tháng năm 2014 Kiểm định giả thuyết cho tỷ lệ Ví dụ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Kết luận: z0 = 1.28 < 1.96 (hoặc p = 0.2006 > 0.05) nên kết luận chưa đủ sở để bác bỏ giả thuyết H0 Xác định mức ý nghĩa: α = 0.05 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 43 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 44 / 93 Kiểm định giả thuyết cho trường hợp hai mẫu độc lập So sánh hai kỳ vọng, trường hợp biết phương sai Nội dung • Các giả định: X1 , X2 , , Xn mẫu ngẫu nhiên chọn từ tổng thể có phân phối chuẩn với kỳ vọng µ1 phương sai σ12 So sánh hai kỳ vọng Y1 , Y2 , , Ym mẫu ngẫu nhiên chọn từ tổng thể có phân phối chuẩn với kỳ vọng µ2 phương sai σ22 Trường hợp biết phương sai Trường hợp phương sai, mẫu lớn Trường hợp phương sai, mẫu nhỏ Tổng thể (đại diện X Y ) độc lập với Các phương sai σ12 σ22 biết So sánh hai phương sai Trường hợp σ12 = σ22 = σ Trường hợp σ12 = σ22 • Bài toán kiểm định giả thuyết hai mẫu độc lập gồm dạng sau: So sánh hai tỉ lệ (a) H0 : µ − µ = D H1 : µ − µ = D (b) H0 : µ1 − µ2 = D0 H1 : µ1 − µ2 < D0 (c) H0 : µ − µ = D H1 : µ − µ > D với mức ý nghĩa α cho trước Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 45 / 93 So sánh hai kỳ vọng, trường hợp biết phương sai Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 46 / 93 So sánh hai kỳ vọng, trường hợp biết phương sai Các bước kiểm định Miền bác bỏ p-giá trị tương ứng Phát biểu giả thuyết H0 đối thuyết H1 Đối thuyết Miền bác bỏ p - giá trị Xác định mức ý nghĩa α Tính thống kê kiểm định H1 : µ1 − µ2 = D0 H1 : µ1 − µ2 < D0 H1 : µ1 − µ2 > D0 |z0 | > z1−α/2 z0 < −z1−α z0 > z1−α p = 2[1 − Φ(|z0 |)] p = Φ(z0 ) p = − Φ(z0 ) Z0 = ¯ − Y¯ − (µ1 − µ2 ) X (9) σ12 σ22 + n m Kết luận: Nếu bác bỏ H0 , ta kết luận H1 với (1 − α)100% độ tin cậy Ngược lại ta kết luận chưa đủ sở để bác bỏ H0 với α cho trước thống kê Z0 ∼ N(0, 1) Xác định miền bác bỏ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 47 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 48 / 93 So sánh hai kỳ vọng So sánh hai kỳ vọng Ví dụ Một cơng ty sản xuất sơn nghiên cứu loại phụ gia làm giảm thời gian khơ sơn Thực thí nghiệm mẫu: mẫu thứ gồm 10 mẫu vật sơn loại sơn bình thường; mẫu thứ hai gồm 10 mẫu vật sơn với sơn có chất phụ gia Trong nghiên cứu trước, biết độ lệch tiêu chuẩn thời gian khô sau quét sơn phút không thay đổi thêm phụ gia vào Trung bình mẫu x¯ = 121 phút y¯ = 112 phút Với mức ý nghĩa 5%, cho kết luận loại sơn với chất phụ gia Phát biểu giả thuyết đối thuyết H0 : µ1 − µ2 = H1 : µ1 > µ2 Tính giá trị thống kê kiểm định, với x¯ = 121, y¯ = 112 σ1 = σ2 = ta có z0 = x¯ − y¯ − σ12 σ22 + n m = 121 − 112 82 82 + 10 10 = 2.52 Xác định miền bác bỏ: bác bỏ H0 z0 > z1−α = z0.95 = 1.65 Kết luận: Ta có z0 = 2.52 > 165 nên bác bỏ H0 Ta kết luận với 95% độ tin cậy, chất phụ gia có hiệu làm giảm thời gian khơ sau sơn 5a Sử dụng p - giá trị: ta có p = − Φ(z0 ) = − Φ(2.52) = 0.0059 < 0.05 nên bác bỏ H0 chất phụ gia khơng có hiệu chất phụ gia có hiệu Mức ý nghĩa: α = 0.05 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 49 / 93 So sánh hai kỳ vọng, trường hợp phương sai, mẫu lớn Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 50 / 93 So sánh hai kỳ vọng, trường hợp phương sai, mẫu lớn Đối với trường hợp mẫu lớn, phương sai tổng thể σ12 σ22 không biết, ta thay phương sai mẫu S12 S22 mà không tạo nhiều khác biệt • Các giả định: Khi n > 30 m > 30, đại lượng X1 , X2 , , Xn mẫu ngẫu nhiên chọn từ tổng thể có kỳ vọng µ1 phương sai σ12 Z0 = Y1 , Y2 , , Ym mẫu ngẫu nhiên chọn từ tổng thể có kỳ vọng µ2 phương sai σ22 Tổng thể (đại diện X Y ) độc lập với ¯ − Y¯ − (µ1 − µ2 ) X (10) S12 S22 + n m xấp xỉ phân phối chuẩn hóa N(0, 1) Cỡ mẫu lớn: n > 30 m > 30 Miền bác bỏ (hoặc p - giá trị) trường hợp tính tương tự trường hợp biết phương sai (thay σ1 σ2 S1 S2 ) Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 51 / 93 Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 52 / 93 So sánh hai kỳ vọng, trường hợp phương sai, mẫu lớn So sánh hai kỳ vọng, trường hợp phương sai, mẫu nhỏ • Các giả định: X1 , X2 , , Xn mẫu ngẫu nhiên chọn từ tổng thể có phân phối chuẩn với kỳ vọng µ1 phương sai σ12 khơng biết Ví dụ Khảo sát chiều cao sinh viên hai khoa Toán CNTT: chọn ngẫu nhiên 50 sinh viên khoa Tốn, tính chiều cao trung bình 163 (cm) độ lệch tiêu chuẩn (cm) Đo chiều cao 50 khoa CNTT, có trung bình mẫu 166 (cm) độ lệch tiêu chuẩn (cm) Với mức ý nghĩa α = 1%, cho kết luận chiều cao sinh viên hai khoa Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 53 / 93 Y1 , Y2 , , Ym mẫu ngẫu nhiên chọn từ tổng thể có phân phối chuẩn với kỳ vọng µ2 phương sai σ22 Tổng thể (đại diện X Y ) độc lập với Cỡ mẫu nhỏ: n ≤ 30 m ≤ 30 • Ta xét hai trường hợp: Trường hợp phương sai σ12 = σ22 , Trường hợp phương sai khác σ12 = σ22 Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ So sánh hai phương sai So sánh hai phương sai • Giả sử X1 , , Xn Y1 , , Ym hai mẫu ngẫu nhiên chọn từ hai tổng thể độc lập có phân phối chuẩn với kỳ vọng phương sai (µ1 , σ12 ) (µ2 , σ22 ) Ta cần kiểm định giả thuyết • Khi đó, đại lượng H0 : σ12 = σ22 H1 : σ12 = σ22 (11) F = S12 /σ12 S22 /σ22 54 / 93 (13) có phân phối F với (n − 1, m − 1) bậc tự • Xét biến ngẫu nhiên F ∼ F(u, v ) có hàm mật độ xác suất f (x), phân vị mức α F fα,u,v định nghĩa sau • Nếu S12 phương sai mẫu ngẫu nhiên (X1 , , Xn ) ∞ P(F > fα,u,v ) = (n − 1)S12 ∼ χ2 (n − 1) σ12 (12) f (x)dx = α (14) fα,u,v • Phân vị mức − α F cho tương tự, ta có (m − 1)S22 ∼ χ2 (m − 1) σ22 Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 f1−α,u,v = Tháng năm 2014 55 / 93 (15) fα,u,v Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 56 / 93 So sánh hai kỳ vọng, mẫu nhỏ, trường hợp σ12 = σ22 = σ So sánh hai phương sai Các bước kiểm định Phát biểu giả thuyết H0 : σ12 = σ22 đối thuyết H1 : σ12 = σ22 Xác định mức ý nghĩa α Khi H0 đúng, thống kê Trường hơp σ12 = σ22 = σ , ta sử dụng ước lượng chung cho σ12 σ22 Sp2 gọi phương sai mẫu chung (pooled sample variance) Sp2 = F = S12 S22 (16) Xác định miền bác bỏ: bác bỏ H0 F > fα/2,n−1,m−1 F < f1−α/2,n−1,m−1 Kết luận: Nếu bác bỏ H0 , ta kết luận H1 với (1 − α) ∗ 100% độ tin cậy Ngược lại kết luận chưa đủ sở để bác bỏ H0 Tháng năm 2014 (17) Thống kê T0 = có phân phối F với (n − 1, m − 1) bậc tự Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ (n − 1)S12 + (m − 1)S22 n+m−2 ¯ − Y¯ − (µ1 − µ2 ) X 1 Sp + n m (18) có phân phối Student với n + m − bậc tự 57 / 93 So sánh hai kỳ vọng, mẫu nhỏ, trường hợp σ12 = σ22 = σ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 58 / 93 So sánh hai kỳ vọng, mẫu nhỏ, trường hợp σ12 = σ22 Khi σ12 = σ22 , sử dụng thống kê Đặt df = n + m − 2, miền bác bỏ p - giá trị trường hợp có dạng Đối thuyết Miền bác bỏ p - giá trị H1 : µ1 − µ2 = D0 df |t0 | > t1−α/2 df t0 < −t1−α df t0 > t1−α p = 2P(Tdf ≥ |t0 |) H1 : µ1 − µ2 < D0 H1 : µ1 − µ2 > D0 T0 = ¯ − Y¯ − (µ1 − µ2 ) X (19) S12 S22 + n m Khi T0 có phân phối Student với bậc tự df xác định sau (s12 /n) + (s22 /m) df = 2 (20) (s1 /n) (s22 /m)2 + n−1 m−1 p = P(Tdf ≤ t0 ) p = P(Tdf ≥ t0 ) Kết luận: Bác bỏ H0 /Chưa đủ sở để bác bỏ H0 Miền bác bỏ trường hợp giống trường hợp phương sai nhau, thay bậc tự df cho phương trình (20) Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 59 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 60 / 93 So sánh hai kỳ vọng, trường hợp phương sai So sánh hai kỳ vọng, trường hợp phương sai Ví dụ 11 Ví dụ 10 Tại thành phố, khu vực A, người ta chọn ngẫu nhiên 17 sinh viên cho làm kiểm tra để đo số IQs, thu trung bình mẫu 106 độ lệch tiêu chuẩn 10; khu vực B, số IQs trung bình mẫu gồm 14 sinh viên 109 với độ lệch tiêu chuẩn Giả sử phương sai Có khác biệt số IQs sinh viên hai khu vực A B hay không? α = 0.02 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 61 / 93 So sánh hai tỷ lệ Hàm lượng thạch tín (Asen) (Đv: ppb) nước cao có hại cho sức khỏe Người ta kiểm tra hàm lượng thạch tín hai khu vực trung tâm thành phố Biên Hòa khu vực gần sân bay Biên Hòa Tại khu vực, người ta đo ngẫu nhiên hàm lượng thạch tín nước ứng với 10 địa điểm khác Số liệu cho bảng thống kê bên Trung tâm TP 25 10 15 12 25 15 Khu vực gần sân bay 48 44 40 38 33 21 20 12 18 Với α = 0.05, kiểm tra xem có khác biệt hàm lượng thạch tín hai khu vực Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 62 / 93 So sánh hai tỷ lệ • Khảo sát phần tử thỏa tính chất A hai tổng thể độc lập với tỷ lệ tương ứng p1 p2 ; từ hai tổng thể chọn hai mẫu với cỡ n m Gọi X Y số phần tử thỏa tính chất A mẫu mẫu Khi đó, ta có X ∼ B(n, p1 ) Y ∼ B(m, p2 ) • Bài tốn: so sánh tỷ lệ p1 p2 Các bước kiểm định Phát biểu giả thuyết H0 đối thuyết H1 Xác định mức ý nghĩa α Tính thống kê kiểm định • Bài tốn kiểm định giả thuyết gồm trường hợp sau: (a) H0 : p1 − p2 = D0 H1 : p1 − p2 = D0 (b) H0 : p1 − p2 = D0 H1 : p1 − p2 < D0 (c) Z0 = H0 : p1 − p2 = D0 H1 : p1 − p2 > D0 • Các giả định ˆ − P) ˆ P(1 với Hai mẫu độc lập, Cỡ mẫu lớn np1 > 5; n(1 − p1 ) > mp2 > 5; m(1 − p2 ) > Pˆ1 − Pˆ2 − D0 (21) 1 + n m X Y ˆ X +Y Pˆ1 = ; Pˆ2 = ; P = n m n+m H0 đúng, Z0 ∼ N(0, 1) Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 63 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 64 / 93 So sánh hai tỷ lệ So sánh hai tỷ lệ Xác định miền bác bỏ Ví dụ 12 Đối thuyết Miền bác bỏ p - giá trị H1 : p1 − p2 = D0 H1 : p1 − p2 < D0 H1 : p1 − p2 > D0 |z0 | > z1−α/2 z0 < −z1−α z0 > z1−α p = 2[1 − Φ(|z0 |)] p = Φ(z0 ) p = − Φ(z0 ) Kết luận: Nếu bác bỏ H0 , ta kết luận H1 với (1 − α)100% độ tin cậy Ngược lại ta kết luận chưa đủ sở để bác bỏ H0 với α cho trước Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 65 / 93 So sánh hai mẫu không độc lập (paired t - test) Việc ghép cặp kết việc quan trắc giá trị trước sau thực thí nghiệm Chẳng hạn đo trọng lượng trước sau thực chế độ ăn kiêng so sánh đặc tính thí nghiệm địa điểm thí nghiệm với thời gian Tháng năm 2014 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 66 / 93 So sánh hai mẫu không độc lập (paired t - test) Khi hai mẫu khơng độc lập giá trị quan trắc mẫu có mối liên hệ tương ứng với giá trị quan trắc mẫu thứ hai Như vậy, ta ghép cặp giá trị hai mẫu với Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Một công ty sản xuất thuốc cần kiểm tra loại thuốc có tác dụng giảm việc xuất đau ngực bệnh nhân Công ty thực thí nghiệm 400 người, chia làm hai nhóm: nhóm gồm 200 uống thuốc nhóm gồm 200 người uống giả dược Theo dõi thấy nhóm có người lên đau ngực nhóm có 25 người lên đau ngực Với α = 0.05, hay cho kết luận hiệu thuốc sản xuất 67 / 93 Xét (X1i , X2i ), với i = 1, 2, , n, tập gồm n cặp giá trị quan trắc với giả sử kỳ vọng phương sai tổng thể đại diện X1 µ1 σ12 kỳ vọng phương sai tổng thể đại diện X2 µ2 σ22 X1i X2j (i = j) độc lập Định nghĩa độ sai khác cặp tập hợp giá trị quan trắc Di = X1i − X2i , i = 1, , n (22) Các Di ,i = 1, , n giả sử có phân phối chuẩn Goi µD = E (Di ), D1 , , Dn biến ngẫu nhiên độc lập có phân phối, d1 , , dn giá trị D1 , , Dn , ta định nghĩa Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 68 / 93 So sánh hai mẫu không độc lập (paired t - test) So sánh hai mẫu không độc lập (paired t - test) Goi µD = E (Di ), D1 , , Dn biến ngẫu nhiên độc lập có phân phối, d1 , , dn giá trị D1 , , Dn , ta định nghĩa d¯ = n sd2 = n di (23) Các bước kiểm định Phát biểu giả thuyết H0 đối thuyết H1 Xác định mức ý nghĩa α Tính thống kê kiểm định i=1 n−1 n (di − d¯ )2 = i=1 n−1 n di2 − i=1 n ¯ (d ) n−1 (24) T0 = Ta cần kiểm định giả thuyết đối thuyết sau ¯ − D0 D √ SD / n (25) thống kê T0 có phân phối Student với n − bậc tự H0 : µD = D0 (a) H1 : µD = D0 H0 : µ D = D (b) H1 : µ D < D H0 : µ D = D (c) H1 : µ D > D Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 69 / 93 So sánh hai mẫu không độc lập (paired t - test) Miền bác bỏ p - giá trị H1 : µD = D0 n−1 |t0 | > t1−α/2 p = 2P(Tn−1 ≥ |t0 |) H1 : µD < D0 n−1 t0 < −t1−α p = P(Tn−1 ≤ t0 ) H1 : µD > D0 t0 > n−1 t1−α 70 / 93 Một bác sĩ dinh dưỡng nghiên cứu chế độ ăn kiêng tập thể dục để làm giảm lượng đường máu bệnh nhân bị bệnh tiểu đường 10 bệnh nhân bị bệnh tiểu đường chọn để thử nghiệm chương trình này, bảng kết bên cho biết lượng đường máu trước sau bệnh nhân tham gia chương trình Kết luận: Nếu bác bỏ H0 , ta kết luận H1 với (1 − α) ∗ 100% độ tin cậy Ngược lại kết luận chưa đủ sở để bác bỏ H0 • Trường hợp cỡ mẫu n > 30, toán kiểm định hai mẫu phụ thuộc thực tương tự trường hợp mẫu dựa mẫu ngẫu nhiên (D1 , , Dn ) Tháng năm 2014 Tháng năm 2014 Ví dụ 13 p = P(Tn−1 ≥ t0 ) Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ So sánh hai mẫu không độc lập Miền bác bỏ p - giá trị trường hợp có dạng Đối thuyết Xác định miền bác bỏ 71 / 93 Trước Sau 268 106 225 186 252 223 192 110 307 203 228 101 246 211 298 176 231 194 185 203 Số liệu cung cấp có đủ chứng để kết luận chế độ ăn kiêng tập thể dục có tác dụng làm giảm lượng đường máu không? α = 0.05 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 72 / 93 Kiểm định giả thuyết phân phối Kiểm định giả thuyết phân phối Các bước kiểm định Chọn mẫu ngẫu nhiên cỡ n: (X1 , , Xn ) Chia miền giá trị biến ngẫu nhiên Xi thành K khoảng không trùng l1 , l2 , , lK (Trường hợp X biến ngẫu nhiên rời rạc, ta chia thành K điểm: x1 , x2 , , xK ) Gọi Oj số giá trị mẫu nằm khoảng lj (j = 1, 2, , K ) (Trường hợp X biến ngẫu nhiên rời rạc tần số lặp lại giá trị xj ) Oj gọi tần số thực nghiệm Phát biểu giả thuyết H0 : X tuân theo luật phân phối F (x; θ) • Bài toán: Khảo sát biến ngẫu nhiên X liên liên quan đến tổng thể có phân phối chưa biết Cần kiểm định xem phân phối tổng thể có phải F (x; θ) hay không? Chẳng hạn, ta cần kiểm định phân phối tổng thể xét phân phối chuẩn Khi đó, tính pj = P(X ∈ lj ) (hoặc P(X = xj ) X rời rạc) Đặt Ej = npj , Ej gọi tần số lý thuyết Điều kiện: Ej ≥ 5, j = 1, 2, , K Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 73 / 93 Kiểm định giả thuyết phân phối Nguyễn Văn Thìn (Khoa Toán Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 74 / 93 Kiểm định giả thuyết phân phối Ví dụ 14 Thống kê kiểm định Q cho công thức Bảng thống kê số vụ tai nạn xe máy/ngày quận 80 ngày K Q2 = j=1 (Oj − Ej Ej )2 (26) Q xấp xỉ phân phối χ2 với K − bậc tự Bác bỏ H0 Q ≥ χ2α,K −r −1 (27) với r số tham số ước lượng Tìm χ2α,K −r −1 : tra bảng Chi - bình phương Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 Số vụ tai nạn Số ngày 34 25 11 Với mức ý nghĩa 5%, kiểm tra xem số vụ tai nạn xe máy hàng ngày có tuân theo luật phân phối Poisson hay không? 75 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 76 / 93 Kiểm định giả thuyết phân phối Kiểm định giả thuyết phân phối Xác suất kết tính tần số lý thuyết cho bảng bên Gọi X = số vụ tai nạn xe máy/ngày Q.5; phát biểu giả thuyết pi = P(X = xi ) H0 : X tuân theo luật phân phối Poisson với tham số λ p1 = Tính tần số thực lý thuyết Ej , j = 1, , Ej = npj = nP(X = xj ) Nếu X ∼ P(λ), xác suất pj tính sau e −λ λxj pj = P(X = xj ) = xj ! p2 = p3 = p4 = p5 = − Do λ chưa biết nên ta sử dụng ước lượng λ ˆ= λ n e −1 10 0! e −1 11 1! e −1 12 2! e −1 13 3! Ei = npi = 0.368 29.44 = 0.368 29.44 = 0.184 14.72 = 0.061 4.88 i=1 pi = 0.019 1.52 Tính thống kê Q , 5 Oi xi = Q2 = i=1 j=1 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 77 / 93 Kiểm định giả thuyết phân phối (Oj − Ej )2 (34 − 29.44)2 (3 − 1.52)2 = + + = 4.67 Ej 29.44 1.52 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 78 / 93 Kiểm định giả thuyết phân phối Ví dụ 15 Bác bỏ H0 khi: Q ≥ χ2α,K −r −1 = χ20.05,5−1−1 Tra bảng, ta có χ20.05,3 = 7.815 Do Q = 4.67 < 7.815 nên kết luận chưa đủ sở để bác bỏ H0 Vậy, số vụ tai nạn giao thông/ ngày Q.5 tuân theo luật phân phối Poisson Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 79 / 93 Điểm thi 200 sinh viên lớp học cho bảng bên Có ý kiến cho điểm thi sinh viên đại lượng ngẫu nhiên có phân phối chuẩn với điểm trung bình 75 độ lệch chuẩn Với α = 0.05, kiểm tra ý kiến Điểm thi Số sinh viên (0, 60] 12 (60, 70] 36 (70, 80] 90 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ (80, 90] 44 (90, 100] 18 Tháng năm 2014 80 / 93 Kiểm định giả thuyết phân phối Kiểm định giả thuyết phân phối Ví dụ 16 Nhóm máu 500 người chọn ngẫu nhiên từ khu vực cho bảng sau A 75 B 150 AB 15 Ví dụ 17 Chọn 100 người bệnh tâm thần phân loại vào mùa mà họ sinh ra, số liệu cho bảng sau: O 260 Xuân 20 Theo từ điển y khoa tỷ lệ nhóm máu dân số 0.18, 0.28, 0.05, 0.49 Hỏi nhóm máu dân số có phù hợp với từ điển y khoa hay không? Mức ý nghĩa 1% Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 81 / 93 Kiểm định giả thuyết tính độc lập Hạ 35 Thu 20 Đơng 25 Hỏi bệnh có phụ thuộc vào mùa sinh hay không? Mức ý nghĩa 1% Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 82 / 93 Kiểm định giả thuyết tính độc lập • Bài toán: Giả sử phần tử tổng thể phân loại theo hai đặc tính khác nhau, gọi đặc tính X đặc tính Y X có r giá trị Y có s giá trị Gọi Pij = P(X = xi , Y = yj ) với i = 1, , r j = 1, , s Pij xác suất chọn phần tử tổng thể có đặc tính X i đặc tính Y j pi xác suất chọn phần tử tổng thể có đặc tính X xi , qj xác suất chọn mơt phần tử tổng thể có đặc tính Y yj Ta cần kiểm định xem X có độc lập với Y hay khơng? Phát biểu giả thuyết H0 : Pij = pi qj Gọi ∀i = 1, , r ; j = 1, , s s pi = P(X = xi ) = Pij , i = 1, , r đối thuyết H1 : ∃ (i, j) cho Pij = pi qj j=1 r qj = P(Y = yj ) = Pij , j = 1, , s i=1 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 83 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 84 / 93 Kiểm định giả thuyết tính độc lập Kiểm định giả thuyết tính độc lập Ước lượng pi qj Khảo sát N phần tử, ta bảng kết quả, toán gọi bảng ngẫu nhiên (contingency table): ni , i = 1, , r N mj qˆj = , j = 1, , s N pˆi = ❍❍ Y ❍ ❍❍ X ❍ y1 y2 ··· ys Tổng hàng x1 x2 n11 n21 n12 n22 ··· ··· n1s n2s n1 n2 xr Tổng cột nr m1 nr m2 ··· ··· nrs ms nr N Gọi Nij số phần tử có đặc tính (xi , yj ) N phần tử khảo sát, Nij ∼ B(N, Pij ) Khi đó, E(Nij ) = NPij = Npi qj H0 Đặt Bảng: eij = N pˆi qˆj = đó, nij gọi tần số thực nghiệm Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ ni mj N eij gọi tần số lý thuyết Tháng năm 2014 85 / 93 Kiểm định giả thuyết tính độc lập Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 86 / 93 Kiểm định giả thuyết tính độc lập Các bước kiểm định Định lí (Pearson) Với Nij Eij = NPij , biến ngẫu nhiên r s i=1 j=1 (Nij − Eij Eij Phát biểu giả thuyết H0 : X Y độc lập Xác định tần số thực nghiệm nij tần số lý thuyết )2 eij = hội tụ theo phân phối biến ngẫu nhiên Chi bình phương χ2(r −1)(s−1) bậc tự Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 87 / 93 ni mj N với ni mj tổng hàng i tổng cột j tương ứng, Điều kiện: eij ≥ Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 88 / 93 Kiểm định giả thuyết tính độc lập Kiểm định giả thuyết tính độc lập Tính thống kê kiểm định r Ví dụ 18 s Q2 = i=1 j=1 (nij − eij eij )2 r s = i=1 j=1 nij2 eij −N (28) Nếu H0 đúng, thống kê Q có phân phối Chi bình phương với (r − 1)(s − 1) bậc tự Một báo cáo khoa học y khoa tuyên bố việc sở hữu thú cưng nhà (chó mèo) làm tăng khả sống sót người chủ mà thường bị lên đau tim Một mẫu ngẫu nhiên gồm 95 người lên đau tim chọn để khảo sát Dữ liệu người khảo sát chia làm loại: - Những người sống sót/tử vong năm sau lên đau tim Bác bỏ H0 Q > χ2(r −1)(s−1) (α) (29) - Người sống sót/tử vong có ni thú cưng nhà hay không Kết cho bảng sau 4b Sử dụng p-giá trị: p=P χ2(r −1)(s−1) ≥Q (30) Sống sót Tử vong Có ni thú cưng Không nuôi thú cưng 28 44 15 Bác bỏ H0 khi: p ≤ α Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 89 / 93 Kiểm định giả thuyết tính độc lập Phát biểu giả thuyết, H0 : Bệnh lên đau tim độc lập với việc nuôi thú cưng, Tính tần số thực nghiệm: với n1 = 72, n2 = 23, m1 = 36, m2 = 59 e11 e21 e12 e22 Tháng năm 2014 90 / 93 Kiểm định giả thuyết tính độc lập n1 m1 72 × 36 = = = 27.284; N 95 n2 m1 23 × 36 = = = 8.716; N 95 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ n1 m2 72 × 59 = = = 44.716 N 95 n2 m2 23 × 59 = = = 14.284 N 95 Bác bỏ H0 khi: Q > χ2(r −1)(s−1) (α) = χ21 (0.05) Tra bảng Chi - bình phương, ta χ21 (0.05) = 3.841 Q = 0.125, suy Q < 3.841 Ta kết luận chưa đủ sở để bác bỏ H0 tức bệnh lên đau tim độc lập với việc ni thú cưng Tính giá trị thống kê Q 2 2 Q = i=1 j=1 nij2 eij −n = 282 442 82 152 + + + −95 = 0.125 27.284 44.716 8.716 15.284 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 91 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 92 / 93 Kiểm định giả thuyết tính độc lập Ví dụ 19 Vé máy bay hãng hàng không Việt Nam Airline chia làm loại: Hạng thường (C), hạng trung (B) hạng doanh nhân (A) Hành khách máy bay VN Airlines nằm trong dạng sau: bay nội địa quốc tế Khảo sát 920 hành khách bay hãng, cho kết sau: Loại vé Hạng thường Hạng trung Hạng doanh nhân Loại chuyến bay Nội địa Quốc tế 29 22 95 121 518 135 Có ý kiến cho hành khách mua loại vé (A, B, C) phụ thuộc vào việc người bay nội địa hay quốc tế Với mức ý nghĩa 5%, kiểm tra ý kiến Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 93 / 93 ... Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 73 / 93 Kiểm định giả thuyết phân phối Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 74 / 93 Kiểm định giả thuyết. .. Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 83 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Tháng năm 2014 84 / 93 Kiểm định giả thuyết tính độc lập Kiểm định giả thuyết. .. Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ p - giá trị Tháng năm 2014 33 / 93 Nguyễn Văn Thìn (Khoa Tốn Tin Học) KIỂM ĐỊNH GIẢ THUYẾT THỐNG KÊ Kiểm định giả thuyết cho kỳ vọng TH σ , mẫu lớn Kiểm định giả