Kiểm định thống kê và bài tập

Lý để kiểm định thống kê: - Khi mà cta đo hết số liệu đầy đủ toàn quần thể Khi đo đạc đó, việc lấy liệu tồn quần thể khó khăn tốn kém, ta thường lấy đại diện số phần tử quần thể để đo phán đoán xem số đo Sau phải kiểm định lại xem số liệu đo chấp nhận đc ko (có thể đại diện cho quần thể ko) - Nếu liệu phân bổ hỗn loạn, rời rạc phép kiểm định phải đưa khả sai số nhiều hay ít: + Sai số chấp nhận giả thiết lấy số đo đại diện cho tồn quần thể + Sai số lớn ta ko thể khẳng định phép đo áp dụng cho toàn quần thể Kiểm định thống kê gì: - Kiểm định thống kê cung cấp chế để đưa định định lượng trình trình - Xác định xem có đủ chứng để "bác bỏ" đốn giả thuyết quy trình hay không - Giả thuyết ban đầu gọi null hypothesis (giả thuyết vô hiệu) - Bác bỏ giả thuyết kết luận sai - Tuy nhiên, chấp nhận giả thuyết khơng có nghĩa đúng, khơng có chứng để tin ngược lại - Do đó, kiểm định giả thuyết thường phát biểu dạng điều kiện nghi ngờ (giả thuyết vô hiệu - ) điều kiện tin tưởng (giả thuyết thay - ) - – tạm coi kết luận cta với tập mẫu áp dụng cho quần thể, sau ta kiểm định Nếu sai số chấp nhận , sai số nhiều ta phải chấp nhận giả thiết cịn lại - Có loại sai số: + Sai số loại I: Bác bỏ – xác suất sai số loại I (mức ý nghĩa) + Sai số loại II: Chấp nhận sai – xác suất sai số loại II Ví dụ: Để đảm bảo kích thước trung bình táo Royal Gala với kích thước trung bình táo Jazz − : kích thước trung bình táo Royal Gala = kích thước trung bình táo Jazz − : kích thước trung bình táo Royal Gala ≠ kích thước trung bình táo Jazz Để đảm bảo nhiều bóng đèn có tuổi thọ trung bình 500 − : tuổi thọ trung bình trung bình lớn 500 − : tuổi thọ trung bình trung bình 500 Để đảm bảo độ xác trung bình thuật tốn EC giống với độ xác trung bình thuật tốn EC − : độ xác TB thuật tốn EC = độ xác trung bình thuật tốn EC − : độ xác TB thuật tốn EC ≠ độ xác trung bình thuật tốn EC Q trình kiểm định: B1: Đưa gia giả thiết (ban đầu thay thế) B2: Lấy liệu B3: Chọn phương pháp kiểm định thống kê thích hợp với mức độ ý nghĩa B4: Tính tốn định - nhóm: so sánh giá trị nhóm liệu Tương tự với n nhóm - Parametric Test (normality) – Kiểm định tuân theo phân bố chuẩn: Nếu data tuân theo phân bố chuẩn áp dụng - Non - parametric Test (no normality) – Kiểm định tuân không theo phân bố chuẩn: Nếu data khơng tn theo phân bố chuẩn áp dụng - Phân phối chuẩn (Normal Distribution) phân bố liệu mà giá trị tập trung nhiều khoảng giá trị cịn lại rải đối xứng phía điểm cực trị (hình chng) - Paired: Nhóm liệu có mối quan hệ với (1 nhóm thời điểm) (VD: Kết SV học viện HK II tốt HK I) - Unpaired: Nhóm liệu khác nhau, độc lập với (VD: so sánh kích thước táo Royal Gala vs táo jazz) T – test: − Cho biết khác biệt đáng kể nhóm; − Nói cách khác, cho bạn biết liệu khác biệt (được đo means/averages) tình cờ xảy hay khơng − T - score tỷ số khác biệt hai nhóm khác biệt nhóm − T - score lớn cho bạn biết nhóm khác − T - score nhỏ cho bạn biết nhóm tương tự − t-score = có nghĩa nhóm khác xa ba lần chúng − Khi bạn chạy thử nghiệm t, giá trị t lớn kết có khả lặp lại − Mọi giá trị t có giá trị p kèm với Giá trị p xác suất mà kết từ tập mẫu có khả thay đổi − Giá trị P từ 0% đến 100% − Giá trị p thấp tốt; − Ví dụ: giá trị p 0,01 nghĩa có 1% xác suất kết từ thử nghiệm thay đổi − Trong hầu hết trường hợp, giá trị p 0,05 (5%) chấp nhận có nghĩa liệu hợp lệ − Có ba loại t-test chính: + Un-paired t-test so sánh giá trị trung bình cho hai nhóm + One sample t-test tests kiểm tra giá trị trung bình nhóm đơn lẻ so với giá trị trung bình biết (so sánh với giá trị cụ thể) + Paired sample t-test so sánh phương tiện từ nhóm thời điểm khác (giả sử cách năm) - Phân phối t để kiểm tra hai giả thuyết ban đầu có: + giá trị trung bình hai quần thể nhau, áp dụng phép thử hai phía (two-tailed test); + giá trị trung bình quần thể lớn giá trị kia, phép thử phía áp dụng (one-tailed test) UN PAIRED T-TEST: - Giả thiết: o Independence: bạn cần hai nhóm phân loại, độc lập đại diện cho biến độc lập bạn o Normality: biến phụ thuộc phải phân phối chuẩn (Kiểm tra tiêu chuẩn) - Student's t-test: giả định hai quần thể có phương sai - Welch's t-test: thiết kế cho phương sai không S – độ lệch chuẩn F – test: dùng để so sánh phương sai nhau, khác F Value = Variance of 1st Data Set / Variance of 2nd Data Set Tìm F critical value từ F table theo bậc tự (df = n – 1) mức ý nghĩa (level of significance) F_critical (df1,df2) = So sánh giá trị này, F critical value < F value, ta bác bỏ giả thuyết Chú ý: ( https://www.educba.com/f-test-formula/) - Đầu tiên cần phải ln đặt tử số có giá trị phương sai cao tính giá trị F, để buộc thử nghiệm thành kiểm nghiệm righttailed Các kiểm định right-tailed dễ tính Vì F = V1 / V2 V1 phải> V2 - Nếu muốn thực kiểm định đuôi (two-tailed test), cần chia mức ý nghĩa cho mức xác để tìm critical value - Chỉ sử dụng phương sai phép tính giá trị F cung cấp với độ lệch chuẩn, phải bình phương để tìm phương sai - Cả hai mẫu phải độc lập với cỡ mẫu phải nhỏ 30 - Tập quần mà mẫu lấy phải phân phối chuẩn Student's t-test - Step 1: mA , mB đại diện cho giá trị trung bình nhóm A B - Step 2: đọc bảng t test giá trị critical phân phối Student’s t tương ứng với mức ý nghĩa mà bạn chọn (5%) Bậc tự (df) sử dụng kiểm định df=nA+nB-2 - Step 3: Nếu giá trị tuyệt đối t-test statistics (|t|) lớn giá trị critical, khác biệt đáng kể (bác bỏ giả thiết ban đầu) Ngược lại khơng (chấp nhận) |t| > t_critical : bác bỏ H0 Ngược lại chấp nhận H0 Welch's t-test - Step 1: mA , mB đại diện cho giá trị trung bình nhóm A B độ lệch chuẩn hai nhóm A B - Step 2: đọc bảng t test giá trị critical phân phối Student’s t tương ứng với mức ý nghĩa mà bạn chọn (5%) Bậc tự (df) sử dụng kiểm định là: - Step 3: Nếu giá trị tuyệt đối t-test statistics (|t|) lớn giá trị critical, khác biệt đáng kể (bác bỏ giả thiết ban đầu) Ngược lại khơng (chấp nhận) |t| > t_critical : bác bỏ H0 Ngược lại chấp nhận H0 ONE-SAMPLE T-TEST - Step 1: m s giá trị trung bình độ lệch chuẩn của tập giá trị có kích thước n - Step 2: đọc bảng t test giá trị critical phân phối Student’s t tương ứng với mức ý nghĩa mà bạn chọn (5%) Bậc tự (df) sử dụng kiểm định là: df = n-1 - Step 3: Nếu giá trị tuyệt đối t-test statistics (|t|) lớn giá trị critical, khác biệt đáng kể (bác bỏ giả thiết ban đầu) Ngược lại khơng (chấp nhận) |t| > t_critical : bác bỏ H0 Ngược lại chấp nhận H0 PAIRED T-TEST - Step 1: m s giá trị trung bình độ lệch chuẩn độ khác biệt (d) n kích thước d - Step 2: đọc bảng t test giá trị critical phân phối Student’s t tương ứng với mức ý nghĩa mà bạn chọn (5%) Bậc tự (df) sử dụng kiểm định là: df = n-1 - Step 3: Nếu giá trị tuyệt đối t-test statistics (|t|) lớn giá trị critical, khác biệt đáng kể (bác bỏ giả thiết ban đầu) Ngược lại khơng (chấp nhận) • Example: critical value = 2.093 Tool: - Test phân bố chuẩn: https://www.statskingdom.com/kolmogorov-smirnov-test-calculator.html - F-test: https://ncalculators.com/statistics/f-test-calculator.htm https://www.statskingdom.com/220VarF2.html (H0: σ12 = σ22) - Tính t- value: + Student’s t-test: http://www.sthda.com/english/rsthda/unpaired-ttest.php + T – test khác: https://www.statskingdom.com/t_test.html − (Tính critical (tra bảng t-table f-table): https://calculatoronline.net/critical-value-calculator/ ) điền tham số vào https://www.omnicalculator.com/statistics/t-test (nhớ chọn dạng bài) Các bước: Test phân bố chuẩn -> xác định dạng bài: + un paired: test phương sai có ko (f – test để tính f-val, sau tính fcritical) - chọn Student’s t-test, - ko chọn Two-sample t-test (Welch's) để tính t-val, sau tính t-critical + one sample t-test: One-sample t-test để tính t-val, sau tính t-critical + paired t –test: Paired t-test để tính t-val, sau tính t-critical Cuối so sánh |t-val| t-critical (unpaired test ): + |t-val| > t-critical : Bác bỏ H0 + Ngược lại: Chấp nhận H0 Hoặc điền giá trị vừa tìm đc vào link t-test ( phải chọn test type, Alternative hypothesis H₁, alpha) -> tool đưa kết luận (one sample, paired ) Bài tập Bài 1: Một báo đăng năm 1992 tạp chí Journal of the American Medical Association nghiên cứu nhiệt độ thể, giới tính nhịp tim nhóm người, nhiệt độ thể 25 phụ nữ sau: 97.8, 97.2, 97.4, 97.6, 97.8, 97.9, 98.0, 98.0, 98.0, 98.1, 98.2, 98.3, 98.3, 98.4, 98.4, 98.4, 98.5, 98.6, 98.6, 98.7, 98.8, 98.8, 98.9, 98.9, 99.0 Giả sử nhiệt độ thể tuân theo phân phối chuẩn Hãy kiểm tra giả thuyết đối thuyết Giải: Dạng One sample t-test: n = 25 m = 98.264 s = 0.482 => t = -3.485 df = n – = 24 t – critical = 2.0639 đó: |t| > t-critical => bác bỏ Bài 2: Một nghiên cứu nhằm kiểm định khác biệt số Km mà nhân viên y tế trường kế hoạch làm việc ngày/tuần ngày/tuần Số liệu thu thập cho nhân viên năm sau: Tên nhân viên ngày/tuần ngày/tuần Chênh lệch A 8089 6392 1697 B 7724 6112 1612 C 7505 6177 1328 D 4592 3281 1311 E 8107 4997 3110 F 3807 3362 445 Trung bình 6637 5053 1583 Độ lệch chuẩn 1751 1302 869 Với mức ý nghĩa 5% kiểm định xem số km mà nhân viên y tế trường ngày/tuần ngày/tuần có khác khơng? Giải: giả thuyết số km mà nhân viên y tế trường ngày/tuần = ngày/tuần đối thuyết số km mà nhân viên y tế trường ngày/tuần ngày/tuần Kiểm tra kolmogorov-smirnov tập mẫu -> phân bố chuẩn Dạng Paired t-test: Tính tốn tập chênh lệch: m = 1583 s = 896 n=6 ⇨ t = 4.4622 df = n-1 = t_ critical = 2.5705 Khi đó: |t| > t-critical => bác bỏ Bài 3: Một loại đèn chiếu nhà sản xuất quảng cáo có tuổi thọ trung bình thấp 65 Kết kiểm tra ngẫu nhiên 21 đèn cho thấy tuổi thọ trung bình 62,5 giờ, độ lệch mẫu hiệu chỉnh Sử dụng kiểm định t-test, với mức ý nghĩa 1% kết luận lời quảng cáo đó? Giải: − : tuổi thọ trung bình trung bình lớn 65 − : tuổi thọ trung bình trung bình 65 ⇨ one-tailed test (left – tailed test) Dạng One sample t-test: n = 21 m = 62,5 s = => t = -3.819 df = n – = 20 t – critical = -2.528 đó: |t| > t-critical => bác bỏ Bài 4: Dựa thí nghiệm đồng ruộng, loại xanh giống dự kiến cho suất 12,0 tạ / Giống thử nghiệm 10 ruộng nông dân chọn ngẫu nhiên Sản lượng ghi 14.3, 12.6, 13.7, 10.9, 13.7, 12.0, 11.4, 12.0, 12.6, 13.1 Kết có phù hợp với mong đợi không? Giải: giả thuyết đối thuyết Kiểm tra kolmogorov-smirnov tập mẫu -> phân bố chuẩn Dạng One sample t-test: n = 10 m = 12.63 s = 1.085 => t = 1.836 df = n – = t – critical = 2.262 đó: |t| < t-critical => Chấp nhận Bài 5: Một nhóm bệnh nhân điều trị thuốc A có trọng lượng 42,39,38,60 & 41 kg Nhóm thứ hai gồm bệnh nhân từ bệnh viện điều trị thuốc B có trọng lượng 38, 42, 56, 64, 68, 69 62 kg Tìm xem có khác biệt loại thuốc không? Giải: giả thuyết đối thuyết chọn Kiểm tra kolmogorov-smirnov tập mẫu -> phân bố chuẩn Dạng un-paired Đầu tiên, thực F-test để so sánh phương sai: H0: σ12 = σ22 H1: σ12 σ22 82.5 154.33333 ⇨ f-value = = 0.5346 ⇨ f-critical = 6.2272 Khi đó: f-value < f-critical => chấp nhận => Phương sai ⇨ Sử dụng student’s t-test: t- value = -1.981 df = nA+nB-2 = 10 => t-critical = 2.2281 Khi đó: |t| < t-critical => chấp nhận Bài 6: Dữ liệu sau liên quan đến tỷ lệ cao su hai loại cao su, mẫu lấy độc lập Kiểm tra khác biệt trung bình chúng Type 6.21 5.70 6.04 4.47 5.22 4.45 4.84 5.88 5.84 5.88 6.09 5.59 I 6.06 5.59 6.74 5.55 Type 4.28 7.71 6.48 7.71 7.37 7.20 7.06 6.40 8.93 5.91 5.51 II 6.3 Bài 7: Trong thí nghiệm thực phẩm để so sánh hai loại thức ăn trẻ em A B, quan sát kết gia tăng trọng lượng (lbs) đứa trẻ sau Food A (x) 49 53 51 52 47 50 52 53 Food B (y) 52 55 52 53 50 54 54 53 Bài 8: Để so sánh lực học toán vật lý học sinh, người ta kiểm tra ngẫu nhiên em hai toán vật lý Kết cho bảng (X điểm toán, Y điểm lý): X 15 20 16 22 24 18 20 14 Y 15 22 14 25 19 20 24 16 Có ý kiến cho điểm số trung bình tốn lý Hãy kiểm tra ý kiến mức Giải: Sử dụng Kolmogorov-Smirnov test để kiểm tra phân bố chuẩn -> liệu tuân theo phân bố chuẩn Dạng paired t-test: Gọi , trung bình điểm tốn lý Khi đó: := : Gọi d độ khác biệt mẫu: d -2 -5 Ta có: m = 0.75 s = 2.964 n=8 => t = 0.716 df = n-1 = => t_critical = 2.3646 Khi đó: |t| < t_ critical => chấp nhận Vậy điểm số trung bình tốn lý Bài 9: Người ta cân ngẫu nhiên 16 trẻ em hai tuổi Kết cho bảng sau (đv: Kg) Trọng lượng 12.3 12.5 12.8 13.0 13.5 Số trẻ 2 Giả sử trọng lượng trẻ em tuân theo phân bố chuẩn Hãy kiểm định xem trọng lượng trung bình trẻ có phải 13kg hay khơng? Giải: Dạng One sample t-test: n = 16 m = 12.825 s = 0.344 => t = -2.038 df = n - = 15 => t_critical = 2.131 Khi đó: |t| < t_critical => Chấp nhận Vậy trọng lượng trung bình trẻ 13kg ... bình thuật tốn EC Q trình kiểm định: B1: Đưa gia giả thiết (ban đầu thay thế) B2: Lấy liệu B3: Chọn phương pháp kiểm định thống kê thích hợp với mức độ ý nghĩa B4: Tính tốn định - nhóm: so sánh giá... cao tính giá trị F, để buộc thử nghiệm thành kiểm nghiệm righttailed Các kiểm định right-tailed dễ tính Vì F = V1 / V2 V1 phải> V2 - Nếu muốn thực kiểm định đuôi (two-tailed test), cần chia mức... nhóm - Parametric Test (normality) – Kiểm định tuân theo phân bố chuẩn: Nếu data tuân theo phân bố chuẩn áp dụng - Non - parametric Test (no normality) – Kiểm định tuân không theo phân bố chuẩn: