Đang tải... (xem toàn văn)
Phần 7 - Các kiểm nghiệm giả thuyết về các phần. Chương này gồm có những nội dung chính sau: Các kiểm nghiệm giả thiết về các phần (Testing hypotheses about proportions), phần thêm về kiểm nghiệm. Mời tham khảo để biết thêm các nội dung chi tiết.
9/8/2010 Phần 07 Nguyễn Duy Long, Tiến Sỹ Bộ môn Thi Cơng QLXD ©2010, Nguyễn Duy Long, Tiến Sỹ Các kiểm nghiệm giả thiết phần Phần thêm kiểm nghiệm ©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 Testing Hypotheses about Proportions ©2010, Nguyễn Duy Long, Tiến Sỹ Trong thống kê học, giả thiết đề nghị mô hình cho giới Rồi xem liệu… liệu Nếu liệu qn với mơ hình, ta khơng có lý để khơng tin giả thiết ◦ Dữ liệu qn với mơ hình thêm phần hỗi trợ (lend support) giả thiết, khơng chứng minh (prove) Hay… Nếu liệu không quán với mô hình, ta cần chọn h xem liệu liệ có ó không khô hấ quán đủ để không tin vào mơ hình ◦ Nếu chúng khơng đủ qn, từ chối (reject) mơ hình ©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 Nghĩ logic xét xử: ◦ Để chứng minh có tội, ta bắt đầu giả định họ vơ tội tội ◦ Ta giữ lại giả thiết đến chứng làm khơng thể vượt nghi ngờ hợp lý ◦ Khi đó, ta từ chối giả thiết vơ tội tuyên bố người có tội Logic dùng xét xử dùng giống kiểm nghiệm giả thiết thống kê học: ◦ Bắt đầu đầ bằ giả iả định đị h giả iả thiết đú ◦ Xem liệu có quán với giả thiết ◦ Nếu vậy, tất ta làm giữ lại giả thiết mà ta bắt đầu Nếu khơng vậy, hội thẩm đồn, ta tự hỏi chúng khơng thể nằm ngồi nghi ngờ hợp lý khơng ©2010, Nguyễn Duy Long, Tiến Sỹ Công ty xây dựng sản xuất ống bê tông ly tâm muốn ngăn chặn vết nứt ◦ Qui trình sản xuất thời cho thấy 80% ống bê tơng khơng có vết nứt ◦ Kỹ thuật kiểm nghiệm với 400 ống bê tơng đúc thử có 17% bị nứt ◦ Cơng ty tranh luận việc chuyển qui trình này, thời gian tiền bạc Cơng ty muốn biết họ kết luận cách hợp lý qui trình cải thiện vấn đề nứt ©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 Đặc tính thống kê ta định lượng mức độ nghi ngờ ◦ Có thể dùng mơ hình đề nghị giả thiết để tính xác suất mà biến cố ta chứng kiến xảy Xác suất gọi giá trị p (p-value) ◦ Giá trị p nhỏ, biến cố xảy ra, cho giả thiết ©2010, Nguyễn Duy Long, Tiến Sỹ Giả thiết rỗng (null hypothesis), viết tắt H0, mô tả thơng số mơ hình quần thể quan tâm đề nghị giá trị cho thơng số đó ◦ Ví dụ, H0: p = 0.20, ví dụ nứt ống bê tơng Ta muốn so sánh liệu với giá trị mà ta kỳ vọng với H0 ◦ Có thể làm điều cách tìm độ lệch chuẩn từ giá trị đề nghị Sẽ hỏi hội có kết giả thiết rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 9/8/2010 Kiểm nghiệm giả thiết giống với xét xử tòa án Giả thiết rỗng bị can vơ tội Rồi trình bày chứng - liệu thu thập Rồi đánh giá chứng cứ: “Các liệu xảy cách hợp lý tình cờ giả thiết rỗng đúng?” Cuối cùng, ta phải định “không vấn đề không (How unlikely is “unlikely”?) ◦ Một số người đặt tiêu chuẩn cứng – 20 (0 (0.05) 05) hay 100 (0.01) ◦ Nhưng bạn phải định, bạn phải phán xét tình cụ thể xác suất đủ nhỏ để có “nghi ngờ hợp lý” (“reasonable doubt”) ©2010, Nguyễn Duy Long, Tiến Sỹ Khi liệu quán với mơ hình từ giả thiết rỗng, giá trị p cao ta bác bỏ giả thiết rỗng ◦ T Ta phải hải giữ iữ giả iả thiết rỗng ỗ ◦ Nếu ta khơng thể chứng minh nó; ta không chấp nhận giả thiết rỗng… ◦ … thay vào đó, ta “thất bại việc bác bỏ giả thiết rỗng” (“fail to reject the null hypothesis”) liệu qn với mơ hình giả thiết rỗng phù hợp với ta kỳ vọng từ biến đổi lấy mẫu (natural sampling variability) Nếu giá Nế iá trịị p đủ nhỏ, hỏ ta “bác “bá bỏ giả iả thiết hiế rỗng” ỗ ” (“reject the null hypothesis”) ta quan sát thấy khơng thể mơ hình rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 10 9/8/2010 Nếu chứng không đủ mạnh để bác bỏ giả định vơ tội, bồi thẩm đồn tuyên “vô tội” (“not guilty”) Trong thống ố kê học, ta thất ấ bại việc bác bỏ giả thiết rỗng ◦ Không tuyên bố giả thiết rỗng ◦ Thỉnh thoảng ta nói giả thiết rỗng giữ Trong xét xử, trách nhiệm chứng minh thuộc bên khởi tố Trong kiểm nghiệm giả thiết, trách nhiệm chứng minh thuộc xác nhận khơng thường ◦ Giả thiết rỗng bình thường, giả thiết thay (alternative hypothesis) khơng bình thường ©2010, Nguyễn Duy Long, Tiến Sỹ 11 Bốn phần kiểm nghiệm giả thiết: Các giả thiết (Hypotheses) Mơ hình (Model) Sự tính tốn (Mechanics) Kết luận (Conclusion) Xem chi tiết tiếp sau đây… ©2010, Nguyễn Duy Long, Tiến Sỹ 12 9/8/2010 Các giả thiết ◦ Giả thiết rỗng: để thực kiểm nghiệm giả iả thiết, thiết trước t ướ tiên tiê phải hải chuyển h ể câu â hỏi ta t quan tâm thành phát biểu tham số mơ hình ◦ Tổng quát, ta có H0: tham số (parameter) = giá trị giả thiết (hypothesized value) Giả thiết hiế thay h thế: hế giả iả thiết hiế thay h thế, hế HA, chứa giá trị tham số mà ta chấp nhận ta bác bỏ giả thiết rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 13 Mơ hình Để bắt đầu ộ kiểm nghiệm g ệ g giả thiết,, mơ hình mà bạn dùng để kiểm nghiệm giả thiết rỗng thơng số quan tâm Tất mơ hình cần giả định, phát biểu giả định kiểm tra điều kiện tương ứng Bạn kết thúc với phát biểu sau: ◦ “Vì điều kiện thỏa, tơi mơ hình phân phối mẫu phần với mơ hình chuẩn.” ◦ Có thể có trường hợp bạn nói “Vì điều kiện khơng thỏa, tơi khơng thể tiếp tục với kiểm nghiệm.” ©2010, Nguyễn Duy Long, Tiến Sỹ 14 9/8/2010 Các điều kiện cần thiết cho kiểm nghiệm z phần (one-proportion z-test) giống với khoảng z phần (one proportion z-interval) Ta kiểm nghiệm giả thiết H0: p = p0 tính trị số thống kê kiểm nghiệm, z: z với SD pˆ p0 q0 n pˆ p0 SD pˆ Điểm quan trọng dễ sai: để tính SD dùng giá trị po Khi điều ề kiện thỏa giả thiết ế rỗng ỗ đúng, trị số ố thông kê nghiểm nghiệm theo mơ hình chuẩn tắc, ta dùng mơ hình để có giá trị p Bảng z, có z để tìm giá trị p ©2010, Nguyễn Duy Long, Tiến Sỹ ◦ ◦ 15 Tính tốn Tính trị số thơng kê kiểm nghiệm từ liệu Các kiểm ể nghiệm khác có công thức khác trị số thống kê kiểm nghiệm khác Sau tính tốn, ta có giá trị p Giá trị p xác suất mà giá trị thống kê quan sát xảy mơ hình rỗng Nói cách khác, giá trị p xác suất có điều kiện: xác suất mà kết quan sát át có ó thể xảy ả ế giả iả thiết rỗng ỗ đú Nếu p đủ nhỏ, ta bác bỏ giả thiết rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 16 9/8/2010 Kết luận ◦ Kết luận kiểm nghiệm giả thiết phát biểu giả thiết rỗng ◦ Kết luận phải phát biểu bác bỏ giữ (thất bại việc bác bỏ giả thiết rỗng) ◦ Kết luận nên phát biểu ngữ cảnh ©2010, Nguyễn Duy Long, Tiến Sỹ 17 Tùy thuộc vào ta kiểm nghiệm quan tâm tìm kiếm gì, có ba giả thiết thay khả dĩ: HA: thông số < giá trị giả thiết hay HA: thông số ≠ giá trị giả thiết hay HA: thông số > giá trị giả thiết ©2010, Nguyễn Duy Long, Tiến Sỹ 18 9/8/2010 HA: thông số ≠ giá trị gọi thay phương (two-sided alternative) ta quan tâm chệch hai bên giá trị giả thiết ế rỗng ỗ Cho thay hai phương, giá trị p xác suất lệch theo hai hướng từ giá trị giả thiết rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 19 Hai giả thiết thay khác gọi thay phương (one-sided alternatives) Th Thay ột phương hươ tậ trung tập t độ lệch lệ h từ giá iá trị giả thiết rỗng theo hướng Giá trị p cho thay phương xác suất lệch hướng thay từ giá trị giả thiết rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 20 10 9/8/2010 Đâu giả thiết rỗng giả thiết thay dùng tình sau? Sản ả xuất ấ ống ố bê tông ô l tâm ly â víí dụ d ê Bạn muốn biết dùng loại thảo dược hai tháng giảm cân Bạn chủ tiệm spa, bạn muốn biết quảng cáo báo bạn hiệu (đo lường số khách hàng tuần) Ban nghĩ tiêu thụ nhiên liệu xe cẩu bạn khác với tiêu thụ đưa nhà sản xuất ©2010, Nguyễn Duy Long, Tiến Sỹ 21 Giá trị p nhỏ để bạn bác bỏ giả thiết rỗng? Tiêu chí ế định phụ thuộc tình ố Yếu tố để chọn giá trị p tầm quan trọng vấn đề cần kiểm nghiệm Đừng tuyên bố giả thiết rỗng bị bác hay không bị bác ◦ Báo cáo giá trị p để thể “sức mạnh” chứng giả thiết ©2010, Nguyễn Duy Long, Tiến Sỹ 22 11 9/8/2010 Trở lại ví dụ: Với qui trình có 80% ống bê tông không bị nứt Kỹ thuật thử nghiệm sản xuất 400 ống có kết 17% bị nứt nứt Công ty bê tông muốn biết kỹ thuật giảm tỷ lệ nứt không Phát biểu giả thiết (Ho) Chỉ mơ hình kiểm tra điều kiện cần thiết để sử dụng Nếu tiếp tục từ bước 2, tính trị số thông kê kiểm nghiệm giá trị p Kết luận ©2010, Nguyễn Duy Long, Tiến Sỹ 23 Giá trị p 0.0668 Chỉ 6.7% khả kết từ qui trình thử nghiệm biến đổi tự nhiên (natural variation) variation) Ta bác bỏ giả thiết rỗng? Trong thực tế, ta giá trị “trần” (cut-off) cho giá trị p trước phân tích ◦ Nếu ta chọn 5%, ta giữ lại giả thiết rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 24 12 9/8/2010 Tại vùng xa khoảng 30% giếng đào tìm đủ nước độ sâu 30 mét hay nhỏ Một người đàn ơng địa phương cho tìm nước cách “dò mạch nước” – dùng gậy để giếng nên đào đâu Bạn kiểm tra 80 khách hàng thấy 27 khách hàng có giếng 30 mét hay nhỏ Bạn kết luận “thủ pháp” anh ta? Biết giá trị p khoảng 5% để có chứng xác đáng ©2010, Nguyễn Duy Long, Tiến Sỹ 25 More about tests ©2010, Nguyễn Duy Long, Tiến Sỹ 26 13 9/8/2010 Khi giá trị p nhỏ, cho ta biết liệu với giả thiết rỗng cho Hiếm “hiếm”? ? Ta xác định kiện cách tùy tiện cách đặt ngưỡng cho giá trị p ta ◦ Nếu p điểm đó, ta bác bỏ H0 Ta gọi kết đáng kể mặt thông kê (statistically significant) hay ta nói kiểm nghiệm đáng kể mức (“significant at that level”) ◦ Ngưỡng mức alpha, gọi mức đáng kể (significance level), viết tắt ◦ Các mức alpha 0.10, 0.05, 0.01 Bạn nói giá trị p khơng thấp ? ◦ Bạn không chấp nhận giả thiết rỗng Bạn giữ lại hay thất bại bác bỏ ©2010, Nguyễn Duy Long, Tiến Sỹ 27 Ý bạn nói kiểm nghiệm đáng kể thống kê (statistically significant)? ◦ Ý ta trị số thống kê kiểm nghiệm, nghiệm z, z có giá trị p tương ứng thấp mức alpha mà bạn chọn Đừng nghĩ đáng kể thống kê tự động có tầm quan trọng hay ảnh hưởng thực tiễn ◦ Ta có thay đổi nhỏ (nhỏ 1%) đáng kể thống kê, kích thước mẫu đủ lớn Mặt khác, mẫu không đủ lớn, chí có khác lớn tài hay khoa học khơng đáng kể thống kê ©2010, Nguyễn Duy Long, Tiến Sỹ 28 14 9/8/2010 Ở phần 06, tạo mức tin chắc, ta lấy giá trị tới hạn (critical value, z*) tương ứng với mức tin chọn chọn Ta dùng giá trị tới hạn kiểm nghiệm giả thiết ◦ z* phụ thuộc vào kiểm nghiệm hay phương Một tính trị thống kê kiểm nghiệm, z, thay dùng bảng Z để tìm giá trị p, kiểm tra trực tiếp với giá trị tới hạn Ví dụ, với kiểm nghiệm phương, đuôi (upper tail): ◦ z > z*, hì bác bá bỏ H0 ◦ z< z*, thất bại việc bác bỏ H0 ◦ Vẫn hữu ích tìm giá trị p, để định lượng kết không sao, giả thiết rỗng ©2010, Nguyễn Duy Long, Tiến Sỹ 29 Một số giá trị tới hạn thường gặp từ mô hình chuẩn ◦ Với (lower tail), z* âm 1-phương 2-phương 0.05 1.645 1.96 0.01 2.28 2.575 0.001 3.09 3.29 ©2010, Nguyễn Duy Long, Tiến Sỹ 30 15 9/8/2010 Khi giả thiết thay phương, giá trị tới hạn đặt tất ấ bên: Giá trị tới hạn Khi giả thiết thay hai phương, giá trị giới h chia hạn hi đôi cho h hai h i đuôi: Giá trị tới hạn ©2010, Nguyễn Duy Long, Tiến Sỹ Giá trị tới hạn Slide 21- 31 Ví dụ tương ứng trị số thống kê kiểm nghiệm (z), giá trị tới hạn z* , giá trị p mức alpha, Ta nghe ĐHBK có 60% nam sinh viên muốn kiểm tra xem phần trăm thay đổi Ta chấp nhận mức đáng kể = 4% vượt nghi ngờ hợp lý Ta thực lấy mẫu ngẫu nhiên 250 sinh viên ĐHBK thấy 140 nam Giả định điều kiện thỏa thỏa Các giả thiết gì? Giá trị tới hạn z*, với mức alpha cho? Tính z, trị số thống kê kiểm nghiệm Ta giữ hay bác bỏ H0? Giá trị p? ©2010, Nguyễn Duy Long, Tiến Sỹ 32 16 9/8/2010 Tóm tắt tính tốn: ◦ Ta cần kiểm nghiệm phương với = 4% z= -1.29, Giá trị = 9.9% =2% Giá trị tới hạn z* = -2.05 z 2.05 =2% Giá trị tới hạn z* = 2.05 z Vì z > z* hay -1.29 > -2.05, ta giữ H0 hay cách tương đương, Giá trị p = 0985 > 02 = α/2, ta giữ H0 ©2010, Nguyễn Duy Long, Tiến Sỹ 33 Khoảng tin kiểm nghiệm giả thiết xây dựng với phép tính giống ◦ Giống giả định điều kiện kiện ◦ Cả hai dùng giá trị tới hạn, z* Có thể xấp xỉ kiểm nghiệm giả thiết cách xem xét khoảng tin (sự xấp xỉ tốt p0 pˆ tiến gần nhau) ◦ Chỉ hỏi giá trị giả thiết rỗng có quán với khoảng tin cho thông số với mức tin tương ứng ©2010, Nguyễn Duy Long, Tiến Sỹ 34 17 9/8/2010 Vì khoảng tin hai phương, chúng tương ứng với kiểm nghiệm hai phương ◦ Tổng quát, quát khoảng tin với mức tin C% tương ứng với kiểm nghiệm hai phương với mức 100 – C% Mối liện hệ khoảng tin kiểm nghiệm giả thiết phương phức tạp ◦ Khoảng tin với mức tin C% tương ứng với kiểm nghiệm giả thiết phương vi mc l ẵ(100 C)% â2010, Nguyn Duy Long, Tiến Sỹ 35 Thậm chí với nhiều chứng cứ, ta có kết luận sai Khi thực kiểm nghiệm giả thiết, ta sai theo hai cách: Giả thiết rỗng đúng, ta sai lầm bác bỏ – sai sót loại (Type I error) Giả thiết rỗng sai, ta thất bại bác bỏ – sai sót loại II (Type II error) Bốn tình kiểm nghiệm giả thiết… ©2010, Nguyễn Duy Long, Tiến Sỹ 36 18 9/8/2010 Bốn tình kiểm nghiệm giả thiết: Sự Thật Quyết Định Tôi Bác H0 Giữ H0 H0 Đúng H0 Sai Sai Sót Loại I (α) OK OK Sai Sót Loại II (β) Trở lại với tương đồng xét xử, thất bại luận tội người thật có tội sai sót loại I, tương đồng sai sót loại II gì? ©2010, Nguyễn Duy Long, Tiến Sỹ 37 Sai sót loại I xảy thường xuyên sao? ◦ Vì sai sót loại I bác giả thiết rỗng thật, xác suất tạo sai sót ó loại l i I mức ứ ◦ Với 5%, ta có 5% hội tạo sai sót loại I ©2010, Nguyễn Duy Long, Tiến Sỹ 38 19 9/8/2010 Khi H0 sai ta thất bại bác bỏ nó, ta tạo sai sót loại II ◦ Khả kiểm nghiệm nhận giả thiết sai gọi sức mạnh (power) kiểm nghiệm – xác suất bác bỏ giả thiết rỗng sai ◦ Gán cho xác suất sai sót Sức mạnh kiểm nghiệm – ◦ Đánh giá khó ta khơng biết giá trị thơng số ◦ Khơng có giá trị cho Thực tế, có tập , giá trị cho giá trị thông số sai ©2010, Nguyễn Duy Long, Tiến Sỹ 39 Một cách để tập trung ý ta vào cụ thể nghĩ kích thước ảnh hưởng (effect size) Ta giảm cho tất giá trị thông số thay g cách tăng g ◦ Có thể giảm tăng hội sai sót loại I ◦ “Sức căng” giữ sai sót loại I II tất yếu Các để giảm hai loại sai sót thu thập nhiều liệu ©2010, Nguyễn Duy Long, Tiến Sỹ 40 20 9/8/2010 Kích thước ảnh hưởng lớn, dễ thấy Có kích thước mẫu lớn giảm xác suất sai sót loại II, tăng sức mạnh kiểm nghiệm Càng chấp nhận sai sót loại I, I hội có sai sót loại II II Giả sử giả thiết rỗng Giả sử giả thiết rỗng không Thất bại bác H0 Bác H0 ©2010, Nguyễn Duy Long, Tiến Sỹ 41 Ta giảm hai loại sai sót cách tạo hai đường cong hẹp Bằng cách nào? Giả sử giả thiết rỗng Giả sử giả thiết rỗng không Thất bại bác H0 Bác H0 ©2010, Nguyễn Duy Long, Tiến Sỹ 42 21 9/8/2010 Đừng diển giải giá trị p xác suất mà H0 thật ◦ Giá trị p liệu, giả thiết ◦ Là xác suất liệu với H0 thật, thật ngược lại lại Đừng tin mạnh vào mức alpha tùy tiện ◦ Cho biết giá trị p để người đọc có đinh cho họ Đừng nhầm lẫn đáng kể mặt thực tiễn mặt thống kê ◦ Chỉ giả thiết đáng kể mặt thống kê khơng có nghĩa đáng kể thực tiễn Đừng quên dù tất nỗ lực bạn, bạn bạn có kết luận sai ©2010, Nguyễn Duy Long, Tiến Sỹ 43 ©2010, Nguyễn Duy Long, Tiến Sỹ 44 22 ... mặt thống kê ◦ Chỉ giả thiết đáng kể mặt thống kê khơng có nghĩa đáng kể thực tiễn Đừng quên dù tất nỗ lực bạn, bạn bạn có kết luận sai ©2010, Nguyễn Duy Long, Tiến Sỹ 43 ©2010, Nguyễn Duy Long, ... bác bỏ ©2010, Nguyễn Duy Long, Tiến Sỹ 27 Ý bạn nói kiểm nghiệm đáng kể thống kê (statistically significant)? ◦ Ý ta trị số thống kê kiểm nghiệm, nghiệm z, z có giá trị p tương ứng thấp mức... kiểm nghiệm.” ©2010, Nguyễn Duy Long, Tiến Sỹ 14 9/8/2010 Các điều kiện cần thiết cho kiểm nghiệm z phần (one-proportion z-test) giống với khoảng z phần (one proportion z-interval) Ta kiểm nghiệm