Khai phá dữ liệu kiểm định thống kê trong excel

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG & TIN HỌC ——————– * ——————— TIỂU LUẬN CUỐI KÌ MƠN KHAI PHÁ DỮ LIỆU KIỂM ĐỊNH THỐNG KÊ TRONG EXCEL Giảng viên hướng dẫn: TS LÊ CHÍ NGỌC MỤC LỤC Kiểm định giả thuyết a) Quy trình kiểm định giả thuyết .4 Các kiểm định dùng mẫu a) Những sai lầm kiểm định giả thuyết .6 b) Lựa chọn kiểm định thống kê c) Đưa kết luận Kiểm định hai phía cho giá trị trung bình .12 a) p-values 13 b) Kiểm định mẫu tỉ lệ 14 Kiểm định giả thuyết dùng hai mẫu ( Two-Sample Hypothesis Tests ) 16 a) Kiểm định giả thuyết hai mẫu giá trị trung bình .17 b) Kiểm định hai mẫu cặp 21 c) So sánh phương sai 24 Phân tích phương sai (ANOVA) 25 a) Các giả thuyết ANOVA 29 Kiểm định độc lập với Chi-Square Test 30 a) Lưu ý sử dụng kiểm định Chi-Square 33 Kết luận .34 Danh mục tài liệu tham khảo 35 Lời mở đầu Các nhà quản lý cần biết định họ đưa có hiệu hay khơng? Ví dụ, họ muốn biết đáp án cho câu hỏi sau: Chiến dịch quảng cáo cơng ty có làm tăng doanh số bán hàng? Vị trí sản phẩm cửa hàng có quan trọng hay khơng? Phương thức sản xuất có cải thiện suất chất lượng sản phẩm nhà máy hay không? Rất nhiều ứng dụng doanh nghiệp bao gồm tìm kiếm chứng thống kê định thay đổi quy trình sản xuất đáp ứng mục tiêu họ Kiểm định thống kê tập trung vào rút kết luận phân bố từ tập mẫu rút ra.Kiểm định thống kê bao gồm dự đoán thơng số kiểm định giả thuyết; từ đưa kết luận giá trị biến tập liệu Phương pháp thống kê để thực việc kiểm định giả thuyết Kiểm định giả thuyết kĩ thuật giúp ta đưa kết luận có ý nghĩa mặt thống kê biến Trong báo cáo này, em giới thiệu số phương pháp phổ biến kinh doanh sử dụng phần mềm Excell với công cụ Data Analysis có sẵn để triển khai chúng mơi trường bảng tính Nhiều quy trình kiểm định địi hỏi kiến thức thống kê nâng cao để hiểu lý thuyết không liên quan Do đó, em tập trung vào ứng dụng đơn giản, gắn với thực tế kinh doanh để hiểu mục đích ứng dụng kỹ thuật nguyên tắc lý thuyết chúng Kiểm định giả thuyết Kiểm định giả thuyết bao gồm đưa suy luận mệnh đề trái ngược ( gọi hypothesis) liên quan đến giá trị hay nhiều biến, ví dụ trung bình (mean), độ lệch chuẩn (standard deviation), phương sai (variance) Giả thuyết đưa kiểm định gọi giả thuyết gốc, ký hiệu H 0; thường giả thuyết đơn tốn kiểm định tham số Các giả thuyết khác với gốc gọi giả thuyết đối hay đối thuyết (có thể đơn phức), ký hiệu H Ta thừa nhận chọn cặp H , H việc chấp nhận H bác bỏ H 1, ngược lại Việc kiểm định giả thuyết hay sai dựa thông tin mẫu gọi kiểm định thống kê VÍ DỤ 1.1 Kiểm định giả thuyết mặt pháp lý Trong hệ thống luật pháp Mỹ, bị cáo coi vô tội họ chứng minh vơ tội; Giả thuyết gốc H 0: Khơng có tội , giả thuyết H 1: có tội Nếu chứng (dữ liệu mẫu) bị cáo có tội, ta từ chối giả định vô tội ( từ chối H 0) Nếu chứng khơng đủ để phạm tội, khơng thể bác bỏ giả thuyết khơng có tội; nhiên, ta chứng minh bị cáo vô tội Trong thực tế, bạn kết luận bị cáo có tội từ chứng; bạn chưa chứng minh điều đó! a) Quy trình kiểm định giả thuyết Xác định tham số quần thể cần quan tâm hình thành giả thuyết để kiểm tra Chọn mức ý nghĩa , xác suất đưa kết luận sai lầm giả thuyết giả định thực Xác định quy tắc định để dựa vào đưa kết luận Thu thập liệu tính tốn giá trị thống kê Áp dụng quy tắc định cho kiểm định đưa kết luận Ta áp dụng quy trình cho loại điểm định giả thuyết; kiểm định dùng mẫu(one-sample test) ;hai kiểm định dùng nhiều nhiều mẫu ( multiplesample tests ) Các kiểm định dùng mẫu Kiểm định mẫu bao gồm bao gồm kiểm định thông tin tập quan sát (population parameter) ví dụ trung bình,,kiểm định tỷ lệ,kiểm định độ lệch chuẩn ,… Để tiến hành test, ta sử dụng population parameter từ tập quan sát Có dạng kiểm định mẫu: H : population parameter ≥ const vs H : population parameter < const H : population parameter ≤ const vs H : population parameter> const H : population parameter =const vs H : population parameter const Chú ý kiểm định mẫu so sánh population parameter với số Các mệnh đề giả thuyết không ( null hypothesis ) biểu diễn thành kí hiệu ≥ , ≤hoặc Một vấn đề làm để xác định giả thuyết null đối thuyết Trong kiểm định giả thuyết,giả thuyết gốc H giả sử sử dụng liệu để định xem liệu đối thuyết H có hay không Về mặt thống kê, ta “chứng minh” H đúng, ta bác bỏ giả thuyết Do vậy, ta khơng thể bác bỏ giá thuyết H 0, ta nói chưa đủ để kết luận đối thuyết H Tuy nhiên, bác bỏ giả thuyết gốc H có ý nghĩa mặt thống kê H không đối thuyết H Vì vậy, chứng thống kê nên coi đối thuyết VÍ DỤ 1.2 Một phát biểu kiểm định mẫu : CadSoft, nhà sản xuất phần mềm thiết kế hỗ trợ máy tính cho nghành cơng nghiệp hàng khơng vũ trụ nhận nhiều gọi việc hỗ trợ kĩ thuật Trong khứ, thời gian trung bình cho lần phản hồi 25 phút Cơng ty nâng cấp hệ thống thông tin họ tin giảm thời gian cho lần phản hồi khách hàng Công ty thu thập 44 liệu thời gian phản hồi file Excel CadSoft Technical Support Response Times: Nếu hệ thống thông tin cải thiện thời gian phản hồi, liệu xác nhận thời gian phản hồi 25 phút; mệnh đề gọi đối thuyết H Vì vậy, giả thuyết gốc đối thuyết H :thời gian phản hồi trung bình≥ 25 phút H : thời gian phản hồi trungbình