Tìm hiểu tổng quan về phương pháp thống kê và kiểm định giả thiết

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ─────── BÁO CÁO BÀI TẬP LỚN QUÁ TRÌNH NGẪU NHIÊN ỨNG DỤNG ĐỀ TÀI: Tìm hiểu tổng quan phương pháp thống kê kiểm định giả thiết Giáo viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan Sinh viên thực : Đồng Thị Ngọc Lê Đức Nam Nguyễn Thanh Tú Nguyễn Bá Toản Đinh Trọng Liên Lê Quốc Đạt Bùi Yên Bình Nguyễn Trường Thịnh Trang 20091900 20091827 20093199 20092788 20091578 20090667 20090225 20092595 MỤC LỤC Trang PHÂN CÔNG NHIỆM VỤ: - Đồng Thị Ngọc: Tìm hiểu khái niệm + báo cáo Lê Đức Nam: Mean ( Kiểm định kỳ vọng) Nguyễn Thanh Tú : Phương Sai Kiểm định độc lập Nguyễn Trường Thịnh : Phân phối Nguyễn Bá Toản : Kiểm định phân phối Đinh Trọng Liên : Likelihood ratio test Bùi Yên Bình: Bài tập Lê Quốc Đạt : Ứng dụng Matlab để làm Trang Phần I Giới thiệu chung I Khái niệm Xác suất môn toán học phát triển trí óc theo kiểu trừu tượng, khó hiểu Nó dự đoán suy luận thực tế Thống kê dựa áp dụng lý thuyết để giải vấn đề thưc tế dự đoán diễn giải dựa theo dõi quan sát thực tế Thống kê gồm hai phần analysis design • Analysis, hay thống kê toán học, phần xác suất lặp lại việc thử thử lại xem kiện xác suất tiến gần tới Đó tiên để suy việc chấp nhận gần với • Design, hay gọi thống kê ứng dụng, bao gồm số lượng liệu thu lượm tạo thử nghiệm, miêu tả xác kiểu xác suất Trong chương này, mở đầu đối tượng toán học xác suất Chúng ta bắt đầu quan sát kết nối khái niệm xác suất thực tế : (9-1) Xác suất xảy kiện a với số xác suất thành công n lần thử Chúng ta sử dụng cách thức thử nghiệm để làm sáng tỏ liên kết tất khái niệm xác suất Ví dụ, đưa ý nghĩa η RV x xấp sỉ giá trị trung bình (9-2) lần thử giá trị x, thống kê lần thử trước Thống kê: (9-3) Trang số giá trị , Giá trị hàm không lớn Mối quan hệ theo lối lặp lại công việc ước lượng đoạn η và vấn đề người thống kê mang tới cho người kết xác Trong nghiên cứu thống kê, giải hai vấn đề o Vấn đề thứ nhất, giả sử giả thuyết thống kê muốn làm việc dự đoán điều tương lai Ví dụ: Chúng ta biết xác suất RV x muốn dự báo giá trị trung bình sau n thử nghiệm tương lai biết xác suất p kiện A muốn dự đoán số lần thành công xác suất thành công A n lần thử Trong hai trường hợp tiến hành theo mô hình (Fig -1 a) o Trong trường hợp thứ hai, hay nhiều tham số , ko biết đối tượng mà ước lượng, giá trị (tham số ước lượng khác) phải chọn , giá trị (lấy từ giả thuyết) Ví dụ, theo dõi giá trị RV x muốn có đánh giá ý nghĩa thừa nhận giả thuyết = 5.3 Chúng ta tung đồng xu 1000 lần lên mặt ngửa 465 lần Sử dụng thông tin đó, chúng có ước lượng xác suất p xuất mặt ngửa xuất định xác suất xảy hai (theo giả thuyết) Trong hai trường hợp, tiến hành dựa quan sát (Fig 9-b) Trong chương này, tập trung vào ước lượng tham số kiểm tra lí thuyết Để chuẩn bị trước tập trung thích cách ngắn gọn vấn đề dự đoán (Prediction) Prediction: Chúng ta đưa RV x thống kê muốn ước lượng giá trị x lần thử tương lai Một cách ước lượng x định chọn số c cho tổng giá trị -c nhỏ Trong số lần thử đặc biệt, RV x mang nhiều giá trị Có thể giá trị ko thể dự đoán trước, ước lượng Vì ước lượng RV x dự đoán giá trị x dựa vào giá trị c Nếu sử dụng tiêu chuẩn cho Trang lựa chọn c mức độ nhỏ độ lệch sai số MS E{(x - c) 2}, suy c = E{x} Vấn đề phải cân nhắc kĩ lưỡng o Một trình lấy rời rạc x định hai tham số c1 c2: P{ c1 < x < c2 } = γ = 1- δ Trên gọi số riêng Phương trình trạng thái trên, dự đoán giá trị x x lần thử nằm khoảng cách (c1,c2), dự đoán xác 100 % trường hợp Vấn đề tìm c c2 cho sai khác c2 – c1 nhỏ (9-4) Sự lựa chọn có hai vấn đề xung đột với Nếu gần tới dự đoán x nằm khoảng (c1,c2) đáng tin cậy mà khoảng c2 – c1 lớn; nhỏ bớt đi, c – c1 giảm mà ước lượng thiếu tin cậy Giá trị đặc trưng 0.9, 0.95, 0.99 Để có dự đoán tối ưu, cần phải thêm vào giá trị vào để xác định rõ c1 c2 khoảng cách c2 – c1 nhỏ để thực (9-4) Chúng ta cần đưa mật độ x giá trị lớn nhất, c – c1 nhỏ Tạo c c2 cách thử xác định độ lệch Một điểm cực dễ dàng để tìm thấy định rõ c1 c2 giống như: Mang lại c1 = c2 = với xu u % xuất x khoảng (c 1,c2) (Fig 9-2a) Cách giải vấn đề tối ưu đối xứng Điều có nghĩa η giá trị trung bình đối xứng Nếu x chuẩn, xu = η + zu tỉ lệ % chuẩn (Fig 9-2b) II Bài tập ứng dụng Trang Ví dụ 9-1 Tuổi thọ dự tính pin mẫu chuẩn RV với η = năm σ = tháng Xe ô tô dùng loại pin Tìm cách dự đoán độ lệch so với tuổi thọ chuẩn với γ = 0.95 Trong ví dụ này, δ = 0.05, = Điều tương đương với độ lêch Chúng ta cho sai số tuổi thọ pin nằm khoảng tới năm Giống phần thứ 2, ước lượng số số lần thành công kiên a n lần thử Mục đích ước lượng kết Độ lệch ước lượng (k1,k2) xác định rõ độ lệch nhỏ nhấ k – k1 đố tượng tham chiếu Chúng ta giả sử n lớn γ = 0.997 Để tìm tham chiếu , đặt Bởi 2G(3) 997 Kể từ dự đoán với hệ số 0.997 có nghĩa na nằm khoảng Ví dụ 2: Chúng ta tung đồng xu 100 lần muốn dự đoán số lần na mặt ngửa với γ = 0.997 Trong vấn đề n = 100 p = 0.5 Chúng ta dự đoán, vậy, với hệ số 0.997 số mặt ngửa nằm khoảng từ 35 tới 65 Các ví dụ làm rõ vai trò thống kê ứng dụng xác suất để giải vấn đề thực tế: Sự kiện định nghĩa thực nghiệm trò chơi tung đồng xu Nó mang lại thông tin xác suất xảy sử dụng để xác thực dự đoán kiện A thi hành thực nghiệm Sự kiện: khai báo thực nghiệm vòng lặp thử nghiệm xác suất Nếu gần chắn xảy trình thực tế Chúng ta có thay đổi suy nghĩ “chủ quan” A dựa thông tin để khách quan để kết luận chắn xác, dựa xác suất Chú ý: Tuy nhiên hai kết luận dự đoán cách ngẫu nhiên, điểm khác chúng định lượng mà Phần II Kiểm định I Kiểm định kì vọng Bài toán đặt ra: Đại lượng ngẫu nhiên X có trung bình E(X) = m chưa biết Người ta đưa giả thiết: 1.1 Trường hợp 1: Trang Phương sai Var(X) = biết ( có phân phối chuẩn) Chọn thống kê Nếu Với mức ý nghĩa cho trước, xác định phân vị chuẩn Ta tìm miền bác bỏ: Vì: 1.2 Lấy mẫu cụ thể tính giá trị quan sát So sánh - Nếu bác bỏ giả thuyết chấp nhận - Nếu chấp nhận Trường hợp 2: Phương sai chưa biết Và Trong trường hợp ta chọn thống kê độ lệch tiêu chuẩn trường hợp độ lệch tiêu chuẩn thay độ lệch tiêu chuẩn mẫu ngẫu nhiên Nếu H Tương tự ta có miền bác bỏ là: Trường hợp Không biết phương sai n4.1, chấp nhận giả thiết H0 Phần IV Phân Phối Trong ứng dụng lý thuyết kiểm định giả thuyết, giả thuyết Ho không liên quan đến tham số, hàm phân bố F(x) biến ngẫu nhiên x giả thiết hàm F0(x) H0 :F(x)=F0(x) H1 :F(x)≠ F0(x) Để kiểm định giả thuyết này, có phương pháp • Phương pháp Kolmogoroff-Smirnov • Phương pháp Chi-Square I Phương pháp Kolmogoroff-Mirnov Phương pháp thực việc hình thành trình ngẫu nhiên có phân phối £(x) để dự đoán vấn đề sử dụng để kiểm tra số liệu thống kê cho biến ngẫu nhiên q= maxx| £(x)-F0(x)| lựa chọn giả thích sau: với tham số ¥ cụ thể , £( x) có ước lượng phụ thuộc vào F(x), có xu hướng tiến tới F(x) n tiến tới vô Kì vọng E(£(x)) =F(x) £(x)→F(x) n tiến tới vô Quay lại vấn đề Trang 10 Biến ngẫu nhiên q tiến H0 tới giá trị F(x)F0(x) H1 Để phủ nhận giả thuyết H0 hay chấp nhận H0 ta so sánh q với số c điều phụ thuộc vào mức ý nghĩa phân phối biến ngẫu nhiên q theo giả thuyết H0 kiểm tra biến ngẫu nhiên q cách thay q vào biến ngẫu nhiên w công thức (9.28) tức q= maxx|£(x)-F(x)| Sử dụng kết phân phối Kolmogoroff(9.29), thu α =P (q>c|H0)= 1Từ kết luận: Hình thành toán thực nghiệm£(x) F(x)và định q từ công thức q=maxx||£(x)-F(x)| Ho chấp nhận q> II Phương pháp Chi- Squared Phương pháp sử dụng kiểm tra thống kê Pearson Và thực sau Đưa phần vùng U=[ A1,…… ,Am] không gian P muốn kiểm tra giả thuyết xác suất pi=P(Ai)của kiện Ai m cho số poi: H0: pi=p0i với i ngược lại H1: pi≠p0i với vài giá trị i liệu đầu vào số lần thử thành công ki n lần thử kiện Ai Xét biến ngẫu nhiên q= 1) Biến ngẫu nhiên ki có phân nhị thức với kì vọng npi phương sai npiqi tỉ lệ ki/n có xu hướng tiến tới pi n Kiểm tra giả thuyết việc so sánh q với hàng số c Để tìm c, phải xác định phân phối q tìm theo hướng giả định n lớn Với giả định , biến ngẫu nhiên k gần với phân phối chuẩn với kì vọng kp i theo giả thuyết H0, biến ngẫu nhiên q có phân phối X2(m-1),trên thực tế, với số p0i thỏa mãn Quan sát số lượng ki tính toán tổng q (9.75) , tìm χ 21-α(mChấp nhận Ho q< χ21-α(m-1 ) (9.76) Phương pháp Chi-Square sử dụng việc kiểm định kiểm tra liên quan đến thỏa thuận mô hình í thuyết với thực nghiệm Bài tập ứng dụng: Thử nghiệm 300 lần quan sát thấy f có k i= 55 43 44 61 40 57 lần kiểm tra giả thiết với đọ xác α=0.05 có p0i=1/6, m=6, npoi=50 Thay vào công thức (9.75 )ta thu q=7.6 χ 20.95= 11.07 >7.6 nên chấp nhận giả thiết Trang 11 Phần V: Kiểm định phân phối I Các bước việc kiểm định giả thiết thống kê Gồm bước: • Bước 1: Thành lập giả thuyết Ho Ví dụ: Ho: θ = θo Ho: θ ≤ θo Ho: θ ≥ θo • Bước 2: Thành lập giả thuyết H1 Ví dụ: H1: θ < θo H1: θ > θo H1: θ ≠ θo • Bước 3: Xác định mức ý nghĩa α • Bước 4: Chọn tham số thống kê thích hợp cho việc kiếm định xác định miền bác bỏ, miền chấp nhận giá trị giới hạn • Bước 5: Tính toán giá trị tham số thống kê việc kiểm định dựa số hiệu mẫu ngẫu nhiên • Bước 6: Ra định: Nếu giá trị tính toán rơi vào miền bác bỏ Ho định bác bỏ Ho Ngược lại chấp nhận Ho II Kiểm định phân phối , m-1 , some i  Áp dụng công thức : q < x21- α(m-1)  Nếu công thức thỏa mãn III Ví dụ Chúng ta có danh sách 500 phép toán tạo số thập phân xi muốn kiểm tra giả thuyết cho chúng mẫu BNN x thống phân phối khoảng thời gian(0, 1) Chúng ta chia khoảng thời gian thành 10 khoảng với độ dài 0.1 đếm số ki mẫu xj khoảng thứ i kết Ki = 43 56 42 39 59 61 41 57 46 57 Trong vấn đề này, m = 500, p0i= 0.1 q = = 13.8 Vì X 0.95(9) = 16.9 > 13.8 , chấp nhận giả thiết phù hợp Trang 12 Phần VI: Likelihood radio test Vídụ 9-21: Chúng ta cóN(�, 1) RV x muốn kiểm tra đơn giản giả thuyết �= đối lập với � Trong toán Đạt giá trị max tổng : Là min, có nghĩa ,nếu = Từ = �= Từ phía sau �> c nếu< Điều cho thấy kiểm tra tỷ số hợp lệ trung bình RV bình thương tương đương để kiểm tra Lưu ý toán rằng, m = vàmo = 0.Hơn nữa, w= -ln� = n= Nhưng bên phải RV với hàm phân phối(1) Từ đó, RV w có hàm phân phối(m - ) tiệm cận, n Giả lập tính toán kiểm định giả thuyết Như thấy, kiểm định giả thuyếtgồm bước sau :Chúng ta xác định giá trị X vector ngẫu nhiên X =[] điều kiện quan sátcủa m RVs tính toán giá trị tương ứng q = q(X) toán phân tích q = g(X).Chúng ta đồng ý q giá trị quan trọng ví dụ , q giá trị khoảng () với giá trị lựa chọn thích hợp u phần trăm củaq Điều liên quan đến việc xác định hàm phân phối F(q)của q giá trị nghịch đảo = (u) củaF(q) Vấn đề đảo ngược tránh sử dụng biện pháp sauđây HàmF(q) hàm đơn điệu tăng Từ đó, a = F()< F(q)< F() =b Điều cho thấy tương đương với kiểm tra Đồng ý nếua [...]... mãn Quan sát số lượng ki và tính toán tổng q trong (9.75) , tìm χ 21-α(mChấp nhận Ho nếu q< χ21-α(m-1 ) (9.76) Phương pháp Chi-Square được sử dụng trong việc kiểm định những kiểm tra liên quan đến thỏa thuận các mô hình í thuyết với thực nghiệm Bài tập ứng dụng: Thử nghiệm 300 lần và quan sát thấy rằng f có k i= 55 43 44 61 40 57 lần kiểm tra giả thiết với đọ chính xác α=0.05 có p0i=1/6, m=6, và npoi=50... đo 64 hộp và tính được Kiểm định giả thuyết: H0 = ngược lại H1: với Giải Vì chưa biết nên ta có: • Với : Vì nên chúng ta chấp nhận giả thiết H0 • Với : Vì nên chúng ta chấp nhận giả thiết H0 Bài 9.28 Pin loại A có giá cao hơn pin loại B Tuổi thọ của chúng là 2 biến ngẫu nhiên x, y Chúng ta kiểm định 16 pin loại A , 26 pin loại B và tính được các giá trị sau: sx = 1,1 sy = 0,9 Kiểm định giả thiết: H0:... Bước 4: Chọn các tham số thống kê thích hợp cho việc kiếm định và xác định các miền bác bỏ, miền chấp nhận và giá trị giới hạn • Bước 5: Tính toán các giá trị của các tham số thống kê trong việc kiểm định dựa trên số hiệu của mẫu ngẫu nhiên • Bước 6: Ra quyết định: Nếu các giá trị tính toán rơi vào miền bác bỏ Ho thì ra quyết định bác bỏ Ho Ngược lại sẽ chấp nhận Ho II Kiểm định phân phối , 1 m-1 ,... của F(x )và quyết định q từ công thức q=maxx||£(x)-F(x)| Ho được chấp nhận nếu q> II Phương pháp Chi- Squared Phương pháp này sử dụng kiểm tra thống kê Pearson Và thực hiện như sau Đưa ra các phần vùng U=[ A1,…… ,Am] của không gian P và muốn kiểm tra giả thuyết các xác suất pi=P(Ai)của sự kiện Ai bằng m cho hằng số poi: H0: pi=p0i với mọi i ngược lại H1: pi≠p0i với 1 vài giá trị của i dữ liệu đầu vào là... m=6, và npoi=50 Thay nó vào công thức (9.75 )ta thu được q=7.6 do χ 20.95= 11.07 >7.6 nên chúng ta chấp nhận giả thiết Trang 11 Phần V: Kiểm định phân phối I Các bước của việc kiểm định giả thiết thống kê Gồm 6 bước: • Bước 1: Thành lập giả thuyết Ho Ví dụ: Ho: θ = θo Ho: θ ≤ θo Ho: θ ≥ θo • Bước 2: Thành lập giả thuyết H1 Ví dụ: H1: θ < θo H1: θ > θo H1: θ ≠ θo • Bước 3: Xác định mức ý nghĩa α • Bước... chúng ta chấp nhận giả thiết H0 Bài 9.31 Một con xúc sắc tung lên 102 lần và lần thứ i có mặt ki =18, 15, 19, 17, 23,20 lần Kiểm định giả thiết con xúc sắc là công bằng với dùng kiểm định Chi-Square Giải P0i = 1/6 , m=6, np0i = 17 Trang 14 Vậy ta chấp nhận H0 Phần VIII: Ứng dụng Matlab 1 Các hàm thường sử dụng: • ztest: Kiểm định 1 mẫu, mẫu đó có phân phối chuẩn đã biết trước kỳ vọng và phương sai, đối... Ansaribradley: kiểm định Ansari-Bradley • Dwtest: kiểm định Durbin-Watson Jbtest: kiểm định Jarque-Bera • Lillistest: kiểm định Lilliefors Trang 15 • 2 Ví dụ VD1: Cho mẫu ngẫu nhiên 100 phần tử, kiểm định giả thuyết H0 có phân phối chuẩn với kì vọng 0,1 và độ lệch chuẩn bằng 1: x = normrnd(0.1,1,1,100); ztest(x,0,1) Ans= 0 ( Ans=0 chứng tỏ chấp nhận giả thuyết H0 với mức ý nghĩa mặc định 0,05) Thay... (8-163), chúng ta có được F(q)=.Với F(q)được xác định, công thức 9-84 được kiểm tra: Trang 13 đồng ý nếu Như trên, q=g(X) là một số được xác định trong điều kiện của dữ liệu kiểm định Theo trình tự , tuy nhiên, các tính toán được tạo ra Các phương pháp trên được sử dụng nếu gặp khó khăn để xác định và phân tích hàm F(q) Đây là trường hợp xác định số liệu thống kê kiểm tra Pearson Phần VII: Bài tập Bài 9.27... nhiên ki có phân nhị thức với kì vọng npi và phương sai npiqi vì thế tỉ lệ ki/n có xu hướng tiến tới pi khi n Kiểm tra giả thuyết bằng việc so sánh q với 1 hàng số c Để tìm c, chúng ta phải xác định được phân phối của q chúng ta sẽ đi tìm theo hướng giả định n lớn Với giả định như vậy , biến ngẫu nhiên k là gần với phân phối chuẩn với kì vọng là kp i theo giả thuyết H0, biến ngẫu nhiên q có phân phối... kiểm tra Lưu ý trong bài toán này rằng, m = 1 vàmo = 0.Hơn nữa, w= -ln� = n= Nhưng ở bên phải là RV với hàm phân phối(1) Từ đó, RV w có hàm phân phối(m - ) không chỉ có tiệm cận, nhưng đối với bất kỳ n Giả lập tính toán trong kiểm định giả thuyết Như chúng ta thấy, kiểm định 1 một giả thuyếtgồm các bước sau :Chúng ta xác định giá trị X của vector ngẫu nhiên X =[] trong điều kiện quan sátcủa m RVs và ... :F(x)=F0(x) H1 :F(x)≠ F0(x) Để kiểm định giả thuyết này, có phương pháp • Phương pháp Kolmogoroff-Smirnov • Phương pháp Chi-Square I Phương pháp Kolmogoroff-Mirnov Phương pháp thực việc hình thành... vào công thức (9.75 )ta thu q=7.6 χ 20.95= 11.07 >7.6 nên chấp nhận giả thiết Trang 11 Phần V: Kiểm định phân phối I Các bước việc kiểm định giả thiết thống kê Gồm bước: • Bước 1: Thành lập giả. .. Ansaribradley: kiểm định Ansari-Bradley • Dwtest: kiểm định Durbin-Watson Jbtest: kiểm định Jarque-Bera • Lillistest: kiểm định Lilliefors Trang 15 • Ví dụ VD1: Cho mẫu ngẫu nhiên 100 phần tử, kiểm định giả