Tìm hiểu tổng quan về phương pháp thống kê và kiểm định giả thiết

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ─────── BÁO CÁO BÀI TẬP LỚN QUÁ TRÌNH NGẪU NHIÊN ỨNG DỤNG ĐỀ TÀI: Tìm hiểu tổng quan phương pháp thống kê kiểm định giả thiết Giáo viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan Sinh viên thực : Nguyễn Đức Hậu Trần Quang Đạt Hà Văn Cầu Hoàng Tùng Anh An Mạnh Công Đoàn Khắc Hùng Trang 20124977 20124974 20124970 20124969 20121330 20121821 MỤC LỤC Trang PHÂN CÔNG NHIỆM VỤ: - Hoàng Tùng Anh: Tìm hiểu khái niệm + báo cáo Nguyễn Đức Hậu: Kiểm định kỳ vọng + tập Đoàn Khắc Hùng : Phương Sai Kiểm định độc lập Hà Văn Cầu : Phân phối Kiểm định phân phối An Mạnh Công : Likelihood ratio test Trần Quang Đạt : Ứng dụng Matlab để làm Trang Phần I Giới thiệu chung Khái niệm Quan sát tượng tự nhiên ta thấy có tượng thường xảy ra, có tượng xảy Xác suất đại lượng thể mức độ xảy (thường xuyên hay khi) biến cố Trong lịch sử Toán học có nhiều định nghĩa cho khái niệm xác suất Xác suất môn toán học phát triển trí óc theo kiểu trừu tượng Nó dự đoán suy luận thực tế Thống kê dựa áp dụng lý thuyết để giải vấn đề thưc tế dự đoán diễn giải dựa theo dõi quan sát thực tế Để hiểu rõ thống kê, ta nêu ví dụ : Giả sử hộp chứa bi trắng bi đen Trò chơi đặtra : Người tham gia chơi bốc ngẫu nhiên viên bi Sẽ nhận đô bốc bi trắng, trả đô bốc phải bi đen Biết xác suất bốc viên bi Có nên tham gia???? Nhận xét: Trong nhiều tình , để đưa định, đánh giá hay giải vấn đề đó… => ta dựa tham số p, δ… Lưu ý với BNN tham số => Thống kê để ta có thông tin tham số Chúng ta bắt đầu quan sát kết nối khái niệm xác suất thực tế : p ≅ n_a/n Xác suất p =P(a) xảy kiện a với số n_a xác suất thành công n lần thử Chúng ta sử dụng cách thức thử nghiệm để làm sáng tỏ liên kết tất khái niệm xác suất Thống kê: số giá trị , Giá trị hàm không lớn Mối quan hệ theo lối lặp lại công việc ước lượng đoạn η và vấn đề người thống kê mang tới cho người kết xác Quá trình nghiên cứu thống kê có giai đoạn : Điều tra thống kê : xây dựng khái niệm, tiêu thống kê, xác định vấn đề, mục đích, nội dung, đối tượng nghiên cứu Tổng hợp thống kê : xử lý số liệu Phân tích thống kê: Phân tích giải thích kết quả, dự đoán xu hướng phát triển Báo cáo truyền đạt kết nghiên cứu Mục đích nghiên cứu thống kê giải vấn đề sau: • Vấn đề thứ nhất, giả sử giả thuyết thống kê muốn làm việc dự đoán điều tương lai Ví dụ: Chúng ta biết xác suất RV x muốn dự báo giá trị trung bình Trang sau n thử nghiệm tương lai biết xác suất p kiện A muốn dự đoán số lần thành công xác suất thành công A n lần thử • Trong trường hợp thứ hai, hay nhiều tham số , đối tượng mà ước lượng, giá trị (tham số ước lượng khác) phải chọn , giá trị (lấy từ giả thuyết) Ví dụ, theo dõi giá trị RV x muốn có đánh giá ý nghĩa thừa nhận giả thuyết = 5.3 Chúng ta tung đồng xu 1000 lần lên mặt ngửa 465 lần Sử dụng thông tin đó, chúng có ước lượng xác suất p xuất mặt ngửa xuất định xác suất xảy hai (theo giả thuyết) Về phân tích thống kê hay tổng hợp thu thập để có dự báo Trước hết ta xét khái niệm: Định nghĩa : [Martingale] Một trình ngẫu nhiên Martingale lọc với xác suất nếu: gọi Với -hầu chắn Khái niệm -hầu chắn (P-almost surely) hiểu sau: Cho không gian xác suất Biến cố xảy gần chắn , điều tương đương với biến cố xảy gần chắn xác suất biến cố không xảy Từ ta hiểu với lọc ta suy với độ đo xác suất -đo Vậy rốt ý nghĩa mặt định tính Martingale gì? Ở làm rõ ví dụ sau: quan sát biến ngẫu nhiên ví dụ quan sát giá cổ phiếu ACB, thoả tính chất Martingale điều có nghĩa muốn dự báo thay đổi tương lai ta hoàn toàn dự đoán với thông tin có Nói ngắn gọn, hướng di chuyển tương lai Martingale hoàn toàn dự đoán được, Martingale có khuynh hướng tồn khoảng thời gian ngắn nhiên khuynh hướng tăng hay giảm hoàn toàn ngẫu nhiên tính hệ thống Ví dụ thực tế Martingale kể đến việc đặt cược cách công trò chơi bạc quan sát biến động giá cổ Trang phiếu, giá vàng, bước dạo ngẫu nhiên ko có xu hướng (unbiased random walk)… Chúng ta đưa RV x thống kê muốn ước lượng giá trị x lần thử tương lai Một cách ước lượng x định chọn số c cho tổng giá trị -c nhỏ Trong số lần thử đặc biệt, RV x mang nhiều giá trị Có thể giá trị ko thể dự đoán trước, ước lượng Vì ước lượng RV x dự đoán giá trị x dựa vào giá trị c Nếu sử dụng tiêu chuẩn cho lựa chọn c mức độ nhỏ độ lệch sai số MS E{(x - c)2}, suy c = E{x} Vấn đề phải cân nhắc kĩ lưỡng • Một trình lấy rời rạc x định hai tham số c1 c2: P{ c1 < x < c2 } = γ = 1- δ Trên gọi số riêng Phương trình trạng thái trên, dự đoán giá trị x x lần thử nằm khoảng cách (c1,c2), dự đoán xác 100 % trường hợp Vấn đề tìm c1 c2 cho sai khác c2 – c1 nhỏ (9-4) Sự lựa chọn có hai vấn đề xung đột với Nếu gần tới dự đoán x nằm khoảng (c1,c2) đáng tin cậy mà khoảng c2 – c1 lớn; nhỏ bớt đi, c2 – c1 giảm mà ước lượng thiếu tin cậy Giá trị đặc trưng 0.9, 0.95, 0.99 Để có dự đoán tối ưu, cần phải thêm vào giá trị vào để xác định rõ c1 c2 khoảng cách c2 – c1 nhỏ để thực (9-4) Chúng ta cần đưa mật độ x giá trị lớn nhất, c2 – c1 nhỏ Tạo c c2 cách thử xác định độ lệch Một điểm cực dễ dàng để tìm thấy định rõ c1 c2 giống như: Mang lại c1 = c2 = với xu u % xuất x khoảng (c1,c2) Cách giải vấn đề tối ưu đối xứng Điều có nghĩa η giá trị trung bình đối xứng Nếu x chuẩn, xu = η + zu tỉ lệ % chuẩn Ví dụ : Chúng ta tung đồng xu 100 lần muốn dự đoán số lần na mặt ngửa với γ = 0.997 Trong vấn đề n = 100 p = 0.5 Chúng ta dự đoán, vậy, với hệ số 0.997 số mặt ngửa nằm khoảng từ 35 tới 65 Các ví dụ làm rõ vai trò thống kê ứng dụng xác suất để giải vấn đề thực tế: Sự kiện định nghĩa thực nghiệm trò chơi tung đồng xu Nó mang lại thông tin xác suất xảy không Trang thể sử dụng để xác thực dự đoán kiện A thi hành thực nghiệm Sự kiện: khai báo thực nghiệm vòng lặp thử nghiệm xác suất Nếu gần chắn xảy trình thực tế Chúng ta có thay đổi suy nghĩ “chủ quan” A dựa thông tin để khách quan để kết luận chắn xác, dựa xác suất Phần II Kiểm định I Kiểm định kì vọng Bài toán đặt ra: Đại lượng ngẫu nhiên X có trung bình E(X) = µ chưa biết Người ta đưa giả thiết: 1.1 Trường hợp 1: Phương sai Var(X) = biết ( có phân phối chuẩn) Chọn thống kê Nếu Lấy mẫu cụ thể tính giá trị quan sát Miền bác bỏ xác định trường hợp sau: Miền bác bỏ : 1.2 Trường hợp 2: Phương sai chưa biết Và Do nên ta thay s Trang Chọn thống kê Nếu Ut(n-1) Lấy mẫu cụ thể tính giá trị quan sát Miền bác bỏ xác định trường hợp sau: Miền bác bỏ : (;-t(n-1;1-)) ( t(n-1;1-); ( t(n-1;1-); (;-t(n-1;1-)) 1.3 Trường hợp Không biết phương sai n4.1, chấp nhận giả thiết H0 Phần IV Phân Phối Trong ứng dụng lý thuyết kiểm định giả thuyết, giả thuyết Ho không liên quan đến tham số, hàm phân bố F(x) biến ngẫu nhiên x giả thiết hàm F0(x) H0 :F(x)=F0(x) H1 :F(x)≠ F0(x) Để kiểm định giả thuyết này, có phương pháp • Phương pháp Kolmogoroff-Smirnov • Phương pháp Chi-Square I Phương pháp Kolmogorov-Mirnov Phương pháp thực việc hình thành trình ngẫu nhiên có phân phối F*(x) để dự đoán vấn đề sử dụng để kiểm tra số liệu thống kê cho biến ngẫu nhiên q= maxx| F*(x)-F0(x)| lựa chọn giả thích sau: với tham số cụ thể , F*( x) có ước lượng phụ thuộc vào F(x), có xu hướng tiến tới F(x) n tiến tới vô Kì vọng E(F*(x)) =F(x) F*(x)→F(x) n tiến tới vô Xét với n lớn.Biến ngẫu nhiên q tiến H0 tới giá trị F(x)-F0(x) H1 Để phủ nhận giả thuyết H0 hay chấp nhận H0 ta so sánh q với số c.Hằng số phụ thuộc vào mức ý nghĩa α phân phối biến ngẫu nhiên q theo giả thuyết H0 kiểm tra biến ngẫu nhiên q= maxx|F*(x)-F(x)| với mức ý nghĩa α =P (q>c|H0)=1Từ kết luận: Hình thành toán thực nghiệmF*(x) F(x)và định q từ công thức q=maxx|F*(x)-F(x)| Ho chấp nhận q> II Phương pháp Chi- Squared Trang 10 Phương pháp sử dụng kiểm tra thống kê Pearson Và thực sau Đưa phần vùng U=[ A1,…… ,Am] không gian P muốn kiểm tra giả thuyết xác suất pi=P(Ai)của kiện Ai m cho số poi: H0: pi=p0i với i ngược lại H1: pi≠p0i với vài giá trị i liệu đầu vào số lần thử thành công ki n lần thử kiện Ai Xét biến ngẫu nhiên q= (9.75) Biến ngẫu nhiên ki có phân nhị thức với kì vọng npi phương sai npiqi tỉ lệ ki/n có xu hướng tiến tới pi n Kiểm tra giả thuyết việc so sánh q với hàng số c Để tìm c, phải xác định phân phối q tìm theo hướng giả định n lớn Với giả định , biến ngẫu nhiên k gần với phân phối chuẩn với kì vọng kpi theo giả thuyết H0, biến ngẫu nhiên q có phân phối X2(m-1),trên thực tế, với số p0i thỏa mãn Quan sát số lượng ki tính toán tổng q (9.75) , tìm χ21-α(m-1 ) Chấp nhận Ho q< χ21-α(m-1 ) (9.76) Phương pháp Chi-Square sử dụng việc kiểm định kiểm tra liên quan đến thỏa thuận mô hình lí thuyết với thực nghiệm Bài tập ứng dụng: Chúng ta có 506 bệnh nhân.nếu khác biệt tháng có kì vọng tháng là: npoi = 506/12 = 42 ca, m= 12 Tháng 10 11 12 40 34 30 44 39 58 51 55 36 48 33 38 kiểm tra giả thiết với độ xác α=0.05 Thay vào công thức q= =21.3 χ20.95 (11)= 19.68 < 21.3 nên không chấp nhận giả thiết Phần V: Likelihood radio test Vídụ 9-21: Chúng ta cóN(�, 1) RV x muốn kiểm tra đơn giản giả thuyết �= đối lập với � Trong toán Đạt giá trị max tổng : Là min, có nghĩa ,nếu = Từ = �= Trang 11 Từ phía sau �> c nếu< Điều cho thấy kiểm tra tỷ số hợp lệ trung bình RV bình thương tương đương để kiểm tra Lưu ý toán rằng, m = vàmo = 0.Hơn nữa, w= -ln� = n= Nhưng bên phải RV với hàm phân phối(1) Từ đó, RV w có hàm phân phối(m - ) tiệm cận, n Giả lập tính toán kiểm định giả thuyết Như thấy, kiểm định giả thuyếtgồm bước sau :Chúng ta xác định giá trị X vector ngẫu nhiên X =[] điều kiện quan sátcủa m RVs tính toán giá trị tương ứng q = q(X) toán phân tích q = g(X).Chúng ta đồng ý q giá trị quan trọng ví dụ , q giá trị khoảng () với giá trị lựa chọn thích hợp u phần trăm củaq Điều liên quan đến việc xác định hàm phân phối F(q)của q giá trị nghịch đảo = (u) củaF(q) Vấn đề đảo ngược tránh sử dụng biện pháp sauđây HàmF(q) hàm đơn điệu tăng Từ đó, a = F()< F(q)< F() =b Điều cho thấy tương đương với kiểm tra Đồng ý nếua [...]... 39 58 51 55 36 48 33 38 kiểm tra giả thiết với độ chính xác α=0.05 Thay nó vào công thức q= =21.3 do χ20.95 (11)= 19.68 < 21.3 nên chúng ta không chấp nhận giả thiết Phần V: Likelihood radio test Vídụ 9-21: Chúng ta cóN(�, 1) RV x và chúng ta muốn kiểm tra đơn giản các giả thuyết �= đối lập với � Trong bài toán và Đạt giá trị max nếu tổng : Là min, có nghĩa là ,nếu = Từ = và �= Trang 11 Từ phía trên... ngẫu nhiên ki có phân nhị thức với kì vọng npi và phương sai npiqi vì thế tỉ lệ ki/n có xu hướng tiến tới pi khi n Kiểm tra giả thuyết bằng việc so sánh q với 1 hàng số c Để tìm c, chúng ta phải xác định được phân phối của q chúng ta sẽ đi tìm theo hướng giả định n lớn Với giả định như vậy , biến ngẫu nhiên k là gần với phân phối chuẩn với kì vọng là kpi theo giả thuyết H0, biến ngẫu nhiên q có phân phối... chuỗi và chúng ta đếm số của nhỏ hơn so với tính toán q.Thêm vào (8-163), chúng ta có được F(q)=.Với F(q)được xác định, công thức 9-84 được kiểm tra: đồng ý nếu Như trên, q=g(X) là một số được xác định trong điều kiện của dữ liệu kiểm định Theo trình tự , tuy nhiên, các tính toán được tạo ra Các phương pháp trên được sử dụng nếu gặp khó khăn để xác định và phân tích hàm F(q) Đây là trường hợp xác định. .. các kiểm tra tỷ số hợp lệ trung bình của một RV bình thương tương đương một để kiểm tra Lưu ý trong bài toán này rằng, m = 1 vàmo = 0.Hơn nữa, w= -ln� = n= Nhưng ở bên phải là RV với hàm phân phối(1) Từ đó, RV w có hàm phân phối(m - ) không chỉ có tiệm cận, nhưng đối với bất kỳ n Giả lập tính toán trong kiểm định giả thuyết Như chúng ta thấy, kiểm định 1 một giả thuyếtgồm các bước sau :Chúng ta xác định. . .Phương pháp này sử dụng kiểm tra thống kê Pearson Và thực hiện như sau Đưa ra các phần vùng U=[ A1,…… ,Am] của không gian P và muốn kiểm tra giả thuyết các xác suất pi=P(Ai)của sự kiện Ai bằng m cho hằng số poi: H0: pi=p0i với mọi i ngược lại H1: pi≠p0i với 1 vài giá trị của i dữ liệu đầu vào là số lần thử thành công ki trong n lần thử của mỗi... thống kê t  df: bậc tự do  sd: độ lệch chuẩn ước lượng Ví dụ 3: Kiểm định giả thuyết với 2 mẫu x,y có cùng kì vọng sử dụng hàm ttest2: Trang 16 Ví dụ 4: Kiểm định Kolmogorov-Smirnov: Kiểm định liệu là các giá trị có được lấy từ phân phối chuẩn hay ko? x = -2:1:4 (x nhận giá trị từ -2 đến 4, mỗi số tăng lên 1 đơn vị) Trang 17     h=0:chấp nhận p: giá trị P ksstat: số liệu thống kê cv: giá trị quan. .. vọng là kpi theo giả thuyết H0, biến ngẫu nhiên q có phân phối X2(m-1),trên thực tế, với hằng số p0i thỏa mãn Quan sát số lượng ki và tính toán tổng q trong (9.75) , tìm χ21-α(m-1 ) Chấp nhận Ho nếu q< χ21-α(m-1 ) (9.76) Phương pháp Chi-Square được sử dụng trong việc kiểm định những kiểm tra liên quan đến thỏa thuận các mô hình lí thuyết với thực nghiệm Bài tập ứng dụng: Chúng ta có 506 bệnh nhân.nếu không... trị thống kê Z x: giá trị mẫu m: giá trị trung bình cần kiểm định Trang 15 - sigma: độ lệch chuẩn alpha: mức ý nghĩa Ví dụ 2: Cho 1 mẫu 200 phần tử, kiểm định giả thuyết H0 có phân phối chuẩn với kì vọng là 0.1 ,chưa biết phương sai: Sử dụng hàm ttest: Tạo mẫu ngẫu nhiên có phân phối chuẩn : x=normrnd(0.1,1,200,1); - h,p,ci,x,m: tương tự như hàm ztest stats: xuất ra các giá trị:  tstat: giá trị thống. .. stats] = ttest(x, m) kiểm định 1 mẫu, mẫu đó có phân phối chuẩn đã biết trước kì vọng nhưng chưa biết phương sai Đối thuyết là nó không có phương sai như vậy • Ttest2:[h, p, ci, stats] = ttest2(x, y) Trang 14 kiểm định 2 mẫu, 2 mẫu độc lập có phân phối chuẩn đã biết kì vọng nhưng chưa biết phương sai Đối thuyết là các kì vọng không bằng nhau • Kstest: [h, p, ksstat, cv] = kstest(x) kiểm định Kolmogorov-Smirnov... xác định số liệu thống kê kiểm tra Pearson Phần VI: Bài tập Bài 8.2 Cho 3 sự kiện A,B,C thỏa mãn:P(A)=P(B)=P(C)=0,5 và P(AB)=P(BC)=P(CA)=P(ABC)=0,25.Các biến ngẫu nhiên ,, tương ứng chỉ sự xuất hiện các sự kiện A,B,C(bằng 0 hoặc 1).Chứng minh , không độc lập nhưng độc lập từng đôi một Trang 12 Giải: +Theo giả thiết: P(=P(ABC)=0,25 P()=P()=P(A)=0,5(do chỉ nhận một trong hai giá trị 0 và 1) +Tương tự P(=P()=P(B)=0,5 ... :F(x)=F0(x) H1 :F(x)≠ F0(x) Để kiểm định giả thuyết này, có phương pháp • Phương pháp Kolmogoroff-Smirnov • Phương pháp Chi-Square I Phương pháp Kolmogorov-Mirnov Phương pháp thực việc hình thành... : Điều tra thống kê : xây dựng khái niệm, tiêu thống kê, xác định vấn đề, mục đích, nội dung, đối tượng nghiên cứu Tổng hợp thống kê : xử lý số liệu Phân tích thống kê: Phân tích giải thích kết... I Kiểm định phương sai: Bài toán đặt ra: Đại lượng ngẫu nhiên X có phân phối N(ɳ, σ ) Người ta đưa giả thiết: Trang 1.1 Trường hợp 1: Kỳ vọng ɳ biết Ta sử dụng kiểm dịnh giả thiết với thống kê: