Tìm hiểu tổng quan về phương pháp thống kê và kiểm định giả thiết

41 811 0
Tìm hiểu tổng quan về phương pháp thống kê và kiểm định giả thiết

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

Bài tập lớn:Quá trình ngẫu nhiên ứng dụng ĐỀ TÀI:Tìm hiểu tổng quan phương pháp thống kê kiểm định giả thiết Giáo viên hướng dẫn : PGS.TS Nguyễn Thị Hoàng Lan Nhóm sinh viên thực hiện:      Trần Quang Đạt – 20124974 Hoàng Tùng Anh – 20124969 Nguyễn Đức Hậu – 20124977 An Mạnh Công – 20121330 Đoàn Khắc Hùng - 20121821 Phân công công việc Hoàng Tùng Anh Tìm hiểu khái niệm hoàn thành báo cáo Nguyễn Đức Hậu Kiểm định kì vọng+ Bài tập Đoàn Khắc Hùng Phương sai kiểm định độc lập Hà Văn Cầu Phân phối kiểm định phân phối An Mạnh Công Likelihood radio test Trần Quang Đạt Ứng dụng Matlab Phần I Giới thiệu chung Khái niệm -Quan sát tượng tự nhiên ta thấy có tượng thường xảy ra, có tượng xảy Xác suất đại lượng thể mức độ xảy (thường xuyên hay khi) biến cố Trong lịch sử Toán học có nhiều định nghĩa cho khái niệm xác suất -Xác suất môn toán học phát triển trí óc theo kiểu trừu tượng Nó dự đoán suy luận thực tế Thống kê dựa áp dụng lý thuyết để giải vấn đề thưc tế dự đoán diễn giải dựa theo dõi quan sát thực tế -Để hiểu rõ thống kê, ta nêu ví dụ : Giả sử hộp chứa bi trắng bi đen Trò chơi đặt : Người tham gia chơi bốc ngẫu nhiên viên bi Sẽ nhận đô bốc bi trắng, trả đô bốc phải bi đen Biết xác suất bốc viên bi Có nên tham gia???? =>>Nhận xét: Trong nhiều tình , để đưa định , đánh giá hay giải vấn đề đó… => ta dựa tham số p, δ… Lưu ý với BNN tham số => Thống kê để ta có thông tin tham số Chúng ta bắt đầu quan sát kết nối khái niệm xác suất thực tế : p ≅ n_a/n Xác suất p =P(a) xảy kiện a với số n_a xác suất thành công n lần thử Chúng ta sử dụng cách thức thử nghiệm để làm sáng tỏ liên kết tất khái niệm xác suất -Thống kê: số giá trị , Giá trị hàm không lớn Mối quan hệ theo lối lặp lại công việc ước lượng đoạn η vấn đề người thống kê mang tới cho người kết xác Quá trình nghiên cứu thống kê có giai đoạn : 1.Điều tra thống kê : xây dựng khái niệm, tiêu thống kê, xác định vấn đề, mục đích, nội dung, đối tượng nghiên cứu 2.Tổng hợp thống kê : xử lý số liệu 3.Phân tích thống kê: Phân tích giải thích kết quả, dự đoán xu hướng phát triển Báo cáo truyền đạt kết nghiên cứu Mục đích nghiên cứu thống kê giải vấn đề sau: • Vấn đề thứ nhất, giả sử giả thuyết thống kê muốn làm việc dự đoán điều tương lai • Trong trường hợp thứ hai, hay nhiều tham số , đối tượng mà ước lượng, giá trị (tham số ước lượng khác) phải chọn , giá trị (lấy từ giả thuyết) Ví dụ :chúng ta theo dõi giá trị RV x muốn có đánh giá ý nghĩa thừa nhận giả thuyết = 5.3 Chúng ta tung đồng xu 1000 lần lên mặt ngửa 465 lần Sử dụng thông tin đó, chúng có ước lượng xác suất p xuất mặt ngửa xuất định xác suất xảy hai (theo giả thuyết) - Chúng ta đưa RV x thống kê muốn ước lượng giá trị x lần thử tương lai Một cách ước lượng x định chọn số c cho tổng giá trị -c nhỏ -Trong số lần thử đặc biệt, RV x mang nhiều giá trị Có thể giá trị ko thể dự đoán trước, ước lượng Vì ước lượng RV x dự đoán giá trị x dựa vào giá trị c Nếu sử dụng tiêu chuẩn cho lựa chọn c mức độ nhỏ độ lệch sai số MS E{(x - c) }, suy c = E{x} Vấn đề phải cân nhắc kĩ lưỡng Một trình lấy rời rạc x định hai tham số c c2: P{ c1 < x < c2 } = γ = 1- δ -Trên gọi số riêng Phương trình trạng thái trên, dự đoán giá trị x x lần thử nằm khoảng cách (c1,c2), dự đoán xác 100 % trường hợp Vấn đề tìm c c2 cho sai khác c2 – c1 nhỏ (9 - 4) Sự lựa chọn có hai vấn đề xung đột với Nếu gần tới1 dự đoán x nằm khoảng (c1,c2) đáng tin cậy mà khoảng c2 – c1 lớn; nhỏ bớt đi, c2 – c1 giảm mà ước lượng thiếu tin cậy Giá trị đặc trưng 0.9, 0.95, 0.99 Để có dự đoán tối ưu, cần phải thêm vào giá trị vào để xác định rõ c1 c2 khoảng cách c2 – c1 nhỏ để thực (9-4) Chúng ta cần đưa mật độ x giá trị lớn nhất, c2 – c1 nhỏ Tạo c1 c2 cách thử xác định độ lệch Một điểm cực dễ dàng để tìm thấy định rõ c1 c2 giống : Mang lại c1 = c2 = với xu u % xuất x khoảng (c1,c2) Cách giải vấn đề tối ưu đối xứng Điều có nghĩa η giá trị trung bình đối xứng Nếu x chuẩn, xu = η + zu tỉ lệ % chuẩn Ví dụ : Chúng ta tung đồng xu 100 lần muốn dự đoán số lần na mặt ngửa với γ = 0.997 Trong vấn đề n = 100 p = 0.5 Chúng ta dự đoán, vậy, với hệ số 0.997 số mặt ngửa nằm khoảng từ 35 tới 65 Các ví dụ làm rõ vai trò thống kê ứng dụng xác suất để giải vấn đề thực tế: Sự kiện định nghĩa thực nghiệm trò chơi tung đồng xu Nó mang lại thông tin xác suất xảy sử dụng để xác thực dự đoán kiện A thi hành thực nghiệm kiện:được khai báo thực nghiệm vòng lặp thử nghiệm xác suất Nếu gần chắcchắn xảy trình thực tế Chúng ta có thay đổi suy nghĩ “chủ quan” A dựa thông tin để khách quan để kết luận chắn xác, dựa xác suất Phần V: Likelihood radio test Giả lập tính toán kiểm định giả thuyết Phần VI. Ứng dụng Matlab Các hàm thường dùng: • Ztest:[h, p, ci, zval] = ztest(x, m, sigma, alpha) kiểm định 1 mẫu, mẫu đó có phân phối chuẩn đã biết trước kì vọng và phương  sai, đối thuyết là nó không có kì vọng như vậy • Ttest:[h, p, ci, stats] = ttest(x, m) kiểm định 1 mẫu, mẫu đó có phân phối chuẩn đã biết trước kì vọng nhưng chưa  biết phương sai. Đối thuyết là nó không có phương sai như vậy • Ttest2:[h, p, ci, stats] = ttest2(x, y)     kiểm định 2 mẫu, 2 mẫu độc lập có phân phối chuẩn đã biết kì vọng nhưng chưa  biết phương sai. Đối thuyết là các kì vọng không bằng nhau • • • Kstest: [h, p, ksstat, cv] = kstest(x) kiểm định Kolmogorov-Smirnov trên 1 mẫu có phân phối liên tục với các tham số  được chỉ rõ. Đối thuyết của nó là không có phân phối như vậy Kstest2:  [h, p, ks2stat] = kstest2(x, y) kiểm định Kolmogorov-Smirnov trên 2 mẫu có phân phối liên tục giống nhau. Đối  thuyết  là chúng không có phân phối giống nhau Chi2gof: [h, p] = chi2gof(x) kiểm định Chi-square ( goodness-of-fit) với 1 mẫu có phân phối được chỉ rõ. Đối  thuyết là nó không có phân phối như vậy.   2. Ví dụ • • • Ví dụ 1: cho mẫu ngẫu nhiên 150 phần tử , kiểm định giả thuyết  có phân phối  chuẩn với kì vọng 0,1 và độ lệch chuẩn bằng 1, mức ý nghĩa 5% Sử dụng hàm ztest: :[h, p, ci, zval] = ztest(x, m, sigma, alpha) Tạo mẫu ngẫu nhiên có phân phối chuẩn: x=norm(0.1,1,150,1); • • • • • • • • h=0 hoặc 1(h=0 :chấp nhận ; h=1: bác bỏ ) p: P-value ci: khoảng tin cậy zval: giá trị thống kê Z x: giá trị mẫu m: giá trị trung bình cần kiểm định sigma: độ lệch chuẩn  alpha: mức ý nghĩa  • • • Ví dụ 2: Cho 1 mẫu 200 phần tử, kiểm định giả thuyết H0 có phân phối chuẩn với  kì vọng là 0.1 ,chưa biết phương sai:  Sử dụng hàm ttest: [h, p, ci, stats] = ttest(x, m) Tạo mẫu ngẫu nhiên có phân phối chuẩn : x=normrnd(0.1,1,200,1); • • h,p,ci,x,m: tương tự như hàm ztest stats: xuất ra các giá trị: – tstat: giá trị thống kê t – df: bậc tự do – sd: độ lệch chuẩn ước lượng • • Ví dụ 3: Kiểm định giả thuyết với 2 mẫu x,y có cùng kì vọng Dùng hàm ttest2: [h, p, ci, stats] = ttest2(x, y) • • Ví dụ 4: Kiểm định Kolmogorov-Smirnov: Kiểm định liệu là các giá trị có được lấy từ phân phối chuẩn hay ko? x = -2:1:4    (x nhận giá trị từ -2 đến 4, mỗi số tăng  lên 1 đơn vị) • Dùng hàm kstest: [h, p, ksstat, cv] = kstest(x) • • • • h=0:chấp nhận  p: giá trị P ksstat: số liệu thống kê cv: giá trị quan trọng [...]... Áp dụng kiểm tra chi bình phương ta có: q =   = 4.1 Vì X20.95(3) = 7.81 >4.1, chúng ta chấp nhận giả thiết H0 Phần IV Phân Phối • Trong ứng dụng này của lý thuyết kiểm định giả thuyết, giả thuyết Ho không liên quan đến tham số, hàm phân bố F(x) của một biến ngẫu nhiên x được giả thiết bằng một hàm F0(x) • • • • ở đây H0 :F(x)=F0(x) H1 :F(x)≠ F0(x) Để kiểm định giả thuyết này, có 2 phương pháp Phương pháp. .. n Kiểm tra giả thuyết bằng việc so sánh q với 1 hàng số c • • • • Phương pháp này sử dụng kiểm tra thống kê Pearson Và thực hiện như sau Đưa ra các phần vùng U=[ A 1,…… ,Am] của không gian P và muốn kiểm tra giả thuyết các xác suất pi=P(Ai)của sự kiện Ai bằng m cho hằng số poi: q= ∑ i =1 ( ki − np0i ) np(9.75) 0i Để tìm c, chúng ta phải xác định được phân phối của q chúng ta sẽ đi tìm theo hướng giả. .. ngẫu nhiên Nếu đúng thì q ) Tương tự trên, ta có miền bác bỏ là II .Kiểm định tính độc lập • 1 Bài toán đặt ra:   Chúng ta kiểm định giả thiết với hai sự kiện B và C là độc lập Giả thiết: H0 : P(A∩B) = P(A) P(B) ngược lại (H1: P(A∩B) ≠ P(A) P(B)) Giả sử xác suất của hai sự kiện b = P(B) và c = P(C) đã biết Ta áp dụng kiểm định chi bình phương để phân vùng các sự kiện : A1 = B∩C A3 = ∩C A2 = B∩ A4 = ∩... có =110.12V .Kiểm tra giả thuyết V==110V với mức ý nghĩa =0.05 .Giả sử phân phối có dạng   N(0, -TH1 :Giả sử =0.4V ==2 Vì k=1.5, chấp nhận -TH2 : Giả sử chưa biết.cho s = 0.6V k= = 1 tính được (n-1)=(25)=2.06= vì k=1(-2.06 , 2.06) , chấp nhận Phần III. Phương sai và kiểm định độc lập I .Kiểm định phương sai Bài toán đặt ra   Đại lượng ngẫu nhiên X có phân phối N(ɳ, σ ) Người ta đưa ra giả thiết: Xét 2... vọng ɳ đã biết Ta sử dụng kiểm dịnh giả thiết với thống kê:                    (9.69) Nếu đúng thì q ) Với mức ý nghĩa cho trước, xác định phân vị chuẩn Ta tìm được miền bác bỏ: Vì:   •   Lấy mẫu cụ thể và tính giá trị quan sát So sánh q và Nếu thì bác bỏ giả thuyết và chấp nhận Nếu thì chấp nhận 1.2 Trường hợp 2 • Kỳ vọng ɳ chưa biết   Trong trường hợp này ta vẫn chọn thống kê như trên trong đó kì... hướng giả định n lớn Với giả định như vậy , biến ngẫu nhiên k là gần với phân phối chuẩn với kì vọng là kpi theo giả thuyết H0, biến ngẫu nhiên q có phân phối X 2(m-1),trên thực tế, với hằng số p0i thỏa mãn Quan sát số lượng ki và tính toán tổng q trong (9.75) , tìm χ 21-α(m-1 ) Chấp nhận Ho nếu q< χ21-α(m-1 ) (9.76) Phương pháp Chi-Square được sử dụng trong việc kiểm định những kiểm tra liên quan đến... Kolmogoroff-Smirnov Phương pháp Chi-Square • • • • • • • Phương pháp Kolmogorov-Mirnov Phương pháp này được thực hiện bằng việc hình thành 1 quá trình ngẫu nhiên có phân phối F*(x) để dự đoán vấn đề và sử dụng để kiểm tra số liệu thống kê cho biến ngẫu nhiên q= maxx| F*(x)-F0(x)| sự lựa chọn này được giả thích như sau: với mỗi tham số cụ thể , F*( x) có ước lượng phụ thuộc vào F(x), và nó có xu hướng...II .Kiểm định kì vọng Bài toán đặt ra:Đại lượng ngẫu nhiên X có trung bình E(X)= =  TH1: Phương sai đã biết   - Chọn thống kê Z= Nếu đúng thì Z - Lấy mẫu cụ thể và tính giá trị quan sát k= -Với mức ý nghĩa miền bác bỏ được xác định trong 3 trường hợp sau: Miền bác bỏ : So sánh giá trị k và miền bác bỏ rồi đưa ra kết luận:   +Nếu k ,chấp nhận và bác bỏ +Nếu k ,bác bỏ và chấp nhận  - TH2 :Phương. .. oi = 506/12 = 42 ca, m= 12 kiểm tra giả thiết với độ chính xác α=0.05 Thay nó vào công thức q= =21.3 do χ20.95 (11)= 19.68 < 21.3 nên chúng ta không chấp nhận giả thiết 12 ∑ i =0 ( ki − 42 ) 42 2 Phần V: Likelihood radio test Giả lập tính toán trong kiểm định giả thuyết Phần VI. Ứng dụng Matlab 1 Các hàm thường dùng: • Ztest:[h, p, ci, zval] = ztest(x, m, sigma, alpha) kiểm định 1 mẫu, mẫu đó có phân phối chuẩn đã biết trước kì vọng và phương ... Chọn thống kê Z Nếu đúng thì ZT(n-1)   Lấy mẫu cụ thể và tính giá trị quan sát Với mức ý nghĩa miền bác bỏ được xác định trong 3 trường hợp sau: Miền bác bỏ :   (;-t(n-1;1-))  ( t(n-1;1-);   ( t(n-1;1-);   (;-t(n-1;1-))       So sánh giá trị k và miền bác bỏ rồi đưa ra kết luận:   +Nếu k ,chấp nhận và bác bỏ +Nếu k ,bác bỏ và chấp nhận Ví dụ:Chúng ta tiến hành đo điện áp V của một nguốn điện 25 lần và ... 1.Điều tra thống kê : xây dựng khái niệm, tiêu thống kê, xác định vấn đề, mục đích, nội dung, đối tượng nghiên cứu 2 .Tổng hợp thống kê : xử lý số liệu 3.Phân tích thống kê: Phân tích giải thích... Ho không liên quan đến tham số, hàm phân bố F(x) biến ngẫu nhiên x giả thiết hàm F0(x) • • • • H0 :F(x)=F0(x) H1 :F(x)≠ F0(x) Để kiểm định giả thuyết này, có phương pháp Phương pháp Kolmogoroff-Smirnov... , 2.06) , chấp nhận Phần III. Phương sai và kiểm định độc lập I .Kiểm định phương sai Bài toán đặt   Đại lượng ngẫu nhiên X có phân phối N(ɳ, σ ) Người ta đưa giả thiết: Xét trường hợp: 1.1 Trường hợp 1

Ngày đăng: 16/03/2016, 20:44

Từ khóa liên quan

Mục lục

  • Slide 1

  • Slide 2

  • Slide 3

  • Slide 4

  • Slide 5

  • Slide 6

  • Slide 7

  • Slide 8

  • Slide 9

  • Slide 10

  • Slide 11

  • Slide 12

  • Slide 13

  • Slide 14

  • Slide 15

  • Phần III. Phương sai và kiểm định độc lập

  • Slide 17

  • 1.1 Trường hợp 1.

  • 1.2 Trường hợp 2

  • II.Kiểm định tính độc lập

  • 2.Ví dụ

  • Slide 23

  • Slide 24

  • Slide 25

  • Slide 26

  • Slide 27

  • Giả lập tính toán trong kiểm định giả thuyết.

  • Phần VI. Ứng dụng Matlab

  • Slide 30

  • Slide 31

  • Slide 32

  • Slide 33

  • Slide 34

  • Slide 35

  • Slide 36

  • Slide 37

  • Slide 38

  • Slide 39

  • Slide 40

  • Slide 41

Tài liệu cùng người dùng

  • Đang cập nhật ...

Tài liệu liên quan